注意力看見，MLP 拒絕：追蹤大模型安全對齊中“識別有害”到“寫出拒絕”的內部通路，並據此設計 Sentinel 路由

論文 2610.13078 的題目是《注意力看見，MLP 拒絕：追蹤大語言模型中從注意力到 MLP 的安全通路》，於 2026 年 10 月中旬出現在 arXiv 上。它想回答一個聽起來很基礎、卻常被混在一起的問題：經過安全對齊的大模型，既可能被越獄，又可能對無害請求過度拒絕，這兩類失敗是否來自同一個地方。作者的思路是把“識別出請求有害”和“真正寫出一條拒絕”分開，做成在殘差流更新上可以度量的兩件事。 先看測量方式。論文把一個模組（注意力或 MLP）在某一層對殘差流的更新當作研究物件，分開測兩個量：這個更新暴露了多少“有害資訊”，以及它對“可讀的拒絕證據”產生了多大改變。作者在 18 對“基礎模型 / 指令模型”上做了比較，涵蓋 Qwen、Llama 和 Gemma 三個家族，共 36 個檢查點，並用相對深度對不同層數的模型對齊。第一個結果是，在全部 36 個檢查點上，注意力更新的有害資訊可解碼度（探針 AUC 的層平均）都高於 MLP，差距在早期層最大，隨深度變小；MLP 更新裡也有高於隨機水平的有害資訊，只是更弱。第二個結果是，在往殘差流裡“寫入”針對有害請求的拒絕證據時，MLP 的淨寫入在全部 18 個指令模型裡都超過了注意力，最大的正貢獻集中在網路末端，在“指令”與“思考”兩類檢查點裡都是如此。合起來就是論文題目所說的：早期注意力暴露有害資訊，晚期 MLP 寫下拒絕。

後訓練改變了什麼，是第三個發現。有害資訊本來就存在於基礎模型裡，探針 AUC 在後訓練之後並沒有系統性升高；真正升高的是寫入：MLP 的淨拒絕寫入在 18 對裡全部上升，注意力只在 12 對裡上升。MLP 寫入對拒絕詞表的特異性，相對於 16 個匹配的對照詞表，從 1.10 升到 4.20，注意力從 0.77 升到 1.63。論文還給出一個位置上的變化：MLP 裡有害特異的正向寫入，來自網路最後四分之一的比例，中位數從 23.01% 升到 63.86%。換句話說，後訓練主要是讓模型更會“把拒絕寫出來”，而不是更會“認出有害”。在生成過程中也有類似現象：對六個帶推理能力的模型，有害資訊在推理期間一直可解碼，而強烈的拒絕寫入集中在回答開始的位置，關閉推理之後這個模式依然存在。 為了檢驗這是不是一條真正的因果通路，作者做了干預。他們在“有害/無害”配對提示之間，把上游注意力更新換成捐贈者的版本，觀察拒絕的變化，再把下游 MLP 更新恢復為接收者原來的乾淨值。結果是，恢復下游 MLP 更新後，由上游注意力干預引起的拒絕變化被顯著削弱，這支援“注意力識別、MLP 寫入”這條通路確實在起作用。需要注意，這只是對該通路的支援，並不能證明它是唯一的通路。 基於這些發現，作者提出了 Sentinel。它把兩個訊號合成：注意力側的感知分 P 和 MLP 側的決策分 D，並在預填充結束、生成第一個詞元之前提取。兩者的聯合畫像能區分不同的失敗：有些越獄在兩個階段的訊號都弱；另一些仍保留較強的識別，卻在拒絕寫入上比被正確拒絕的有害提示更弱；而被過度拒絕的無害請求，與正常回答的無害請求相比，識別分更高，拒絕寫入通常也更強。這些內部差異單看輸出標籤是看不出來的。在此之上，作者訓練一個四分類器去判斷請求的行為狀態（有害或無害，配合順從或拒絕），再讓路由器在原始請求預填充期間計算的特徵上，選擇要不要新增提醒。評估在八個模型上用巢狀交叉驗證，並按底層請求分組。

結果方面，與不加提醒相比，越獄攻擊成功率從 95.97% 降到 35.17%，對無害請求的過度拒絕率從 88.73% 降到 55.72%，良性誤拒率只從 0.00% 升到 0.13%，三項的算術平均（AVG）為 30.34%。固定提醒則呈現明顯的安全與有用性取捨：“安全”提醒把越獄成功率壓到 30.45%，但過度拒絕高達 85.24%；“有用”提醒把過度拒絕降到 59.95%，越獄成功率卻仍有 68.22%。與“安全”提醒相比，Sentinel 的越獄成功率高 4.72 個百分點，過度拒絕低 29.52 個百分點。已有防禦裡，Llama Guard 3 的越獄成功率最低（26.58%），但過度拒絕最高（92.53%），AVG 為 40.06%，還需要額外一次前向計算，而 Sentinel 複用主模型預填充之後的內部特徵，在解碼前就做出決定；Self-Reminder 和 ICD 的 AVG 分別是 41.60% 和 41.14%，均不如 Sentinel。

我們的判斷是，這篇論文的價值在於把“拒絕”拆成可以單獨觀察的兩步，並展示了這種拆分可以直接用在工程上：在不改模型權重、不額外呼叫一個守衛模型的前提下，利用主模型自己的內部訊號做生成前的條件提醒。保留意見同樣明確。其一，實驗物件是三個家族的開源模型和論文設定的評測集，不能直接外推到任何閉源模型。其二，Sentinel 的越獄成功率仍有 35.17%，過度拒絕仍有 55.72%，它改善的是權衡，而不是消除了問題。其三，需要訪問模型內部啟用，才能使用這種方法，這限制了它的適用範圍。對做模型評測和防禦的團隊，更實際的啟發是：評估安全時，既要看拒絕了多少，也要看“識別”和“寫入”是否同時到位。