注意が見つけ、MLPが拒む：LLMの安全性における「有害の認識」から「拒否の書き込み」までの内部経路をたどり、Sentinelルーターを設計

論文2610.13078「注意が見つけ、MLPが拒む：LLMにおける注意からMLPへの安全経路をたどる」は、2026年10月中旬にarXivに現れた。基本的に聞こえるが混同されがちな問いを立てる。安全性を整えたLLMは脱獄されうるし、無害な依頼を過剰に拒否もする。この二つの失敗は同じところから来るのか。著者は「依頼が有害だと認識すること」と「実際に拒否を書くこと」を分け、残差ストリームの更新上で測れる二つの量にした。 まず測り方から。研究の単位は、モジュール（注意またはMLP）が層ごとに残差ストリームへ加える更新だ。二つを別々に測る。更新がどれだけ有害性の情報を露出するか、読み取れる拒否の証拠をどれだけ変えるかだ。比較はQwen、Llama、Gemmaの3系統から18組のBase・Instructペア、計36チェックポイントで行い、層数の違うモデルは相対的な深さで揃えた。第一の結果。全36チェックポイントで、有害性は注意の更新のほうがMLPの更新より読み取りやすい（プローブAUCの層平均）。差は初期層で最大で、深くなるほど縮む。MLPの更新にも偶然水準を超える有害性情報はあるが、弱い。第二に、有害な依頼に対する拒否の証拠を残差ストリームへ書く働きは、18のInstructモデルすべてでMLPの正味の書き込みが注意を上回り、最大の正の寄与は、InstructとThinkingのどちらのチェックポイントでもネットワークの終盤にあった。合わせると題名のとおりで、初期の注意が有害を露出し、後段のMLPが拒否を書く。

第三の発見は、後訓練が何を変えるかだ。有害性の情報は基礎モデルにもともとあり、プローブAUCは後訓練後に系統的には上がらない。上がるのは書き込みで、MLPの正味の拒否の書き込みは18組すべてで増え、注意は12組でしか増えない。拒否語彙に対するMLPの書き込みの特異性は、16個の対照語彙と比べて1.10から4.20に、注意は0.77から1.63に上がった。位置の変化もある。MLPの有害特異な正の書き込みのうち、ネットワーク最後の4分の1が占める割合は、中央値で23.01%から63.86%に上がった。言い換えると、後訓練はモデルを「有害を見抜く」より「拒否を書く」のが上手にしている。生成中にも似た現象がある。推論機能を持つ6モデルでは、有害性は推論の間ずっと読み取れ、強い拒否の書き込みは回答の開始位置に集中し、推論を切ってもこの型は残る。

これが因果的な経路かを確かめるため、著者は介入を行った。有害・無害の対応するプロンプトの間で、上流の注意の更新を提供側のものに置き換えて拒否の変化を見て、さらに下流のMLPの更新を受け手の元のクリーンな値に戻した。下流のMLPの更新を戻すと、上流の注意への介入が起こした拒否の変化は大きく弱まる。「注意が認識し、MLPが書く」という経路が働いていることを支持する結果だ。ただし支持であって、唯一の経路だという証明ではない。 これらを踏まえて著者はSentinelを提案する。プリフィルの後、最初の応答トークンの前に取り出す、注意由来の知覚スコアPとMLP由来の決定スコアDを組み合わせる。二つの分布から、失敗の種類を見分けられる。ある脱獄は両段階で信号が弱い。別の脱獄は認識が比較的強いのに、正しく拒否された有害プロンプトより書き込みが弱い。過剰に拒否された無害な入力は、普通に答えられた無害な入力より認識スコアが高く、書き込みも通常強い。出力ラベルだけでは見えない内部の差だ。その上で、依頼の行動状態（有害か無害か、従うか拒むか）を判定する4クラス分類器を訓練し、元の依頼のプリフィル中に計算した特徴から、ルーターがリマインダーを付けるかどうかを選ぶ。評価は8モデルで入れ子の交差検証を使い、元の依頼ごとにグループ化している。

結果として、リマインダーなしと比べ、脱獄の攻撃成功率は95.97%から35.17%に、無害な依頼への過剰拒否は88.73%から55.72%に下がり、無害な誤拒否は0.00%から0.13%に上がるだけで、三項目の算術平均（AVG）は30.34%だった。固定リマインダーは安全性と有用性のトレードオフを示す。「安全」リマインダーは脱獄成功率を30.45%に抑えるが、過剰拒否は85.24%に達する。「有用」リマインダーは過剰拒否を59.95%に下げるが、脱獄成功率は68.22%のままだ。「安全」リマインダーと比べ、Sentinelは脱獄成功率が4.72ポイント高く、過剰拒否は29.52ポイント低い。既存の防御ではLlama Guard 3が脱獄成功率で最も低い（26.58%）が、過剰拒否は最も高く（92.53%）、AVGは40.06%で、別途の順伝播が要る。Sentinelは主モデルのプリフィル後の内部特徴を使い、デコード前に決める。Self-ReminderとICDのAVGは41.60%と41.14%で、どちらもSentinelに劣る。

私たちの見方では、この論文の価値は、「拒否」を観察できる二段階に分け、その分け方が工学に使えると示した点にある。重みを変えず、別の守護モデルも呼ばずに、主モデル自身の内部信号から生成前に条件付きのリマインダーを出せる。留保も明確だ。実験は3系統のオープンウェイトモデルと論文独自の評価セットが対象で、閉じたモデルへそのまま広げることはできない。Sentinelでも脱獄成功率は35.17%、過剰拒否は55.72%残り、問題をなくすのではなくトレードオフを改善する。そして内部活性にアクセスできる必要があり、適用範囲が限られる。モデルを評価し防御するチームへの実践的な示唆は、どれだけ拒否するかだけでなく、認識と書き込みの両方が整っているかを見ることだ。