注意力看见，MLP 拒绝：追踪大模型安全对齐中“识别有害”到“写出拒绝”的内部通路，并据此设计 Sentinel 路由

论文 2610.13078 的题目是《注意力看见，MLP 拒绝：追踪大语言模型中从注意力到 MLP 的安全通路》，于 2026 年 10 月中旬出现在 arXiv 上。它想回答一个听起来很基础、却常被混在一起的问题：经过安全对齐的大模型，既可能被越狱，又可能对无害请求过度拒绝，这两类失败是否来自同一个地方。作者的思路是把“识别出请求有害”和“真正写出一条拒绝”分开，做成在残差流更新上可以度量的两件事。 先看测量方式。论文把一个模块（注意力或 MLP）在某一层对残差流的更新当作研究对象，分开测两个量：这个更新暴露了多少“有害信息”，以及它对“可读的拒绝证据”产生了多大改变。作者在 18 对“基础模型 / 指令模型”上做了比较，涵盖 Qwen、Llama 和 Gemma 三个家族，共 36 个检查点，并用相对深度对不同层数的模型对齐。第一个结果是，在全部 36 个检查点上，注意力更新的有害信息可解码度（探针 AUC 的层平均）都高于 MLP，差距在早期层最大，随深度变小；MLP 更新里也有高于随机水平的有害信息，只是更弱。第二个结果是，在往残差流里“写入”针对有害请求的拒绝证据时，MLP 的净写入在全部 18 个指令模型里都超过了注意力，最大的正贡献集中在网络末端，在“指令”与“思考”两类检查点里都是如此。合起来就是论文题目所说的：早期注意力暴露有害信息，晚期 MLP 写下拒绝。

后训练改变了什么，是第三个发现。有害信息本来就存在于基础模型里，探针 AUC 在后训练之后并没有系统性升高；真正升高的是写入：MLP 的净拒绝写入在 18 对里全部上升，注意力只在 12 对里上升。MLP 写入对拒绝词表的特异性，相对于 16 个匹配的对照词表，从 1.10 升到 4.20，注意力从 0.77 升到 1.63。论文还给出一个位置上的变化：MLP 里有害特异的正向写入，来自网络最后四分之一的比例，中位数从 23.01% 升到 63.86%。换句话说，后训练主要是让模型更会“把拒绝写出来”，而不是更会“认出有害”。在生成过程中也有类似现象：对六个带推理能力的模型，有害信息在推理期间一直可解码，而强烈的拒绝写入集中在回答开始的位置，关闭推理之后这个模式依然存在。 为了检验这是不是一条真正的因果通路，作者做了干预。他们在“有害/无害”配对提示之间，把上游注意力更新换成捐赠者的版本，观察拒绝的变化，再把下游 MLP 更新恢复为接收者原来的干净值。结果是，恢复下游 MLP 更新后，由上游注意力干预引起的拒绝变化被显著削弱，这支持“注意力识别、MLP 写入”这条通路确实在起作用。需要注意，这只是对该通路的支持，并不能证明它是唯一的通路。 基于这些发现，作者提出了 Sentinel。它把两个信号合成：注意力侧的感知分 P 和 MLP 侧的决策分 D，并在预填充结束、生成第一个词元之前提取。两者的联合画像能区分不同的失败：有些越狱在两个阶段的信号都弱；另一些仍保留较强的识别，却在拒绝写入上比被正确拒绝的有害提示更弱；而被过度拒绝的无害请求，与正常回答的无害请求相比，识别分更高，拒绝写入通常也更强。这些内部差异单看输出标签是看不出来的。在此之上，作者训练一个四分类器去判断请求的行为状态（有害或无害，配合顺从或拒绝），再让路由器在原始请求预填充期间计算的特征上，选择要不要添加提醒。评估在八个模型上用嵌套交叉验证，并按底层请求分组。

结果方面，与不加提醒相比，越狱攻击成功率从 95.97% 降到 35.17%，对无害请求的过度拒绝率从 88.73% 降到 55.72%，良性误拒率只从 0.00% 升到 0.13%，三项的算术平均（AVG）为 30.34%。固定提醒则呈现明显的安全与有用性取舍：“安全”提醒把越狱成功率压到 30.45%，但过度拒绝高达 85.24%；“有用”提醒把过度拒绝降到 59.95%，越狱成功率却仍有 68.22%。与“安全”提醒相比，Sentinel 的越狱成功率高 4.72 个百分点，过度拒绝低 29.52 个百分点。已有防御里，Llama Guard 3 的越狱成功率最低（26.58%），但过度拒绝最高（92.53%），AVG 为 40.06%，还需要额外一次前向计算，而 Sentinel 复用主模型预填充之后的内部特征，在解码前就做出决定；Self-Reminder 和 ICD 的 AVG 分别是 41.60% 和 41.14%，均不如 Sentinel。

我们的判断是，这篇论文的价值在于把“拒绝”拆成可以单独观察的两步，并展示了这种拆分可以直接用在工程上：在不改模型权重、不额外调用一个守卫模型的前提下，利用主模型自己的内部信号做生成前的条件提醒。保留意见同样明确。其一，实验对象是三个家族的开源模型和论文设定的评测集，不能直接外推到任何闭源模型。其二，Sentinel 的越狱成功率仍有 35.17%，过度拒绝仍有 55.72%，它改善的是权衡，而不是消除了问题。其三，需要访问模型内部激活，才能使用这种方法，这限制了它的适用范围。对做模型评测和防御的团队，更实际的启发是：评估安全时，既要看拒绝了多少，也要看“识别”和“写入”是否同时到位。