安全路由的几何崩塌：费希尔视角揭示大模型良性微调中的对齐脆弱性

大语言模型在部署前通常需要经过对齐微调以确保安全性，然而在实际应用中，研究人员发现即便是旨在提升通用能力的良性微调任务，也常常导致模型的安全防护机制意外失效。这一现象被称为"对齐脆弱性"，即模型在保持或提升通用性能的同时，突然丧失拒绝有害请求的能力。既往研究多将这一失败归咎于梯度冲突，认为安全目标与通用目标在参数空间中相互干扰。然而，本文作者提出了一种截然不同的解释框架，即费希尔几何视角。研究指出，大模型中的安全对齐并非均匀分布在所有参数中，而是表现为一种低秩结构。这种低秩特性使得安全对齐在几何上更为平坦，但关键在于它保留了一条特定的"输出路由通路"。当进行良性微调时，这条通路并未被完全抹除，而是成为了后续行为变化的关键枢纽。这一核心贡献在于，它打破了传统梯度冲突的解释范式，从几何结构和信息路由的角度重新定义了安全对齐的稳定性问题，为理解为何安全能力如此容易崩塌提供了理论基础。在技术方法层面，论文深入剖析了微调过程中模型内部表征的动态变化。

研究团队通过精细的几何分析发现，安全对齐的费希尔信息矩阵具有显著的低秩特性，这意味着安全能力主要集中在少数几个方向上。在良性微调初期，模型为了适应新数据，整体几何结构趋于平坦，但那条关键的输出路由通路却被保留下来。随着微调样本的增加，特别是仅使用100个良性样本时，这条通路在输出侧的多层感知机（MLP）模块中发生了选择性的"锐化"。这种锐化并非均匀发生，而是具有高度的不对称性：它优先破坏了安全拒绝的路径，而对通用能力的路径影响较小。这种机制解释了为何安全能力会迅速崩溃，而通用性能却保持稳定。此外，研究还发现，由于内部与安全相关的表征并未完全消失，仅通过少量安全示例进行微调，即可重新激活这条路由通路，恢复模型的拒绝行为。这一发现揭示了模型内部安全知识的冗余性和可恢复性，为后续的安全恢复策略提供了技术依据。实验部分，研究团队在多个标准基准上验证了上述理论。他们观察到，在仅进行少量良性微调后，模型的攻击成功率迅速上升，表明安全对齐已严重受损，而通用任务的性能指标仅出现轻微下降，证实了不对称脆弱性的存在。

消融实验进一步显示，当抑制输出侧MLP模块的锐化过程时，安全能力的下降幅度显著减缓。此外，研究还评估了LoRA（低秩适应）和ASAM（自适应平滑度感知微调）等现有缓解策略的效果。结果表明，这两种方法在微调初期能够有效抑制输出侧的锐化，从而延缓安全崩溃的发生。然而，随着微调规模的扩大，这些策略的保护效力逐渐减弱，无法完全阻止安全对齐的最终失效。这一实验结果不仅验证了费希尔几何解释的准确性，也指出了当前主流微调技术在处理大规模数据时的局限性，强调了在更大规模微调中需要更鲁棒的安全保护机制。从行业意义来看，这项研究对大语言模型的安全部署具有深远影响。首先，它警示开发者，即使是看似无害的良性微调也可能潜藏巨大的安全风险，不能仅凭通用性能的提升来评估模型的安全性。其次，研究提出的"低秩输出路由"机制为设计更稳健的对齐算法提供了新思路，例如可以通过专门保护这条路由通路来增强安全性的持久性。对于开源社区而言，理解这一脆弱性有助于开发更有效的安全恢复工具，利用少量安全样本快速修复受损模型。在工业落地方面，企业需要重新评估其微调流程，引入如LoRA或ASAM等缓解策略，并监控微调规模对安全性的影响。最后，这一研究为后续关于大模型内部表征结构和对齐稳定性的理论探索开辟了新的方向，强调了从几何和路由角度理解深度学习模型行为的重要性，有望推动更安全、更可靠的大模型技术的发展。