突破RMSNorm规范模糊：符号-置换对齐如何重塑大模型可解释性与微调一致性

在现代大语言模型的复杂工作流中，研究人员经常需要在不同的检查点之间移动坐标索引对象，例如用于模型编辑的引导向量、用于可解释性分析的稀疏自编码器（SAE）基、基于重要性筛选的Top-k神经元集合、归因列表以及模型合并的对齐映射。然而，这种跨检查点的操作只有在固定模型的残差流规范（gauge）之后才是良定义的。本文的核心贡献在于揭示了这种规范依赖性并非架构无关，而是深深植根于归一化层的设计之中。作者通过理论推导证明，采用LayerNorm的模型其残差流规范群仅为置换群（允许全局符号翻转），而采用RMSNorm且具备通用逐通道增益的模型，其规范群则扩展为符号-置换群。这意味着，如果仅使用置换群进行对齐，对于RMSNorm模型而言，对称性是不完备的，从而导致后续基于坐标的操作出现系统性偏差。这一发现挑战了现有工具链中普遍假设的架构中立性，指出了当前许多模型编辑和可解释性方法在底层数学结构上的潜在漏洞。 为了解决这一根本性的规范对齐问题，作者提出了一种名为"符号-置换坐标传输"的新方法，其核心在于将坐标保持的传输而非函数级别的合并作为主要研究对象。在技术实现上，作者引入了符号边缘化的匈牙利匹配算法，以处理RMSNorm特有的符号不确定性。理论分析表明，如果直接使用原始符号相关性进行匹配，在坐标去相关的情况下，算法会遭遇一个结构性的精度天花板，其准确率被限制在真实规范中正号分数的比例上。通过引入符号边缘化，这一结构性限制被彻底移除，使得算法能够更准确地恢复真实的规范变换。此外，该方法强调在相同的基线微调轨迹上，通过组合保存的检查点局部规范来恢复跨运行的坐标。这种策略避免了直接比较不同检查点函数值的粗糙做法，转而关注底层坐标空间的几何一致性，从而在数学上保证了传输的精确性和可逆性，为后续的工具迁移奠定了坚实的理论基础。 在实验设置与关键结果方面，作者在多个基准任务和模型架构上验证了该方法的有效性。在1500步的微调轨迹实验中，基于符号-置换规范恢复的跨运行坐标准确率达到了91.1%，而传统的仅置换端点匹配方法仅为60.3%。这一显著增益并非仅仅源于通过基线节点的简单路由，而是源于对规范结构的精确捕捉。在可解释性工具迁移方面，结果同样令人印象深刻：在TinyLlama模型上，使用符号-置换规范进行稀疏自编码器重建的归一化均方误差（NMSE）仅为0.004，而使用传统置换规范时误差高达1.08，表明前者能更准确地重建神经元激活模式。在情感引导任务中，Qwen模型的情感引导效果在符号-置换规范下保留了95.8%，而在置换规范下仅剩17.2%，且后者甚至会导致拒绝引导的符号反转，完全破坏原有功能。消融实验进一步证实，这种性能提升并非来自模型容量的变化，而是源于规范对齐的准确性。 这项研究对开源社区、工业落地及后续研究具有深远的意义。首先，它揭示了当前许多基于坐标的可解释性声明（如特定神经元的重要性）只有在相对于显式规范时才是可复现的，这要求研究者在报告结果时必须明确其规范选择。其次，对于工业界而言，模型合并、微调状态恢复以及模型编辑等工具的性能提升，直接依赖于对底层规范结构的正确理解。符号-置换传输使得跨运行、跨版本的模型组件迁移变得更加可靠，降低了模型迭代中的对齐成本。最后，该研究还揭示了协方差结构在状态训练中的作用，指出AdamW状态的符号传输能够保持恢复后的训练轨迹，而仅置换状态则会导致轨迹偏离，即使从功能上看检查点是相同的。这为理解优化器状态在微调过程中的动态行为提供了新的视角，推动了大模型可解释性和编辑技术从经验主义向严谨数学理论的转变。