大模型量化损伤分布解析：为何全局细粒度量化优于局部修复

大语言模型的高效部署日益依赖后训练量化技术，但其带来的精度损失往往具有不均匀性，且通常需针对特定模型进行繁琐调优。本研究旨在揭示量化损伤在模型内部的具体分布形态，并探索如何以最小的额外精度预算实现精度恢复的最大化。作者提出，传统的直觉可能错误地认为量化损伤集中在执行特定任务的电路或具有异常统计特征的权重层中。为了验证这一点，研究团队构建了一个基于因果混合精度干预的实验框架，将每一层依次提升至8-bit精度并测量其对整体准确率的恢复程度。通过对九款涵盖四种不同架构家族的开源模型进行广泛测试，研究旨在回答一个核心问题：量化损伤究竟潜伏何处，以及何种预算分配策略能最有效地挽回精度损失。这一研究不仅试图解释现象，更致力于建立一套可验证的量化损伤评估体系，为后续的大模型压缩技术提供坚实的实证基础。在技术方法层面，研究摒弃了仅依赖权重统计或启发式规则的猜测，转而采用严格的因果干预手段作为地面真值。具体而言，研究人员对每个模型的不同层进行逐一的精度提升干预，即把特定层从低精度（如4-bit或更低）提升到8-bit，观察由此带来的模型整体性能变化。这种逐层干预的方式能够精确量化每一层对最终精度的贡献度。

研究同时测试了三种直观的假设：一是损伤位于任务电路中，二是位于权重统计异常处，三是其他潜在因素。然而，实验结果显示，这些基于局部特征的假设均无法准确预测哪些层在恢复精度后能带来最大收益。相反，量化损伤的恢复呈现出显著的弥散性。对于九款模型中的八款，恢复75%的精度缺口大约只需要修复一半的层，而非集中在少数几层。唯一的例外是Qwen3-8B，其损伤恢复表现出高度的集中性。这种基于因果推断的方法论，确保了结论的可靠性，避免了因相关性误判而导致的优化方向偏差，为理解量化误差的传播机制提供了全新的视角。实验结果揭示了全局细粒度量化策略的显著优势。在保持总精度预算一致的前提下，研究对比了两种策略：一是将预算全局分配给所有层，采用更细粒度的量化（如Group-128兼容的量化方式）；二是将预算集中用于修复那些被识别为具有高恢复潜力的局部层。结果显示，在所有八款兼容Group-128的模型中（除OpenLLaMA外，因其宽度限制无法适用），全局细粒度量化策略的性能均大幅领先，提升幅度高达21至52个点，甚至包括那款表现出集中恢复特性的Qwen3-8B。

这一发现极具颠覆性，因为它表明简单地均匀分配精度资源，比试图识别并保护所谓的"关键层"更为有效。此外，研究还报告了两个次要发现：首先，残差误差主要受限于预算，8-bit量化在RTN、GPTQ和AWQ等多种主流算法下已接近无损；其次，峰值恢复位置在模型家族内部与架构相关，但跨家族则无此规律。这些关键指标和数据有力地支持了全局量化作为默认策略的有效性。从行业意义来看，本研究对大模型开源社区及工业落地具有深远影响。长期以来，业界倾向于通过复杂的算法识别并保护关键层，以节省计算资源。然而，本研究表明，这种局部修复策略在大多数情况下并非最优，反而可能因识别误差和实现复杂度而降低效率。全局细粒度量化不仅实现更简单，且性能更优，这为工业界部署大模型提供了更简洁、高效的方案。对于开源社区而言，这一发现鼓励开发者在默认配置中采用更均衡的量化策略，而非过度优化特定层。此外，研究强调廉价信号（如权重统计）不一定能准确指示精度恢复的位置，必须通过因果干预进行验证，这为后续研究指明了方向。总体而言，该工作不仅优化了量化技术本身，更深化了我们对大模型内部误差分布机制的理解，推动了高效AI推理技术的进一步发展。