超越事後溫度縮放：基於雙層優化的大型語言模型校準新方法
偏好對齊技術常導致大型語言模型產生過度自信且校準不良的問題。傳統的後處理溫度縮放方法存在嚴重的領域依賴性，即在某一領域擬合的溫度參數難以泛化至其他領域。為此，本文提出了一種基於雙層優化的訓練時校準框架，旨在通過修改模型參數從根本上改善校準性能。核心貢獻在於將預測分佈的熵最大化作為校準目標，直接抑制過度集中的預測。受溫度縮放啟發，作者構建了雙層優化公式：下層在參數化損失下訓練模型，上層則選擇超參數以最大化熵。為解決大模型規模下的計算瓶頸，研究採用高效的一階近似法避免顯式二階計算。在多項選擇題與開放生成問答任務上的實驗表明，該方法能生成校準良好的模型，尤其在域外泛化方面展現出顯著優勢，為提升大模型可靠性提供了新路徑。
大语言模型在通过偏好对齐技术提升人类指令遵循能力后，往往伴随着置信度校准的退化，表现为模型对其错误答案也表现出极高的确信度，这种现象被称为过度自信。传统的校准手段多采用事后温度缩放，即通过一个可学习的标量参数对模型输出的 logits 进行缩放，但这本质上是一种领域依赖的静态调整，一旦训练数据分布发生变化，原有的温度参数便失效，导致泛化能力受限。针对这一痛点，本研究提出了一种突破性的思路：不再依赖事后的后处理，而是将校准目标直接融入模型训练过程中。论文的核心贡献在于提出了一种基于双层优化的参数化校准框架，旨在从根源上解决大模型在多样化场景下的校准一致性问题，特别是针对那些分布外（Out-of-Domain）的数据，确保模型在遇到未见过的领域时仍能保持合理的置信度水平，而非盲目自信。
这一转变标志着从"修补式"校准向"内生式"校准的重要跨越，对于构建高可靠性、可信赖的大语言模型系统具有基础性意义。在技术实现层面，作者并未简单沿用传统的交叉熵损失，而是创新性地将预测分布的熵最大化作为校准优化的核心目标。高熵意味着预测分布更加均匀，从而有效抑制模型对单一标签的过度集中预测，直接针对过度自信问题。为了在计算上可行，研究构建了一个双层优化（Bilevel Optimization）架构。
在该架构中，下层优化负责在常规参数化损失下更新模型权重，确保模型的基本学习能力不被破坏；上层优化则负责动态选择损失函数的超参数，以最大化预测分布的熵。这种设计巧妙地解耦了模型功能学习与校准目标优化。然而，双层优化通常涉及复杂的隐函数导数计算，计算成本极高，难以应用于参数量庞大的大语言模型。为此，作者提出了一种高效的一阶近似算法，通过数学推导避免了显式的二阶海森矩阵计算，极大地降低了内存占用和计算复杂度，使得在大规模语言模型上实施这种精细的校准优化成为可能，兼顾了理论严谨性与工程实用性。
实验部分涵盖了多项选择题生成与开放域生成式问答两大主流评测场景，验证了所提方法的有效性与鲁棒性。研究团队在多个基准数据集上进行了广泛测试，结果显示，相较于传统的温度缩放及其他校准基线，该方法生成的模型在预期误差（ECE）等校准指标上表现优异。特别是在域外泛化测试中，当模型面对与训练数据分布差异较大的领域时，传统方法往往出现校准性能急剧下降，而本文提出的双层优化方法则保持了稳定的校准效果，证明了其通过训练时参数调整所获得的泛化优势。消融实验进一步揭示了熵最大化目标与一阶近似策略的有效性，证实了避免二阶计算并未牺牲校准精度，反而提升了训练效率。
这些关键结果不仅量化了方法的优势，也展示了其在不同任务类型下的普适性，为后续研究提供了坚实的实证基础。从行业影响来看，这项研究为大语言模型的落地应用提供了重要的技术支撑。在医疗、法律、金融等高风险领域，模型的置信度准确性直接关系到决策的安全性与可靠性。传统的后处理校准难以适应动态变化的真实数据环境，而本文提出的训练时校准框架能够内生地提升模型的泛化校准能力，有助于降低模型幻觉带来的风险。对于开源社区而言，该方法提供了一套可复现的优化范式，鼓励研究者关注模型内在的置信度特性而非仅关注准确率。在工业落地方面，这种无需额外推理开销且具备良好泛化性的校准方案，易于集成到现有的训练管线中，为构建下一代高可信、高鲁棒的大语言模型系统奠定了坚实基础，有望推动 AI 系统在更广泛、更严苛场景下的安全部署。
Sources
FAQ
这项研究提出了什么新方法来解决大语言模型的过度自信问题？
研究提出基于双层优化的训练时校准框架，将预测分布熵最大化作为目标，直接修改模型参数抑制过度自信，不依赖事后温度缩放。
为什么传统的温度缩放方法存在局限性？
温度缩放是领域依赖的静态调整，在某领域拟合的参数难以泛化到其他领域。数据分布变化时原有参数失效，导致域外校准性能急剧下降。
这项技术的实际应用前景如何？
该方法无需额外推理开销，易集成到现有训练管线，在域外泛化方面优势显著，适合医疗、法律、金融等高风险领域的安全部署应用。