DemoPSD：通过分歧调制自蒸馏破解大模型推理训练中的信息泄露难题

在大语言模型强化学习推理的训练范式中，在线策略自蒸馏（OPSD）因其高效性而备受关注，其核心思想是让同一个模型在不同阶段分别扮演教师和学生角色，通过不同级别的信息访问权限进行自我训练。然而，近期的深入研究揭示了这一范式背后隐藏的重大隐患。当教师模型拥有特权信息（如最终答案或完整推理链）并对学生的每一个词元输出施加密集的监督信号时，学生模型极易陷入一种危险的学习陷阱：它并非真正学会了逻辑推理，而是记住了与答案强相关的表面模式或捷径。这种现象被称为特权信息泄露，它不仅导致模型在分布外数据上表现急剧下降，还因为过度依赖教师的高置信度输出而严重抑制了模型自身的探索欲望，使得训练过程变得僵化，难以应对复杂多变的真实场景问题。因此，如何在不牺牲蒸馏效率的前提下，切断这种有害的信息捷径，同时保持模型的探索活力，成为当前提升大模型推理鲁棒性的关键科学问题。本文正是针对这一痛点，提出了一种全新的框架DemoPSD，旨在通过机制创新从根本上解决上述困境，为构建更通用、更稳健的推理模型提供新的技术路径。DemoPSD的核心技术创新在于引入了"选择性采纳教师指导"的策略，彻底改变了传统自蒸馏中盲目拟合教师全分布的做法。具体而言，该方法不再强制学生模型去复制教师模型的输出分布，而是引导学生逼近一个称为"反向KL重心目标"的中间状态。

这个目标分布被定义为学生分布与教师分布的加权几何组合，它在数学上巧妙地平衡了从教师那里汲取知识和保留学生自身推理能力之间的关系。为了实现这种动态平衡，DemoPSD设计了一种基于分布差异的自适应机制。在训练过程中，系统会实时计算当前词元位置处学生分布与目标分布之间的差异，并利用这一差异作为信号，动态调整教师指导的权重。当学生对自己输出的不确定性较高时，它会更多地采纳教师的指引；而当学生已经具备较强的推理能力或检测到潜在的信息捷径风险时，它会降低对教师的依赖，从而避免过拟合。这种基于分歧调制的机制，使得模型能够在训练的不同阶段、不同词元位置灵活切换学习模式，既利用了教师的高质量指导，又有效隔离了特权信息的直接渗透。为了验证DemoPSD的有效性，研究团队在多个高标准的科学推理基准上进行了广泛的实验评估。主要数据集包括涵盖四个不同科学领域的SciKnowEval，以及用于测试分布外泛化能力的GPQA基准。实验结果显示，DemoPSD在各项指标上均显著优于当前主流的强化学习算法，如GRPO和SDPO。

特别是在保持训练熵方面，DemoPSD表现出了显著优势，这意味着模型在训练过程中保持了更高的探索多样性和不确定性，避免了过早收敛到局部最优解。消融实验进一步证实，引入反向KL重心目标和自适应混合机制是提升性能的关键因素。在GPQA等分布外基准上的测试表明，DemoPSD训练出的模型具有更强的鲁棒性，能够更好地处理未见过的复杂问题，证明了其在抑制特权信息泄露方面的有效性。这些结果不仅验证了理论推导的正确性，也展示了该方法在实际应用中的巨大潜力，为提升大模型在科学推理等复杂任务中的表现提供了有力的实证支持。从行业意义来看，DemoPSD的提出对大语言模型推理训练领域具有深远的影响。首先，它为解决特权信息泄露这一普遍存在但常被忽视的问题提供了可行的技术方案，有助于提升开源社区中基于自蒸馏训练的模型的真实推理能力，减少"虚假繁荣"的现象。其次，该方法对工业落地具有重要意义，特别是在医疗、法律、科学计算等对推理准确性和泛化能力要求极高的领域，DemoPSD能够帮助构建更可靠、更不易过拟合的专业模型。此外，DemoPSD所提出的自适应混合机制和分布差异监控思路，也为后续研究提供了新的启发，可能推动更多基于动态权重调整或分布匹配的策略蒸馏方法的发展。随着大模型向更复杂推理任务迈进，如何平衡监督强度与探索能力将成为核心议题，DemoPSD为此提供了一个重要的参考范例，有望促进更稳健、更通用的AI推理系统的构建。