DemoPSD：破解大模型推理训练中的信息泄露难题

在大语言模型强化学习训练领域，在线策略自蒸馏（OPSD）作为一种将单一模型同时作为教师与学生的实用范式，正逐渐成为提升模型推理能力的主流手段。然而，近期研究深入揭示了这一范式背后的深层隐患：教师模型在训练过程中拥有特权信息，其提供的密集词元级监督信号往往导致学生模型过度拟合训练域内的特定模式。这种过拟合不仅抑制了模型的探索欲望，更严重的是引发了特权信息泄露问题，即学生模型在推理过程中编码了仅在训练时可见的答案依赖型捷径，导致在测试阶段性能断崖式下跌。针对这一核心痛点，本研究提出了DemoPSD框架，旨在通过选择性采纳教师指导的机制，从根本上解决上述困境。

该框架的核心贡献在于提出了一种全新的分布对齐策略，不再强制学生模型完全拟合教师的全分布，而是引导其向一个平衡了教师与学生自身推理能力的目标分布收敛，从而在利用教师知识的同时，保护学生模型的独立推理潜能与探索空间。在技术实现层面，DemoPSD摒弃了传统的直接分布拟合方式，转而采用了一种基于逆KL重心（reverse-KL barycenter）的目标函数。具体而言，该目标被定义为教师分布与学生分布的加权几何组合。为了实现这一目标，框架引入了动态调节机制，通过实时计算当前词元位置上教师分布与学生分布之间的差异（discrepancy），自适应地控制两者在最终目标中的融合比例。

当两者差异较大时，框架倾向于更多地保留学生自身的分布特性，从而避免被教师的高置信度特权信息所误导；当差异较小时，则适当增加对教师指导的采纳。这种机制在数学上被证明能够实现两个关键性质：一是泄露衰减，即有效切断特权信息对学生模型的负面诱导；二是探索保留，即在密集蒸馏过程中维持足够的训练熵，确保模型不会过早收敛到局部最优或死胡同。这种基于分歧的动态调节策略，使得模型能够在吸收外部知识的同时，始终保持对未知空间的探索活力。为了验证DemoPSD的有效性，研究团队在SciKnowEval基准上进行了广泛的实验，覆盖了四个不同的科学领域，并进一步在GPQA这一高难度的域外基准上测试了模型的泛化能力。

实验结果显示，DemoPSD在各项指标上均显著优于当前的强基线方法，包括GRPO和SDPO。特别是在保持较高训练熵方面，DemoPSD表现出明显的优势，这直接印证了其探索保留机制的有效性。消融实验进一步发现，动态调节融合比例的策略比固定比例或无调节策略更能有效抑制过拟合。在GPQA基准上的鲁棒性测试中，DemoPSD展现了卓越的域外泛化能力，证明了其通过学习到的推理模式而非死记硬背的捷径来解决问题。

这些结果不仅量化了DemoPSD在性能上的提升，更从训练动态的角度揭示了其优于传统自蒸馏方法的内在机理，为后续研究提供了重要的实证依据。从行业意义与潜在影响来看，DemoPSD的提出为大语言模型的高效推理训练提供了新的思路。它解决了长期困扰业界的特权信息泄露问题，使得利用更强模型的知识蒸馏成为可能，而无需担心学生模型产生虚假的自信或捷径依赖。这对于开源社区而言，意味着可以更安全地利用闭源模型的输出进行微调，加速开源模型的进化。在工业落地方面，该框架有助于降低对大规模标注数据的依赖，通过自蒸馏机制挖掘模型内部潜力，从而降低训练成本并提升模型在复杂科学推理任务中的可靠性。此外，DemoPSD所提出的动态分布平衡理念，也为其他涉及教师-学生架构的机器学习任务提供了借鉴，特别是在需要平衡知识迁移与模型泛化能力的场景中，具有广泛的适用前景。未来，这一框架有望成为大模型推理训练的标准组件之一，推动整个领域向更稳健、更通用的方向发展。