DemoPSD：基於分歧調節的策略自蒸餾框架，破解大模型推理訓練中的資訊洩露難題

本文針對大語言模型推理訓練中廣泛採用的在線策略自蒸餾（OPSD）方法所存在的特權資訊洩露及探索能力抑制問題，提出 DemoPSD 框架。傳統 OPSD 中，教師模型利用特權資訊進行密集的词元級監督，導致學生模型過度擬合域內模式並編碼測試時不可用的捷徑。DemoPSD 透過選擇性採納教師指導，引導學生模型逼近教師與學生分佈的逆 KL 重心目標，利用分佈差異自適應控制各詞元位置的融合比例。在 SciKnowEval 四個科學領域及 GPQA 基準上的實驗表明，DemoPSD 保持了更高的訓練熵，在性能上超越 GRPO 和 SDPO 等基線方法，展現出更強的域外泛化魯棒性。