DemoPSD：透過分歧調制策略自蒸餾緩解大模型特權資訊洩露

本文針對大語言模型推理訓練中廣泛採用的在線策略自蒸餾（OPSD）方法存在的缺陷，提出了DemoPSD框架。現有OPSD方法中，教師模型利用特權資訊進行密集的字元級監督，容易導致學生模型過度擬合領域內模式、抑制探索能力，並引發嚴重的特權資訊洩露問題，即學生模型編碼了測試時不可用的答案依賴捷徑。DemoPSD透過「選擇性採納教師指導」的理念，引導學生模型逼近反向KL重心目標，這是一種教師與學生分佈的加權幾何組合。該方法透過測量分佈差異自適應控制每個字元位置的混合程度，從理論上證明了其能有效緩解資訊洩露並保留探索能力。在SciKnowEval四個科學領域及GPQA基準上的實驗表明，DemoPSD在保持更高訓練熵的同時，性能優於GRPO和SDPO，展現出更強的跨域泛化魯棒性。