重新思考大語言模型線上策略蒸餾：單樣本訓練的驚人潛力與算法瓶頸

大语言模型的后训练阶段，尤其是基于强化学习的优化方法，长期以来被视为提升模型推理能力的关键手段。然而，在线策略蒸馏（On-Policy Distillation, OPD）作为一种结合学生模型生成轨迹与教师模型密集token级监督的高效方法，其成功背后的数据依赖机制一直存在争议。现有研究多聚焦于算法层面的改进，却忽视了训练数据在其中的具体角色。本研究旨在填补这一空白，通过极端的数据极简主义视角，即仅使用单个查询样本进行训练，来探究OPD的本质行为。核心贡献在于揭示了即使在数据极度匮乏的情况下，OPD依然具备强大的自我优化能力。研究团队发现，仅凭一个查询，学生模型在数百步的训练中不仅能持续改进，还能恢复全数据训练在广泛任务域和不同模型架构中取得的绝大部分性能增益。这一发现直接挑战了业界对于大规模标注数据在蒸馏过程中不可或缺性的固有认知，为理解模型学习机制提供了全新的理论视角，并引发了对现有后训练范式的深刻反思。

在技术方法层面，研究并未采用复杂的新型网络结构，而是通过精细的测量指标来剖析训练动态。核心创新在于提出了"状态覆盖率"（State Coverage）这一度量标准，用于量化学生模型在训练过程中访问的状态空间与全数据训练所访问状态空间的重合程度。具体而言，状态覆盖率定义为全数据OPD访问的状态中，由特定查询集生成的轨迹所覆盖的比例。研究详细追踪了单样本训练过程中的状态访问分布，发现单一样本在训练初期（前100步）便能迅速探索并覆盖大量关键状态。此外，研究还对比了单教师与多教师OPD场景，验证了状态覆盖率概念在不同蒸馏策略下的普适性。在训练策略上，研究保持了标准的OPD流程，即学生模型生成rollouts，教师模型提供token级别的奖励信号，但重点分析了数据多样性对状态空间探索效率的影响。通过控制变量，研究逐步增加语义上截然不同的查询样本数量，观察状态覆盖率与验证准确率的变化曲线，从而在微观层面解构了数据量与模型性能之间的非线性关系，揭示了算法吸收监督信息的内在节奏。

实验设置涵盖了多个主流的大语言模型基准和不同的模型家族，以确保结论的鲁棒性。关键结果首先体现在单样本训练的有效性上，尽管数据量仅为全数据的极小部分，但模型性能并未出现断崖式下跌，反而保持了稳定的上升趋势。随着查询样本数量的增加，状态覆盖率呈现显著增长，当样本数量达到16个时，覆盖率高达98.9%，此时模型性能与使用全数据集训练的结果几乎无异。这一发现表明，数据的有效性远比数据的数量重要，少量高质量、语义多样的样本足以激发模型的大部分潜力。消融实验进一步揭示了一个反直觉的现象：无论训练数据是一个样本还是整个数据集，学生模型对齐教师模型的速度基本保持一致，且即使状态空间已被完全覆盖，吸收这些监督信号仍需数百步的训练。这意味着当前的OPD算法在数据吸收效率上存在瓶颈，而非数据供给不足。此外，研究还进行了压力测试，使用内容稀少的模板和域外查询（如WildChat数据）进行训练，发现其性能依然接近真实查询基线，这进一步证实了任务内容与诱导的状态覆盖率之间可以解耦，状态空间的探索效率才是决定性能的关键因素。

这一研究成果对开源社区、工业落地及后续研究具有深远的行业意义。首先，它极大地降低了在线策略蒸馏的数据准备门槛，使得在资源受限环境下进行模型微调成为可能，无需依赖昂贵且难以获取的大规模标注数据。对于工业界而言，这意味着可以更快地迭代模型，利用少量真实用户交互数据即可实现有效的性能提升。其次，研究指出的"数据过剩但算法饥饿"状态，为后续研究指明了明确的方向：未来的工作重心应从单纯增加数据规模转向提升算法的样本效率和训练步骤效率。这包括优化奖励函数设计、改进状态探索策略以及开发更高效的梯度更新机制。最后，该研究促使学术界重新审视当前前沿后训练方法的成功机制，鼓励研究者跳出数据驱动的思维定式，深入探究模型在状态空间中的学习动力学。通过理解单样本为何有效，我们可以设计出更通用、更鲁棒的蒸馏算法，从而推动大语言模型向更高效、更智能的方向发展，为构建下一代人工智能系统奠定更坚实的理论基础。