扩散模型强化学习新解：路径空间视角下的算法统一与方差缩减机制

扩散模型在生成任务中表现卓越，但如何使其输出严格对齐人类偏好或特定任务奖励，一直是强化学习后训练领域的核心挑战。当前针对扩散模型的强化学习算法呈现出明显的碎片化特征：一类方法依赖离散化的似然比进行反向轨迹优化，另一类则基于带有奖励标签的噪声版本样本进行前向匹配训练。这种割裂的状态使得研究者难以从全局视角理解不同算法的优劣与适用场景。本文的核心贡献在于揭示了这些看似迥异的损失函数实际上源自单一的路径空间原则。通过深入分析正则化扩散强化学习目标，作者不仅统一了现有的理论框架，更指出不同方法家族之间的经验差距并非源于强化学习原理的根本差异，而是方差缩减策略的不同体现。这一发现为后续算法设计提供了清晰的理论指引，使得研究者能够在一个统一的坐标系中评估和优化扩散模型的强化学习过程，从而避免了盲目尝试不同架构带来的计算浪费。 在技术方法层面，论文首先从正则化扩散强化学习目标出发，利用采样随机微分方程之间的重要性采样技术，推导出了轨迹空间上的显式策略梯度估计器。这一估计器包含了Flow-GRPO类型更新所依赖的随机Itô积分，作者进一步推导出了等价的方差缩减值梯度形式，该形式成功复现了AWM和DiffusionNFT的前向匹配结构。这一推导过程清晰地展示了如何通过数学变换将复杂的轨迹优化问题转化为更易处理的值梯度估计问题。基于此统一设计空间，文章提出了一个由值梯度估计、权重函数和采样选择组成的组织框架。具体而言，作者设计了一种多样本KDE值梯度估计器，该估计器能够高效复用rollout组，从而降低计算成本。同时，引入了尺度有界的权重族，这些权重函数在保留现有稳定训练配方的同时，有效排除了可能导致训练不稳定的奇异权重选择。这种设计不仅增强了算法的鲁棒性，还使得训练过程更加可控，为扩散模型的高效强化学习提供了坚实的技术基础。 实验部分，研究团队在SD3.5-M和Qwen-Image两个主流扩散模型上进行了全面验证。实验结果有力地支持了论文提出的方差缩减解释，表明通过统一路径空间视角设计的算法确实能够更有效地降低梯度估计的方差。在关键指标上，所提出的新配方在生成质量与奖励对齐度上均优于现有的扩散强化学习基线方法。消融实验进一步证实，多样本KDE估计器与尺度有界权重族的结合是性能提升的关键因素。特别是，复用rollout组的策略显著提升了训练效率，而排除奇异权重的设计则确保了训练过程的稳定性。这些实验数据不仅验证了理论推导的正确性，也为工业界在实际部署扩散模型强化学习时提供了可复现的最佳实践。结果表明，理解并利用路径空间中的方差结构，是突破当前扩散模型强化学习性能瓶颈的有效途径。 从行业意义来看，本文为扩散模型的强化学习后训练提供了一个清晰的理论地图。对于开源社区而言，统一的设计空间使得不同研究团队能够更容易地比较和组合不同的优化策略，促进了算法的标准化与模块化。在工业落地方面，多样本KDE估计器对rollout组的复用机制直接降低了大规模模型训练的计算开销，这对于资源受限的企业级应用尤为重要。此外，尺度有界权重族的设计提高了训练的稳定性，减少了超参数调优的难度，加速了模型从实验室到生产环境的转化。对于后续研究，这一工作不仅解决了当前算法碎片化的问题，还指明了未来优化的方向：即在统一框架下探索更高效的方差缩减技术和更灵活的权重设计。随着扩散模型在多模态生成领域的广泛应用，这种理论上的统一将有助于推动更高质量、更高效的对齐技术发展，为构建更智能、更可控的生成式AI系统奠定坚实基础。