SAGE：基於熵的視覺語言模型選擇性引導與自主策略學習

当前，视觉语言模型（VLMs）在交互式决策任务中提供了强有力的先验知识，但将其直接用作策略存在显著缺陷。首先，VLM推理成本高昂，需要在每个决策步骤进行查询，导致计算资源浪费；其次，VLM是静态的，无法像强化学习智能体那样通过与环境交互来修正错误，容易重复系统性偏差；最后，直接依赖VLM导致策略缺乏鲁棒性。针对这些痛点，本研究提出了一种名为SAGE（Selective Agent Guidance via Entropy）的新框架，旨在从在线、昂贵但不完美且信息丰富的VLM教师中学习廉价且自主的策略。SAGE的核心贡献在于建立了一种动态的选择性引导机制，它改变了传统的全程依赖模式，转而关注智能体自身的认知状态。通过这种方式，SAGE不仅保留了VLM在复杂视觉理解上的优势，还结合了强化学习在长期规划和问题解决上的适应性，为解决高成本AI模型的轻量化部署与自主化演进提供了新的思路。这一研究重新定义了VLM在决策闭环中的角色，从"执行者"转变为"导师"，极大地拓展了多模态大模型在机器人控制和游戏AI等领域的应用边界。在技术实现上，SAGE框架巧妙地结合了不确定性估计、动作蒸馏与强化学习。具体而言，系统维护一个轻量级的学习者策略，该策略通常基于强化学习算法构建。在训练过程中，SAGE并不在每个时间步都向VLM教师请求建议，而是通过监测学习者策略的熵值或置信度来判断当前状态的不确定性。

只有当学习者对当前状态感到"困惑"或不确定性超过阈值时，才会触发对VLM的查询。一旦VLM给出建议动作，SAGE并不会直接将其作为最终动作，而是将其作为蒸馏目标。为了应对VLM建议可能存在的错误，SAGE引入了基于环境反馈的优势值加权机制。这意味着，如果VLM的建议动作最终导致了较高的累积奖励（即优势值为正），该建议会被赋予更高的权重用于更新学习者策略；反之，如果建议导致低奖励，其影响将被削弱。这种机制确保了只有经过环境验证的、真正有益的VLM知识才会被内化到轻量级策略中，从而避免了噪声知识的污染。此外，整个训练过程完全在线进行，VLM仅作为临时指导，不参与最终的策略执行，确保了训练的高效性和策略的独立性。为了验证SAGE的有效性，研究者在多个稀疏奖励的视觉推理和导航任务基准上进行了广泛实验。这些任务通常具有状态空间大、奖励信号稀疏的特点，非常适合测试智能体的探索能力和长期规划能力。实验结果显示，SAGE学习到的策略在评估阶段完全不需要VLM的参与，实现了真正的自主运行。

与未加引导的强化学习基线相比，SAGE在多个环境中取得了显著的性能提升，证明了选择性引导对加速收敛和提高最终性能的有效性。更令人惊喜的是，在某些复杂设置下，SAGE学习到的策略甚至超越了其VLM教师的表现，这表明通过环境交互，智能体能够学到比教师更优或更鲁棒的策略。消融实验进一步揭示，选择性引导的价值高度依赖于VLM的质量和环境特性：当VLM能够帮助智能体发现原本难以探索的高奖励轨迹时，引导效果最为显著；而当无引导探索本身就能成功，或者VLM的建议无法提供 informative 的经验时，引导的收益则相对有限。此外，SAGE大幅减少了VLM的调用频率，仅在训练阶段的一小部分步骤中进行提示，极大地降低了计算开销。从行业意义来看，SAGE框架为开源社区和工业落地提供了极具价值的参考。在工业界，部署大型多模态模型往往面临延迟和成本的双重压力，SAGE提出的"训练时引导、部署时自主"范式，使得企业可以在资源受限的边缘设备上运行高性能的决策策略，同时利用云端强大的VLM进行离线或半在线的知识蒸馏。对于开源社区而言，该框架提供了一种将大模型能力迁移到专用小模型的标准方法论，促进了AI智能体的高效进化。此外，该研究还引发了对VLM本质的深刻反思：VLM无需成为完美的最终策略，其作为"不完美的临时导师"的价值同样巨大。这种思想可以推广到其他领域，如自动驾驶、机器人操作等，其中先验知识与实时交互的平衡至关重要。未来的研究可以进一步探索如何动态调整引导阈值，以及如何将SAGE扩展至更复杂的多智能体协作场景，从而推动通用人工智能在物理世界中的落地应用。