Co-pi-tree：將LLM推理蒸餾為可解釋策略樹以優化人機協作

在人机协作日益普及的背景下，如何构建既高效又可靠的政策来辅助人类成为研究的关键痛点。当前的主流解决方案通常陷入两难境地：一方面，大多数先前工作依赖多智能体强化学习（MARL）来学习策略，但这往往导致黑盒政策的产生，严重限制了系统的可解释性，并在实际应用中引发安全性顾虑；另一方面，近期出现的方法倾向于在每个决策步骤中直接查询大语言模型（LLMs），虽然提升了灵活性，却导致了响应速度缓慢和极高的推理成本，难以满足实时协作的需求。针对这一核心矛盾，本文提出了协作策略树（Co-pi-tree）。这是一项具有开创性的闭环方法，其核心贡献在于提出了一种可执行的策略树结构，该结构由伙伴行为预测树和智能体动作选择树两部分组成。Co-pi-tree旨在通过蒸馏技术，将LLM强大的推理能力转化为透明、可追溯的策略树代码，从而在保持高性能的同时，彻底解决黑盒不可解释和高成本低效率的问题，为人机协作提供了一种全新的范式。从技术实现层面来看，Co-pi-tree采用了一套精密的蒸馏与迭代优化机制。该方法并非简单地模仿LLM的输出，而是深入挖掘其推理逻辑，将其转化为具体的、可执行的代码结构，即策略树。这一过程包含了两个关键子模块：一是用于预判合作伙伴行为的预测树，二是用于决定智能体自身动作的选择树。

这种结构设计使得策略具备高度的透明度和可修改性。更为重要的是，Co-pi-tree构建了一个完整的闭环反馈系统。在策略初步构建后，系统会通过与人机伙伴的实际交互来进行评估，收集真实的交互反馈。随后，利用自然语言处理技术对这些反馈进行总结，精准识别出策略树中存在问题的分支。基于这些自然语言形式的诊断结果，系统能够针对性地修正和优化特定分支，从而实现策略的自我进化。这种方法巧妙结合了LLM的语义理解能力与传统策略树的执行效率，避免了端到端黑盒模型的盲目性。为了验证Co-pi-tree的有效性，研究团队在广泛使用的人机协作基准环境Overcooked-AI中进行了详尽的实验。实验结果令人瞩目，充分证明了该方法在性能提升和资源节约方面的巨大优势。

数据显示，与现有的基线方法相比，Co-pi-tree将平均奖励提高了35.4%，这表明其在协作任务中的决策质量显著优于传统方法。更令人印象深刻的是其在效率指标上的表现：通过将推理过程固化为策略树，Co-pi-tree成功将LLM的查询次数减少了77.7%，极大地降低了API调用成本。同时，测试时的延迟大幅降低了97.1%，这意味着系统能够实现近乎实时的响应，彻底解决了以往依赖LLM实时推理带来的延迟瓶颈。消融实验进一步证实了各个组件的有效性，特别是反馈循环机制对于修复策略缺陷、提升整体鲁棒性起到了决定性作用，确保了策略在复杂动态环境中的稳定性。Co-pi-tree的提出对人工智能行业及开源社区具有深远的意义。首先，它为解决AI系统的可解释性难题提供了一条切实可行的路径，使得人机协作中的AI决策过程变得透明、可审计，这对于医疗、驾驶等高安全敏感领域的落地应用至关重要。其次，通过大幅降低LLM的查询频率和推理延迟，该方法显著降低了部署成本，使得基于大模型的高级协作智能体在资源受限的边缘设备或大规模工业场景中成为可能。对于后续研究而言，Co-pi-tree展示了一种将符号主义（策略树）与连接主义（LLM推理）相结合的新思路，启发了更多关于神经符号AI在人机交互中应用的探索。它不仅提升了当前协作智能体的性能上限，也为构建更加安全、高效、可信的人机共生系统奠定了坚实的技术基础，推动了AI从单纯的自动化工具向真正可信赖的协作伙伴转变。