GRPO 规则学习补上大模型心智理论推理的断层

在 Theory-of-Mind（ToM，心智理论）推理中，大语言模型有一个很隐蔽的毛病：它们常常能正确推断出某个角色此刻的心理状态，比如知道小明并不清楚杯子已经被挪走了，却在接下来预测或评判这个角色会怎么行动时，没有把这个推断用起来，最后给出与自己推断相矛盾的答案。换句话说，模型"想对了"，却"做错了"，感知、信念、行动三个环节之间出现了断层。这篇论文关注的正是这道推理鸿沟。作者的核心想法是：与其指望模型在隐式的思维链里自己把三者接起来，不如让它显式地写出简短的 if–then 规则，直接表达从感知到行动的关系，例如"如果某人没有看到物体被移动，那么他会去原来的位置寻找"。论文的贡献可以概括为三点：第一，提出用规则生成来显式连接感知、信念与行动；第二，用 Group Relative Policy Optimization（GRPO）这一强化学习方法训练模型学会产出这类规则；第三，证明较大模型生成的规则可以迁移给其他模型，带来额外收益。在方法上，论文把"写规则"当成模型回答问题之前的一个显式步骤。模型先针对题目场景生成简洁的 if–then 规则，这些规则只保留感知到行动之间的关键关系，不做冗长的叙述；然后再依据规则去回答关于角色行动的问题。

训练使用的是 GRPO。这个算法的特点是：对同一道题采样一组输出，用组内相对表现来估计优势，因此不需要另外训练一个价值网络，实现上更轻，也更适合在较小的模型上做强化学习。作者把这套训练用在 Qwen2.5 和 Llama3 两个模型家族上，并覆盖了不同参数规模，这样才能进一步观察规模对规则质量的影响。与监督微调相比，强化学习不要求每条规则都有人工标注的标准答案，模型可以在探索中找到真正对最终答案有帮助的规则写法；与单纯让模型多想一会儿相比，规则是一种有结构的中间产物，约束了推理要经过"感知、信念、行动"这条链。实验方面，作者在四个 ToM benchmark 上评测，对比了三类常见做法：直接提示、监督微调，以及让模型先输出思考过程的 think 式推理。结果是，带规则生成的 GRPO 整体上优于这三种基线。这个对比有一层意味：它说明收益并不只是来自强化学习本身，也不只是来自"多写一段推理文字"，而是来自把推理内容限定为可复用的感知到行动规则。

论文还做了一个很有意思的迁移实验：把不同模型生成的规则拿去辅助 GPT-4o-mini。发现参数量不小于 3B 的模型所生成的规则，能够提升 GPT-4o-mini 在下游任务上的表现，而更小模型的规则则没有表现出同样的迁移价值。这提示规则质量与模型规模有关，存在一个能力门槛。摘要没有给出具体的提升幅度，所以对收益大小需要回到原文表格去核对。这项工作的意义首先在于，它给出了一条修补 ToM 推理断层的实用路径：不必换更大的模型，也不必堆更长的思维链，只要让模型把"看到了什么、所以会怎么做"写成短规则，再用 GRPO 把这种习惯训练出来。对工业落地而言，规则短小、可读，便于人工检查和审计，比一长串隐式推理更容易发现错误，这对需要理解用户意图的对话助手、多智能体协作和社交类应用都有参考价值。其次，规则可以跨模型迁移，意味着可以用一个训练好的开源模型当"规则生产者"，去增强闭源或更难微调的模型，这降低了成本，也为开源社区提供了一种知识共享的新形态。最后，对后续研究来说，这篇论文提出了值得追问的问题：规则的质量如何度量，能否推广到更复杂的多角色、多层嵌套信念场景，以及更小的模型为什么难以产出可迁移的规则。这些都是把显式规则与强化学习结合起来之后，自然会打开的研究方向。