DreamTrue：用反事实后训练打造动作忠实的机器人世界模型

机器人世界模型的价值，在于让策略在真实硬件之外“先做一遍梦”：给定当前观测和一段动作序列，模型预测接下来会发生什么。这个想法听起来朴素，落地却极难，因为视频生成模型天生擅长“看起来像”，而机器人需要的是“动作对得上”。DreamTrue 由李浚岩、李瑞之、刘宇等研究者提出，论文发表于 2026 年 10 月 8 日的 arXiv（编号 2610.12468）。它是一个多视角、跨本体的机器人世界模型，目标被概括为两个词：动作忠实（action-faithful）与物理合理（physically plausible）。前者要求生成的画面严格服从输入的动作，后者要求接触、抓取、碰撞等交互的结果符合物理常识。两者缺一，世界模型就只是一个好看的视频播放器，无法替代真实环境去评估或训练策略。 论文指出，在现有机器人数据集上训练这样的模型，会撞上两堵墙。第一堵是标定不精确：动作轨迹要与画面对齐，就必须知道相机与机械臂之间的几何关系，一旦标定有偏差，模型学到的“动作到像素”的映射就是歪的，表现为模型听不准指令。第二堵是失败样本稀缺：公开数据集里绝大多数是成功完成任务的演示，抓空、滑落、碰撞、撞翻物体的记录寥寥无几。模型因此会形成“乐观偏置”，无论给什么动作，都倾向于生成任务成功的结局。这对规划与评估尤其危险，因为一个从未见过失败的世界模型，无法告诉策略“这样做会摔”。把这两个问题拆开命名，是这篇工作的第一个贡献：它们分别对应动作条件的精度与交互结果的真实度。 针对第一堵墙，DreamTrue 采用的办法是把动作轨迹渲染为图像空间中的条件，再通过离线几何标定，使这些条件与目标视频精确对齐。换句话说，它不把动作当成一串抽象的关节数值喂给模型，而是把动作“画”到相机视角里，让模型在像素层面直接看到末端执行器将要去哪里。这样做有两个好处：其一，不同机器人的关节定义千差万别，图像空间的表示天然抹平了本体差异，为跨本体训练铺路；其二，离线标定把几何误差在训练前一次性校正，而不是让网络自己去猜。多视角设定则进一步约束了三维一致性，减少单视角下的歧义。论文报告，该模型在 AgiBot 上取得了当前最优的动作跟随表现。需要说明的是，摘要没有给出动作跟随的具体指标数值，评估细节应以原文为准。

从工程角度看，这一设计还有一层含义：条件的形式决定了数据的可复用程度。如果动作只以本体相关的关节数值出现，每换一种机器人就要重新学习一次映射；一旦动作变成画面里的轨迹，来自不同机械臂的数据就能进入同一个训练池，数据规模与多样性随之放大。这正是“跨本体”三个字背后真正的收益，也解释了为什么标定质量如此关键：条件画得越准，模型从大规模异构数据中学到的规律就越干净。 针对第二堵墙，论文提出了反事实后训练（counterfactual post-training）。做法是修改已记录的动作轨迹，再让模型生成这些新动作下的未来视频，从而覆盖更宽的动作与接触配置。直觉很清晰：真实数据里没有人会故意把夹爪移到物体旁边空抓，但世界模型必须知道那样会发生什么。通过对录制轨迹做“如果当时这样动会怎样”的改写，训练分布从成功演示扩展到了大量边缘与失败情形。随之而来的问题是：这些新生成的未来没有真实的对照画面，怎么判断它们好不好？作者的回答是构建一个人工标注的视频数据集，覆盖机器人、物体与交互三类缺陷，并据此训练一个具身视频奖励模型。这个奖励模型不需要配对的真实未来，只需判断一段视频有没有穿模、物体凭空消失、抓取不成立之类的缺陷，再用它的分数引导强化学习后训练，把模型推向更物理合理的交互结果。

结果相当醒目：人工评估的交互缺陷率从 48.12% 降到 6.25%，也就是说，原本近一半的生成结果存在可见的交互缺陷，后训练之后只剩约十六分之一。同时，DreamTrue 在 2026 年 AgiBot World Challenge 的世界模型赛道排名第一。读这组数字要保持冷静：缺陷率来自人工评估，其标注标准、样本规模和评估者数量，摘要都没有交代；对比基线是否同为强基线，也要回到原文核对。但方法论层面的启示已经足够清楚。其一，世界模型的瓶颈正从“画面质量”转向“因果忠实”，评价指标需要围绕动作跟随与交互缺陷来设计。其二，反事实数据加奖励模型加强化学习，构成了一条不依赖真实未来标注的闭环，类似语言模型中的人类反馈强化学习，但对象换成了物理交互。其三，如果这类模型足够可靠，它就能成为策略训练与评估的低成本模拟器。当然，奖励模型本身的盲区、人工标注的覆盖面，以及对分布外任务的泛化，都是后续需要检验的问题。