Ropedia W0：用人类第一人称经验训练跨本体行走操作世界模型

世界模型的价值在于，让具身智能体在真正出手之前，先在脑中推演动作会带来什么后果。可是想把行走和操作放进同一个世界模型，并且让它同时适用于人类、人形机器人等不同本体，难度很高。第一个障碍是动作空间不统一：不同本体的自由度、控制接口各不相同，直接拼在一起训练，模型很难学到共通的规律。第二个障碍是监督数据有限：既要有第一人称视角的视频，又要有对齐的、多模态的动作标注，这样的数据规模一直很小。Ropedia W0 正是冲着这两个缺口来的。作者称它是第一个横跨人类与多种机器人本体的第一人称 loco-manipulation 世界基础模型。

论文的贡献可以拆成几块：一套大规模、带统一标注的数据 Xp-Data；一种能同时描述行走与操作的统一运动学表示；一个长时程评测基准 Xp-Teleop；以及蒸馏之后可实时运行的模型和一系列下游应用。整篇文章的主线很清楚：人类第一人称视频数量大、场景广，只要把人和机器人的动作放进同一种表示里，人类经验就有机会迁移给机器人。技术上最关键的一步，是那套统一的运动学表示。作者用相机位姿来编码行走，因为第一人称视角下，身体的移动最终会体现为相机的移动。操作则用投影到画面上的骨架来编码，也就是把手和手臂的姿态投影成图像空间里的骨架。这样一来，人和机器人的动作都被翻译成同一种视觉化的语言，异构的动作空间就不再是障碍。

对人类，骨架可以直接来自标注；对机器人，作者把本体专属的正向运动学与大量人工关键点标注和修正结合起来，用运动学给出骨架的基本形状，再用人工修正补上误差。数据层面，Xp-Data 汇集了 1 万小时第一人称人类数据和 3000 小时机器人数据，配有统一的多模态标注，并做了系统化的质量控制。这一点很重要，因为世界模型对噪声标注很敏感，动作与画面一旦错位，模型学到的就是错误的因果。模型训练分成预训练和后训练两个阶段：先用大量人类数据学习通用的动作与画面关系，再针对具体机器人做少样本或全量的后训练。最后，作者对模型做了蒸馏，把推理速度提到实时。评测部分覆盖面很广。

作者在五个跨本体基准上做了测试，分别是 DreamDojo、Ψ0、ω-HOME、Xp-Teleop 和 AgiBot，同时还在留出的人类第一人称视频上评估。设置从零样本推理，到少样本后训练，再到全量数据后训练，逐级检验模型的迁移能力。摘要称模型在这些评测上都取得了最先进的表现。其中 Xp-Teleop 是作者自己提出的新基准，数据来自高质量的灵巧人形遥操作，任务是长时程的行走加操作，比只看短片段的评测更能暴露模型在长序列上的漂移问题。一个值得注意的发现是数据规模效应：扩大人类预训练数据，不只提升人类视频上的表现，机器人评测也同样受益。这直接支持了论文的核心假设，即人类经验可以作为机器人世界模型的养料。

蒸馏后的模型能做实时、分钟级的 rollout，支持实时的 VR 交互。作者还展示了三类应用：策略评估、基于模型的规划，以及世界-动作建模。这项工作的意义首先在于，它给机器人数据稀缺的老问题提供了一条可行的路。采集机器人数据昂贵而缓慢，人类第一人称视频却可以大规模获得，只要表示足够统一，这部分数据就能转化为机器人的能力。其次，把行走与操作放进同一个模型，贴合了人形机器人的真实需求，因为人形机器人本来就需要边走边做。再次，实时的分钟级 rollout 让世界模型从离线的研究对象变成可交互的工具：用来评估策略，可以省去大量真机试验；用来做规划，可以在想象中比较不同动作；接入 VR，则让人能直接体验和检查模型的预测。对开源社区而言，Xp-Data 的构建方法、质量控制流程和 Xp-Teleop 基准，都可能成为后续研究的参照。当然，这类模型的长期稳定性、对更多本体的覆盖，以及与真实控制闭环的结合，仍有待更多验证，但 Ropedia W0 已经把跨本体世界模型向前推了一大步。