Dex-One2Many：从单段人类演示视频学习灵巧操作

灵巧操作是具身智能里最难啃的骨头之一。多指机械手的自由度高，接触关系复杂，一个完整任务往往要拆成好几个阶段：先拿起工具，再调整抓握，最后用工具去作用于另一个物体。要让机器人学会这类任务，传统路线是遥操作采集机器人示教数据，但这种数据昂贵、规模小，也很难覆盖物体位置和抓法的变化。于是不少研究者把目光转向人类视频：一个人完成任务的录像，采集成本几乎为零。真正的难点在于，怎样把一段视频变成机器人可以执行、而且能举一反三的策略。 目前常见的做法是模仿动作，也就是把视频里的手部轨迹重定向到机械手上，再尽量严格地匹配。Dex-One2Many 的作者在摘要里直接指出了这条路的局限：严格的动作匹配会限制泛化。物体的初始位姿换了，目标位姿换了，或者需要一种视频里没出现过的抓法，被轨迹绑死的策略就容易失效。另一条路是纯强化学习，它能获得很宽的泛化，但没有先验引导时，面对高维动作空间和多阶段任务，探索效率极低，往往连第一阶段都走不通。泛化和探索这两个问题相互纠缠，模仿解决不了前者，强化学习解决不了后者。

论文的核心洞见是换一个抽象层级：不去记录手走过的精确路径，而是把视频抽象成一串按顺序排列的场景图。场景图描述的是每个阶段里手与物体、物体与物体之间的关系，比如谁被抓住、谁与谁接触、谁相对于谁处在什么位置。可以把它理解为一份只写关系、不写坐标的任务说明书：它告诉系统每一步必须成立的条件，却把怎么做到这些条件的自由留给策略自己去发现。因为场景图约束的是关系而不是精确位姿，所以它天然容纳了大量不同的具体配置。这个设计让同一份图承担了两个角色。第一，它是生成式约束，可以据此采样出多样的重置状态，这些状态覆盖了视频里没有出现过的物体位姿和抓法。第二，它为每个阶段提供稠密奖励，告诉强化学习当前离这一阶段的目标还差多远。 把这两个角色放在一起，训练流程的逻辑就清楚了。多阶段任务最怕的是从头探索：策略必须连续做对很多步，才能拿到最终奖励。Dex-One2Many 的做法是从场景图采样出每个阶段的起点，让策略直接在该阶段的起点上练习，并且用稠密奖励引导，于是每一段探索都很短，也有方向。同时，由于起点来自关系约束而不是单一示范，策略见到的物体位姿和抓法本身就是多样的。整个训练完全在仿真中完成，所谓 real-to-sim-to-real，就是先从真实视频重建出仿真场景，在仿真里学习，再把策略零样本迁移到真实的多指手上。这里没有用到任何机器人示教数据，人类视频只提供任务的结构，具体的动作细节由强化学习在仿真里自己磨出来。这样分工的好处是，视频里手的形态与机械手不同所带来的重定向误差，不会直接传导到最终策略上。

从结果看，作者在五个工具使用与操作任务上做了评估。在视频里出现过的已见配置上，方法领先基线 6.5%。这个差距并不大，说明在熟悉的条件下，基线并不弱。真正有意思的是未见场景：当物体位姿、目标位姿和抓法偏离示范时，差距扩大到 71%。这个对比正好支持了论文的论点，即严格模仿在分布内尚可，一旦离开示范就迅速退化，而关系级的抽象保住了泛化。需要说明的是，这些数字出自预印本摘要，基线的具体构成、各任务的难度分布以及真机试验的次数，还需要读全文才能评判，不宜过度外推。另外，六点五个百分点与七十一个百分点这两个数字的含义也不同：前者衡量的是熟悉条件下的成功率差异，后者衡量的是对分布外变化的稳健程度，后者才是这项工作真正想回答的问题。 对行业而言，这项工作的价值在于它给数据瓶颈提供了一条低成本路径：一段人类视频加一个仿真器，就能训练出可上真机的策略。它也提示了一个更一般的设计原则，即在示范和探索之间，抽象的层级比数据的数量更重要。把先验表达成关系约束，既不会像轨迹模仿那样把策略锁死，也不会像裸强化学习那样把探索交给运气。当然，局限同样存在：场景图的构建依赖对视频的理解质量，仿真到现实的差距仍要靠建模精度来弥合，任务的阶段划分在更长、更开放的场景里是否仍然适用，也有待验证。此外，摘要没有说明场景图是自动抽取还是需要人工校正，这一点会直接影响方法的可扩展性，读者在评估落地成本时应当先查清楚。尽管如此，用关系而非轨迹来表达人类示范，很可能会成为灵巧操作数据策略中值得持续跟进的一条线索。