Ai2发布ToyBlocks开放机器人仿真世界：可在单块GPU上以最高24倍实时速度自动生成演示，分层系统在最简单、字符可见且正立的三块积木拼写配置下零样本仿真到真实成功率为50.0%（30次中的15次），但真实样本很小，作者称发现为初步结果

2026年11月6日，艾伦人工智能研究所（Ai2）在Hugging Face博客上发表了《ToyBlocks》，这是一个用于研究机器人如何学习的开放仿真框架，并随之提出了“FoundationWorld”的概念。一个FoundationWorld把一个小而可控的模拟世界，与自动生成任务和训练演示的工具、以及随时间追踪机器人行为的指标配在一起。ToyBlocks是第一个：桌面上的一条机械臂和一些积木。Ai2把这个想法比作培养皿，研究者可以在其中只改变一个条件，重复测试，并追查机器人为什么失败。这是Ai2自己的叙述，文中把发现标为初步结果。

这个世界刻意做得简单，但并不平淡。积木的各个面上有图片和字母，所以任务包括搜索、分类，以及用积木堆叠拼出单词，机器人有时还得把积木转过来才能看到隐藏的一面。域随机化会在不同场景之间改变积木大小、桌面高度和其他属性。推、翻转、旋转积木等技能，是在NVIDIA的Isaac Lab里用强化学习和运动规划在仿真中学出来的，用到了精确的积木位姿这类真实机器人拿不到的特权信息。随后由任务与运动规划器把技能串成计划，在仿真里运行计划，就产生带标签的录制演示，而不需要人远程操控机器人。Ai2说，在单块GPU上可以并行运行数百个计划，最高达到实时速度的24倍。评估报告的不只是成功率，还有执行速度、对物体施加的力和任务进度。

第一批实验测试动作模型。视觉-语言-动作模型把语言和摄像头图像转成机器人的动作。Ai2用名为Stack、Unstack、Flip和Rotate的任务测试了ManiFlow、π0.5和MolmoAct 2，在空间的一部分上训练，在新位置或新堆叠高度上测试。初步结果显示，这些模型尽管经过大规模预训练，泛化仍然很差；作者报告了能改进泛化的技巧，同时表示泛化远未解决。在高层规划方面，由Molmo 2视觉-语言模型选择技能和积木，ManiFlow这类低层模型负责执行。因为框架在两个层次上都提供了参考答案（oracle），失败可以追溯到规划还是执行。

智能体系统用Claude Opus 5.5测试，它通过Model Context Protocol暴露出的工具行动。在经典的积木堆叠中，智能体解决了全部30个文字描述的任务，在闭环地观察摄像头图像时，也解决了全部30个。在“搜索并拼写”设置里，智能体要用最多八块积木拼出三个字母的单词，一半场景是不可行的，因为缺一个字母，智能体必须说明这一点。在这些任务里，它或者解决了任务，或者正确宣布不可能的比例是63%。错误主要是认错相似字母，占13%，以及字母在堆叠中的朝向错误，占15%。在另一个单独的设置里，智能体自己做实验并撰写自己的技能描述，成功率从默认描述下的24%升到63%，而人类专家写的描述是36%。这是不同的任务和不同的分母，第二个63%不是第一个。

Ai2还用ToyBlocks比较了世界模型，它们预测机器人行动后场景如何变化。对四种技能，各生成900条轨迹，一半成功、一半失败，微调了三个模型并进行比较。50亿参数的视频模型Wan 2.2对积木运动和结果的预测最准；名为Astra的智能体式物理仿真器模型能跟住夹爪，但在接触上吃力；名为LeWM的潜变量模型速度快，但在完整轨迹上会漂移。加入由最好的视频模型生成的100条rollout，使策略在未见区域的成功率从19%升到78%。

仿真到真实的测试最重要，也最单薄。在带Robotiq夹爪的Franka FR3机械臂上，覆盖三十种场景配置，每个场景有4到10块训练中见过的积木，模型只用仿真数据训练，零样本用于真实机器人；仿真参数事先用真实机器人轨迹校准。ManiFlow的原子技能成功率在仿真中为80.0%，在真实世界中为81.1%。分层的Molmo 2加ManiFlow系统，在最简单、字符可见且正立的三块积木拼写配置下，仿真中成功55.5%（200次中的111次），真实世界成功50.0%（30次中的15次）。Ai2自己说还需要更多试验才有统计置信度，而且操作员因动作不安全而叫停机器人的回合，算作失败。

我们的看法：ToyBlocks看起来是一个有用且文档齐全的试验台，有六个阶段的数据管线、ManiFlow的训练脚本、评估工具，以及可让Claude或其他模型控制模拟机器人的网页界面。它的价值在于一个可以追查失败原因的受控环境，而不是证明机器人现在已能泛化。请把所有数字当作Ai2自己的初步结果，来自一个比家庭或工厂简单得多的积木世界，并注意30个回合的真实世界样本很小。我们没有运行代码，也没有复现任何结果。