LeRobot v0.7.0发布:交互式语言指令、流式数据、远程推理与四个世界动作模型;FSDP1和W&B被替换,旧异步推理模块移除并迁往remote/policy server,基准为项目或作者报告

Published · AI Daily — AI-assisted deep research, methodology & disclosure

2026年11月5日,LeRobot团队发布v0.7.0。新增交互式语言命令(切换子任务、询问策略所见、给出目标)、无需先下载数据的流式训练、通过策略服务器的远程推理,以及Cosmos 3、FLUX 3 Action、LaWAM、Long-WAM四个世界动作模型。项目报告流式读取在四个进程下每秒样本数提高2.1到2.5倍,GPU图像增强让ACT在H100上快2.8倍。发布说明列出多项破坏性变更:FSDP1被FSDP2取代且旧FSDP检查点无法恢复,异步推理被移除,Weights & Biases被Trackio取代,PEFT选项单独使用时改为训练LoRA。基准成绩均由项目方或模型作者报告。

2026年11月5日,LeRobot团队在Hugging Face上发表《LeRobot v0.7.0:从TB级数据到用提示词指挥机器人》,GitHub发布页列出了破坏性变更。LeRobot是一个开源机器人库,用于数据、训练和运行机器人策略。这个版本重构了安装、训练、推理和硬件层,所以它既是功能清单,也是一份升级警告。下面所有基准数字都由项目方或上游模型作者报告,我们没有复现其中任何一个,也没有在自己的机器人上验证这些功能。

最醒目的功能是把语言放进控制回路。在rollout工具里打开交互模式后,机器人连接和策略会在两次指令之间保持加载,操作者在机器人运动时输入命令:一个命令用来更换子任务,一个命令用来询问策略它看到了什么,还有一个命令给出目标,让策略自己挑选子任务,直到操作者收回控制。后两个命令需要能生成文本的策略,例如FineART-VLA或Wall-OSS-0.5,或者一个位于兼容OpenAI的API后面的外部规划器。FineART由Scale AI和Hugging Face提供,是一个包含4万多个双臂回合(1,718小时)、53.3万多条子任务标注、LeRobot格式下1.9 TB的数据集。

数据路径也变了。流式模式现在只获取训练所需的视频字节范围,来源可以是Hub或存储桶,每个轮次每帧访问一次,并能确定性地恢复;团队报告在四个数据加载进程下每秒样本数提高2.1到2.5倍。基于LanceDB的数据集可以原地读取并做全局洗牌。把图像增强移到GPU上,据报告在H100上训练ACT快2.8倍,在A100上快3.3倍。发布说明里还有一条不显眼但重要的变化:运动模糊、随机阴影和伽马校正等几种增强,此前在uint8帧上其实是静默的空操作,现在才真正生效,所以重新训练的策略仅因此一点就可能表现不同,对比新旧版本的结果时要把这一点考虑进去。

训练部分为50到200亿参数的世界动作模型重新搭建。FSDP1被FSDP2和HSDP分片以及分布式检查点取代。在一个8卡H200节点上用60亿参数的FastWAM,项目报告检查点保存快三倍,恢复时每卡峰值从143 GB降到42 GB。新增四个世界动作模型和四个视觉语言动作模型。报告的LIBERO成绩接近上限:Cosmos 3 Nano(165亿参数)为97.90%,Cosmos 3 Edge(46亿)为97.95%,LaWAM在2,000个回合中成功1,970次,为98.5%。Long-WAM的IDM模式为99.00%、COD模式为98.45%,每种模式均超过2,000个回合。LingBot-VLA 2.0报告在RoboTwin 2.0干净场景上为93.5%,上游对照的pi-0.5为82.7%;借助CUDA图和torch.compile,在RTX PRO 6000上以bf16运行时,一个动作块约需120毫秒,而此前约为756毫秒。G0.5模型采用非商业社区许可发布,不是Apache 2.0。

远程推理让笔记本或单板计算机留在机器人旁边,由GPU工作站运行策略。摄像头、电机和记录留在本地,观测发出去,动作块传回来;客户端对重叠的动作块做对齐和混合,从而隐藏推理延迟。评估报告也有改进:评估工具现在输出成功次数和95%的Wilson置信区间,文章举的例子是10个回合成功9个,即90.0%,区间为59.6%到98.2%。这个区间提醒我们,在接近饱和的基准上相差零点几个百分点,几乎不携带信息。

对现有用户来说,破坏性变更比任何单项功能都重要。Weights & Biases被Trackio取代,命令行选项从wandb改为trackio。FSDP1被移除,用0.6.x及更早版本保存的FSDP检查点无法恢复,不过它们的权重仍可加载。异步推理模块及其安装附加项被移除,改用remote附加项。只传PEFT选项现在会训练LoRA,而过去是静默地做全量微调。在Linux上,torch和torchvision现在从PyPI安装CUDA 13构建,需要NVIDIA驱动580.65或更新。模拟器模块被移动,若干环境选项被移除,Feetech和Dynamixel电机总线基于新的串口库重写,旧类只作为已弃用的别名保留。文章还新增了对I2RT YAM机械臂、reBot B601和23自由度Unitree G1的支持,并说Hub上现在有近300 TB这种格式的开放物理AI数据。

我们的判断:这是一次大而快的升级,明智的做法是在提升依赖版本前先读破坏性变更清单。有FSDP检查点、Weights & Biases看板或异步推理脚本的团队有具体的迁移工作。模型成绩接近基准上限,由模型作者给出,对新机器人上的表现说明有限,应在自己的任务上评判模型。交互和远程功能最值得早试,因为它们改变日常操作机器人的方式。

Sources

FAQ

升级到LeRobot v0.7.0会让旧的FSDP检查点失效吗?

旧的FSDP检查点无法恢复训练。发布说明称,0.6.x及更早版本保存的FSDP检查点不能恢复,但其model.safetensors权重仍可加载。FSDP1已被FSDP2和HSDP取代,Accelerate的YAML或环境配置默认被拒绝。

文中的LIBERO成绩是独立测得的吗?

这里引用的是LeRobot项目或原模型作者报告的成绩,本刊未独立复现。所存材料不足以确认是否另有独立测量,也不能断言完全没有。不同模型、模式和样本条件不能混排比较;接近饱和的LIBERO分数也不宜用零点几百分点的差别推断新机器人上的表现。

v0.7.0里的破坏性变更只有一项吗?

不是。发布说明按安装、训练、推理、模拟、策略、数据集和硬件分组列出多项,包括CUDA 13构建需要驱动580.65或更新、异步推理被移除、Weights & Biases改为Trackio、单独PEFT选项改为训练LoRA。升级前应通读清单。