Skild AI 携手英伟达物理 AI：单段手机视频即可让通用机器人习得灵巧操作

背景与核心突破

在机器人具身智能的发展史上，“数据匮乏”始终是阻碍通用物理智能走向规模化落地的最大死穴。与自然语言处理领域唾手可得的海量互联网网页文本不同，机器人领域的高质量交互数据极端稀缺。以往训练机械臂完成一项诸如拧开瓶盖、插入线缆或折叠纸盒等细粒度灵巧操作，往往需要研究团队搭建昂贵的多目动作捕捉摄影棚，或者聘请专业操作员戴着外骨骼与 VR 头显进行成千上万次枯燥乏味的远程遥操作（Teleoperation）。这种重资产、低效率的数据获取模式使得机器人技能库的扩充举步维艰。

为了彻底粉碎这一物理数据壁垒，全球领先的具身智能基座模型初创公司 Skild AI 正式宣布与芯片巨头英伟达（NVIDIA）达成深度技术结盟。双方联合打造了一条基于物理 AI（Physical AI）的革命性技能生成管线：只需普通工程师使用非标定的日常智能手机拍摄一段人类完成任务的短视频，系统即可在云端完成三维物理先验重构，并在数小时内驱动形态各异的实体机器人零样本掌握该项操作。这一突破将机器人技能学习的数据获取成本和时间周期直接压缩了两个数量级。

架构演进与技术剖析

该方案之所以能够实现从单视角二维视频到高保真机器人接触控制的跨越，核心在于英伟达最新发布的物理世界基座模型平台 NVIDIA Cosmos 与 Isaac Sim 高性能仿真集群的深度赋能。整个技能合成流水线可清晰划分为三个阶段：视频反向神经物理重构、超大规模域随机化仿真增强，以及基座策略迁移蒸馏。 在第一阶段，用户上传的手机视频被输入至 NVIDIA Cosmos 物理世界多模态模型中。Cosmos 并非仅仅对视频像素进行模式匹配，而是内置了对现实物理法则（包括重力加速度、质量惯量分布、刚体接触边界与表面摩擦系数）的隐式推理能力。系统利用可微分神经渲染技术，自动解耦出人体手部的骨骼运动轨迹、受力接触点以及被操作物体的六自由度位姿演变。即便手机拍摄过程中存在视角晃动、轻微遮挡或阴影变化，算法也能将其鲁棒地反推为自洽的连续物理交互先验。

在第二阶段，重构出的物理交互先验被自动化映射至 NVIDIA Isaac Sim 虚拟仿真环境中。依托基于 Blackwell 与 RTX 架构的分布式 GPU 计算集群，Isaac Sim 在几分钟内即可并发衍生出数以万计的虚拟平行空间。在这些数字孪生世界中，算法引入了极度激进的域随机化（Domain Randomization）：物体的尺寸被随机缩放、重心发生位移、表面反光度与摩擦力大幅变动，同时机器人的机械臂运动学模型也针对不同构型（如 Franka、UR5 乃至双足人形机器人的多自由度灵巧手）进行自适应重定向。 最后，Skild AI 的核心通用大脑策略 Skild Brain（S1）在海量仿真数据流中展开大规模强化学习微调。通过对抗性强化学习与接触强化蒸馏，S1 策略学会了如何忽略视觉外观细节，专注于物理接触本质，最终直接部署于物理真机上，实现了令人惊叹的“Sim-to-Real”一次性零样本迁移。

行业变革与实际落地

Skild AI 与英伟达的合作，向工业制造、商业物流与家庭服务机器人行业注入了一剂强心针。传统的工业机器人示教工程师需要根据零件图纸反复调试伺服点位与示教盒路径，而如今产线工人只需用手机录制一遍规范组装手势，后台集群即可自动为车间内的多台协作机器人下发对应的自适应抓取控制策略。

在多形态硬件适配方面，该方案展现出了前所未有的通用普适性。无论是刚性二指平动夹爪、柔性气动吸盘，还是具备二十余个自由度的拟人仿生灵巧手，Skild Brain 均能在仿真拓扑中自动计算最优力封闭（Force Closure）抓取点。这种“软件定义物理硬件”的能力，彻底解除了机器人算法对特定机械构型的深度绑定，为硬件制造商提供了立即可用的通用智能化底座。

挑战与未来演进

尽管利用单视频与物理 AI 合成管线大幅降低了技能获取门槛，但在拓展至极端动态与复杂接触场景时，技术链条仍需应对多重考验。首要挑战在于微观触觉交互的模拟失真问题。在处理易碎薄壁容器、极细柔软线缆或含流动液体的杯皿时，纯视觉先验在仿真中建立的摩擦模型往往与真实材料的微观形变存在微小偏差，这要求未来的物理世界模型必须具备微米级的流固耦合仿真能力。

此外，大规模数字孪生仿真集群对算力基础设施的高要求，意味着中小型企业仍需依赖云端 API 托管服务。英伟达与 Skild AI 透露，后续将推动将 Cosmos 与 Isaac 管道封装为面向开发者的即插即用型物理微服务（NVIDIA NIM），使全球机器人开发者均能如同调用云服务一般，轻松将现实生活中的任意一段视频转化为机器人的核心生产技能。