NVIDIA演示Cosmos物理AI流程：驾驶、机器人与手术仿真配方，以及厂商自报约2到3倍加速的NIM部署

2026年11月2日，NVIDIA开发者博客发布了一篇面向物理人工智能的Cosmos平台实操指南。文章讲两件事：一是用Cosmos Framework把世界模型适配到团队自己的传感器、任务和数据；二是用Cosmos NIM微服务把模型部署进应用。这是带命令和检查点的技术演练，大部分性能数字来自NVIDIA自己的测试。

Cosmos Framework被描述为开放、模块化的训练、优化与推理框架，正从Cosmos 3扩展到NVIDIA Alpamayo、GR00T、Qwen、pi0.5以及其他兼容的Hugging Face模型。训练方面，文章列出LoRA和全量监督微调，数据可通过JSONL、WebDataset、LeRobot或自定义适配器读取，并新增强化学习路径：DPO、GRPO、PPO、在线策略蒸馏和DiffusionNFT。文章还介绍了放在.agents/skills下的智能体技能，建议给编码智能体一个有边界的任务，例如固定版本、校验数据集、训练与评估回合分开、设置GPU小时上限来后训练检查点。

仿真部分最具体。在自动驾驶方面，Cosmos3-Nano-Transfer-Auto接收提示词以及车道、物体、路面标线、交通标志和道路边界的世界场景图（WSM）控制，一次性对整段多视角视频去噪，用于离线合成数据。NVIDIA称它支持30帧每秒视频，在480p或720p下最多400帧。参考运行使用四块GPU，生成七段720p、297帧的视频和99次激光雷达扫描。Cosmos3-Nano-Sim-Auto是因果、少步蒸馏的变体，逐步生成观测，使驾驶策略可以做闭环测试。机器人方面，Sim-Transfer把深度视频和提示词转成多样的RGB视频，Sim-Bimanual则根据机器人动作预测双臂场景的下一帧画面。手术方面，Cosmos3-H-Embodied-Nano和蒸馏而来的Cosmos3-H-Dreams根据机器人动作生成视频，用于离线策略评估和实时闭环测试。这些检查点可在PyTorch和vLLM-Omni上运行，并在Hopper和Blackwell GPU上测试过。

部署部分介绍Cosmos NIM，它把受支持的模型打包进优化容器。NVIDIA列出量化、推测解码、缓存、令牌剪枝和感知KV缓存的路由，并称推测解码在H200上测得的平均加速约为2到3倍。文章还说流式视觉语言推理可实现亚秒级告警，延迟降低10倍。这些都是厂商自测数据，文章没有交代每个数字对应的基线、模型规模或工作负载。显存需求因模型和任务而异：Cosmos3-Nano生成在BF16下需要58 GiB，FP8下44 GiB，FP8加卸载为31 GiB；Cosmos3-Super生成则分别需要150、93和38 GiB。

需要注意的是，这篇文章主要是产品演练，而不是独立评测。它说明了怎样选择检查点、怎样准备输入、怎样检查输出，却没有公布第三方对比，也没有说明合成数据在真实道路或手术场景中的准确程度。把世界模型生成的视频和激光雷达数据用于训练或评估感知模型时，团队需要自己设计对照实验，例如分别用真实数据和合成数据训练，再在同一份真实测试集上比较结果。

另一个现实问题是资源。文章给出的显存表说明，同一个Cosmos 3模型在不同精度和卸载设置下的需求相差很大，而参考仿真运行要用四块GPU。小团队在立项前应先算清楚可用显卡、磁盘空间和镜像缓存，再决定是先用较小的Edge或Nano模型试点，还是直接评估Super模型。

启动步骤看似常规，却容易出错。先按显存表选择GPU和模型，在Linux上安装NVIDIA驱动、Docker和NVIDIA Container Toolkit，创建启用NGC Catalog访问权限的NGC个人密钥并设为NGC_API_KEY，再启动容器，例如在GPU 0上运行Nano Generator。文章提醒，其中展示的缓存权限仅用于本地开发，未经审查不应照搬到共享主机。启动后应先确认服务就绪并发出第一次推理请求，再在其上继续搭建。

想试用的话，先选一个已发布的检查点和一个配方，而不是上来就用整个平台。运行官方示例，检查输出文件是否存在、激光雷达数值是否有限，以及各摄像头视图和激光雷达是否与场景图保持对齐。同时记录GPU数量、精度、峰值显存和延迟，因为标题里的数字不会自动适用于其他模型或显卡。合成场景只是测试数据，在支撑任何安全决策之前，仍须用真实传感器数据验证。NVIDIA还预告了11月5日（周四）关于使用该框架的直播。最后，文章的价值在于让团队少走弯路，而不是替代他们自己的验证：先在小范围内复现官方样例，再逐步换成自己的传感器、动作空间和数据，每换一项都重新检查输出。