NVIDIA、物理AI向けCosmosの手順を解説：運転・ロボット・手術のシミュレーションと、ベンダー報告で約2〜3倍の高速化をうたうNIM提供
NVIDIA開発者ブログは2026年11月2日にCosmosの実践ガイドを公開し、Cosmos Frameworkで世界モデルを学習・適応し、Cosmos NIMで提供する方法を示しました。自動運転、ロボット、手術のシミュレーション手順、4基のGPUで720p映像7本と99回のLiDARスキャンを作る参照実行、モデルごとのメモリ要件が載っています。H200で約2〜3倍高速といった数字はNVIDIA自身の測定で、各項目の比較対象や負荷は示されていないため、自分の環境で測り直す必要があります。
2026年11月2日、NVIDIAの開発者ブログは、フィジカルAI向けプラットフォームCosmosの実践ガイドを公開した。扱う作業は二つある。一つはCosmos Frameworkで世界モデルを自分たちのセンサー、タスク、データに合わせること、もう一つはCosmos NIMマイクロサービスでそのモデルをアプリケーションに提供することだ。コマンドとチェックポイントを伴う技術的な手順書であり、性能の数字の大半はNVIDIA自身の測定による。
Cosmos Frameworkは、学習、最適化、推論のためのオープンでモジュール式のフレームワークと説明されている。Cosmos 3を超えて、NVIDIA Alpamayo、GR00T、Qwen、pi0.5、その他互換性のあるHugging Faceモデルへ対応を広げている。学習ではLoRAと全パラメータの教師ありファインチューニング、JSONL、WebDataset、LeRobotまたは独自アダプタからのデータ読み込み、そして強化学習の新しい経路としてDPO、GRPO、PPO、オンポリシー蒸留、DiffusionNFTが挙げられている。.agents/skills以下に置くエージェント用スキルも紹介され、リビジョンを固定し、データセットを検証し、学習と評価のエピソードを分け、GPU時間の上限を設けてチェックポイントを追加学習する、といった範囲を限った作業をコーディングエージェントに与えるよう勧めている。
最も具体的なのはシミュレーションの節だ。自動運転では、Cosmos3-Nano-Transfer-Autoがプロンプトと、車線、物体、路面標示、標識、道路境界を表すWorld Scenario Map（WSM）の制御を受け取り、複数視点のクリップ全体を一度にノイズ除去してオフラインの合成データを作る。NVIDIAは、30fpsの映像で480pまたは720pなら最大400フレームに対応するとしている。参照実行は4基のGPUで、720p・297フレームの映像7本と99回のLiDARスキャンを出力する。Cosmos3-Nano-Sim-Autoは因果的で少ステップに蒸留した派生モデルで、観測を逐次生成するため、運転ポリシーを閉ループで試せる。ロボットでは、Sim-Transferが深度映像とプロンプトから多様なRGB映像を作り、Sim-Bimanualは双腕ロボットの動作から次の画像を予測する。手術では、Cosmos3-H-Embodied-Nanoと、そこから蒸留したCosmos3-H-Dreamsがロボットの動作から映像を生成し、オフラインのポリシー評価とリアルタイムの閉ループ試験に使う。チェックポイントはPyTorchとvLLM-Omniで動き、HopperとBlackwellのGPUで試験されている。
展開の節ではCosmos NIMを扱う。対応モデルを最適化済みコンテナにまとめたものだ。NVIDIAは量子化、投機的デコーディング、キャッシュ、トークン削減、KVキャッシュ対応ルーティングを挙げ、投機的デコーディングによりH200で平均およそ2〜3倍の高速化を測定したとしている。ストリーミングの視覚言語推論では1秒未満のアラートが可能で、遅延は10分の1になるとも述べる。いずれもベンダーによる測定で、各数字の比較対象、モデル規模、ワークロードは記事に示されていない。必要なメモリはモデルとタスクで異なり、Cosmos3-Nanoの生成にはBF16で58GiB、FP8で44GiB、オフロード付きFP8で31GiBが要る。Cosmos3-Superの生成では150、93、38GiBである。
起動手順は定型的だが、間違えやすい。メモリの表からGPUとモデルを選び、LinuxにNVIDIAドライバ、Docker、NVIDIA Container Toolkitを入れ、NGC Catalogへのアクセスを有効にしたNGC個人キーを作ってNGC_API_KEYに設定し、たとえばGPU 0でNano Generatorのコンテナを起動する。記事は、示されたキャッシュの権限設定はローカル開発用であり、確認なしに共有ホストへ持ち込むべきではないと注意している。起動後は、準備完了を確かめ、最初の推論リクエストを送ってから、その上に構築を進める。
試すなら、プラットフォーム全体ではなく、公開済みのチェックポイントとレシピを一つずつ選んで始めるとよい。公式サンプルを実行し、出力ファイルがあること、LiDARの値が有限であること、カメラ映像とLiDARがシナリオマップと整合していることを確認する。GPU数、精度、ピークメモリ、遅延も記録する。見出しの数字が別のモデルやカードにそのまま当てはまるとは限らないからだ。合成シーンはあくまでテストデータであり、安全に関わる判断の根拠にする前に実センサーのデータで検証が要る。NVIDIAは、フレームワークの使い方に関する11月5日（木）のライブ配信も告知している。
Sources
FAQ
このCosmosガイドは何の二つの作業を扱っていますか？
一つはCosmos Frameworkで世界モデルを自分のセンサー、タスク、データに合わせる作業で、学習、強化学習、最適化を含みます。もう一つはCosmos NIMで提供する作業で、GPU構成の選択、コンテナ起動、準備完了の確認が必要です。性能の数字の多くはNVIDIA自身の測定です。
NIMの高速化の数字をそのまま見込みに使えますか？
使えません。記事は投機的デコーディングでH200上の平均がおよそ2〜3倍と述べますが、各数字の比較対象、モデル規模、負荷は示していません。自分のモデル、精度、GPUで遅延、スループット、ピークメモリを測り直してから容量を計画してください。
合成した運転シーンの出力はどう確認しますか？
公式サンプルを実行し、出力ファイルがあること、LiDARの距離と強度の値が有限であることを確認し、複数カメラの映像とLiDARがシナリオマップと整合しているかを見ます。合成シーンはテストデータなので、安全判断に使う前に実センサーで検証が必要です。