Into the Omniverse：開発者がフロンティアAIエージェントでアイデアを物理シミュレーションに変える方法

2026年10月8日、NVIDIAは公式ブログのシリーズ「Into the Omniverse」で、「開発者はフロンティアAIエージェントでアイデアをシミュレーションに変える」と題した記事を公開した。前提は単純である。シミュレーションのアイデアを動くアプリケーションにするには、アセットを集め、物理とレンダリングをつなぎ、シーンが意図どおりに動くかを確認しなければならない。開発者はいま、最先端のAIモデルとNVIDIA Omniverseライブラリを組み合わせ、その作業の多くをエージェントに担わせ始めている。 役割分担は記事全体で一貫している。開発者は自然言語で指示を出し、結果を確認し、変更の方向を示す。OmniverseライブラリはGPUで加速された物理、レンダリング、センサーシミュレーションを提供する。AIエージェントはそれらをつなぎ、アニメーションとアプリケーションのコードを生成する。名前が挙がるモデルはGPT-6 Astraで、ある事例ではClaude Fable 5のエージェントもAstraと並んで使われた。NVIDIAは今後も社内チームとエコシステムの開発者による新しい事例を追加するとしている。 最初の事例は倉庫向けヒューマノイドシミュレーターである。NVIDIAのOmniverseプロダクトマネージャーであるFrank DeLise氏は、Astraを使ってSimReadyの倉庫とヒューマノイドロボットを、一人称・三人称視点を持つ対話型シミュレーターに仕上げた。物理のovphysx、シーン更新のovstage、レンダリングのovrtx、ユーザーインターフェースのovuiをAstraに接続させ、物理シーンの作成にはSimReady基盤のsimready-foundationも使った。その後、Astraがこれらを結びつけるアニメーションとアプリのコードを生成した。倉庫作業を自動化する前に、作業の挙動を調べ、進め方を評価できる環境が手に入る点に意味がある。

2つ目の事例は自動運転のテストである。NVIDIAのシミュレーション技術チームのマネージャー、Doyub Kim氏は、サンフランシスコのマーケットストリートを舞台にした再利用可能なシミュレーション環境「Zero to Alpamayo」の構築をAstraに依頼した。Kim氏はまずワークフロー全体を設計させ、続いてアセット作成、交通、Omniverse RTXセンサーシミュレーション、Alpamayoによる走行を段階的につなぎ、各段階の統合を確認した。完成したプロトタイプは、モデルを比較し、シーンやセンサーの変更が下流の走行挙動にどう影響するかを追跡するための試験場になった。別のCosmos3-Nanoの実験では、記録したシミュレーション動画の天候と照明を変え、同じシナリオでの走行モデルの反応を条件ごとに比較した。

3つ目の事例は、結果の検証方法を最もよく示している。NVIDIAでRTXセンサーの検証を担当するAshley Reid氏は、AstraとClaude Fable 5のエージェントに、ovrtxのカメラ出力と生のLiDAR出力を実測データと比較させた。エージェントは2つのデジタルツインをゼロから作り、既存の2つを改善した。約3日間、エージェントが差異を測定し、OpenUSDシーンを作成・修正し、結果を確認する反復が続いた。修正は欠けた物体、形状、マテリアルに及び、合否はカメラとLiDARの指標で判断された。測定された差異をシーンの作成と改善に使えるという点が要点である。まずovrtxの最小Pythonサンプルでシーンをレンダリングし、実測と比べるセンサー指標を定義することが勧められている。

4つ目の事例はRobo Olympicsである。NVIDIAのOmniverseエンジニアリングとプロダクトを率いるTae Kim氏は、スポーツ動画と自然言語の指示でAstraを導き、シミュレーション内のUnitree G1ヒューマノイドがスポーツの動きを行う実験プロジェクトを作った。Astraはコントローラーを作り、物理試行で改良した。Newton Physics Engineが挙動をシミュレートし、オープンソースのNVIDIA Warpが計算を高速化し、ovrtxがシーンと仮想カメラ画像をレンダリングした。ある実験では、ロボットは100回の試行のうち64回で1台のハードルを越えた。この結果が、タイミングと制御を改善するためのフィードバックになった。 5つ目の事例はロボットによる分解である。NVIDIAでOpenUSDのシニアプロダクトマネージャーを務めるJens Jebens氏は、AstraにPTC Onshape上で自動車のサスペンションをモデル化させ、NVIDIA Isaac Simで構成させた。エージェントは利用できる空間を測り、ロボットがボルトに届くレンチを設計した。Jebens氏は、シミュレーション上でサスペンション部品の取り外しに成功したと報告している。設計と工具の判断を分解結果に結びつけ、ロボットポリシー学習の出発点になる。6つ目の事例では、エンジニアリングディレクターのNic Johns氏が、NASAのアセットからテレメトリ付きのOpenUSD版国際宇宙ステーションをAstraに組み立てさせた。1回のプロンプトでアプリを作り、続くプロンプトで地球の昼側にシーンを移して惑星が見えるようにした。アセット準備にBlender、レンダリングにovrtx、シーンランタイムにovstage、ストリーミングにovstreamを使った。

記事には7つ目の事例として、撮影した部屋をテストの環境に変える話が挙がっており、再構築した部屋には編集可能なオブジェクトが必要だとされる。ただし、今回入手した原文はこの節の途中で切れているため、詳細は引用しない。詳しくはNVIDIAの原文を参照してほしい。 これらの事例には共通点がある。第一に、どのプロジェクトも測定または確認できる成果で終わっている。センサー指標、100回中64回の成功、シミュレーション上での部品取り外しである。第二に、エージェントは一度で結果を出すのではなく、測定、修正、再確認のループで動き、方向の判断は人が担う。第三に、すべてがOpenUSDとOmniverseライブラリという共通の土台に載っており、ツールやアセットを結合しやすい。一方で冷静な読み方も必要だ。これはNVIDIA自身による紹介であり、コスト、総所要時間の比較、失敗した試行の割合は示されていない。したがって一般的な効率向上を読み取ることはできない。

それでも示唆は明確である。ロボットや自動運転のチームにとって、シミュレーションは学習と検証の中核だが、その構築はグラフィックスと物理の両方に通じた少数の技術者に頼ってきた。エージェントが接続コードの作成を安くすれば、より多くのチームが早い段階でシミュレーションによるテストに到達できる。NVIDIAにとっては、フロンティアモデルがOmniverseライブラリをツールとして呼び出すことで、ソフトウェアエコシステムの結びつきが強まる。今後の課題は、模擬センサーと実センサーの差を縮め続けること、エージェントが何を変更したかを監査できるようにすること、複数人の作業でもシーンの追跡性を保つことである。