輝達 Omniverse 實戰：開發者用前沿 AI 智能體把創意變成物理模擬應用

2026年10月8日，NVIDIA 在官方部落格「Into the Omniverse」專欄發布了一組案例，題為「開發者如何用前沿 AI 智能體把想法變成模擬」。文章的核心觀點很樸素：把一個模擬創意變成可運行的應用，需要組裝資產、連接物理與渲染，並反覆確認場景行為是否符合預期。現在，開發者開始把前沿 AI 模型與 NVIDIA Omniverse 函式庫結合起來，讓智能體承擔其中大量的組裝與驗證工作。 分工方式在全文中保持一致。開發者透過自然語言下達指令、審閱結果、引導修改；Omniverse 函式庫提供 GPU 加速的物理、渲染和感測器模擬能力；AI 智能體則把這些能力串起來，生成動畫和應用程式碼。文中提到的模型包括 GPT-6 Astra，以及在一個案例中與 Astra 並用的 Claude Fable 5。NVIDIA 還表示，後續會繼續補充來自內部團隊和生態系開發者的新範例。 第一個案例是倉庫人形機器人模擬器。NVIDIA Omniverse 產品經理 Frank DeLise 讓 Astra 把一個 SimReady 倉庫與人形機器人做成可互動的模擬器，帶有第一人稱和第三人稱視角。他指揮 Astra 接入物理函式庫 ovphysx、場景更新函式庫 ovstage、渲染函式庫 ovrtx 和介面函式庫 ovui，並用 SimReady 資產基礎庫 simready-foundation 搭建物理場景。隨後 Astra 生成動畫和應用程式碼，把這些能力整合在一起。其價值在於：在真正自動化倉庫任務之前，團隊先有一個可互動的環境，用來觀察任務行為、評估工作方式。

第二個案例面向自動駕駛測試。NVIDIA 模擬技術團隊經理 Doyub Kim 讓 Astra 建構「Zero to Alpamayo」，這是一個以舊金山 Market Street 為場景的可重複使用模擬環境。他先讓 Astra 規劃整條工作流，再分階段接入資產建立、交通、Omniverse RTX 感測器模擬和 Alpamayo 駕駛模型，每一步都檢查整合是否正確。得到的原型成為一個試驗場，可以比較不同模型，並追蹤場景或感測器的改動如何影響下游駕駛行為。另一項 Cosmos3-Nano 實驗則在已錄製的模擬影片上改變天氣和光照，讓 Kim 比較駕駛模型在同一場景、不同條件下的反應。 第三個案例最能說明「可驗證」這一點。負責 RTX 感測器驗證的 Ashley Reid 指揮 Astra 和 Claude Fable 5 智能體，把 ovrtx 的相機輸出和原始光達輸出與實錄資料對比。智能體從零建立了兩個數位孿生，並改進了兩個既有的孿生。整個過程約三天：智能體測量差異，建立或修改 OpenUSD 場景，再檢查結果。修改針對缺失物體、幾何形狀和材質，驗收標準取決於相機和光達指標。這給開發者提供了一種方法：用測得的差距來驅動場景的建立與改進。入門做法是先用 ovrtx 的最小 Python 範例渲染一個 OpenUSD 場景，再定義與實錄資料比較的感測器度量。 第四個案例是 Robo Olympics。NVIDIA Omniverse 工程與產品負責人 Tae Kim 用體育影片和自然語言指令，指導 Astra 建構這一實驗專案，測試模擬中的宇樹 Unitree G1 人形機器人完成體育動作。Astra 編寫控制器，並透過物理試驗不斷改進。Newton 物理引擎負責模擬行為，開源的 NVIDIA Warp 框架加速運算，ovrtx 負責渲染場景與虛擬相機影像。在一次實驗中，機器人在 100 次模擬試驗裡有 64 次成功跨過單個欄架。這個數字為改進機器人的時機與控制提供了回饋。教機器人新動作，本質上就是檢查這些動作能否滿足物理約束。 第五個案例關乎機器人拆解。NVIDIA OpenUSD 資深產品經理 Jens Jebens 指揮 Astra 在 PTC Onshape 中為一套汽車懸吊建模，並在 NVIDIA Isaac Sim 中配置。智能體測量可用空間，設計了一把機器人能夠伸到懸吊螺栓處的扳手。Jebens 報告稱，在模擬中成功拆下了懸吊部件。這把設計與工具決策同拆解結果聯繫起來，也為機器人策略訓練提供了起點。第六個案例由工程總監 Nic Johns 完成：他提示 Astra 把 NASA 資產組裝成帶遙測資料的 OpenUSD 國際太空站模型，一條提示就做出應用，再用一條後續提示把場景轉到地球白天一側，使行星可見。流程中用 Blender 準備資產，用 ovrtx 渲染、ovstage 做場景執行時、ovstream 做串流。

文章還列出第七個案例，主題是把實拍捕獲的房間變成測試環境，要求重建的房間擁有可編輯的物體。不過所提供的原文在這一段中途被截斷，細節無法在此引用，讀者應以 NVIDIA 原文為準。 這組案例的共同點值得單獨指出。第一，每個專案都有可量化或可檢查的結果：感測器指標、100 次中 64 次的成功率、成功拆下部件。第二，智能體不是一次性出結果，而是在「測量、修改、再檢查」的迴圈裡工作，人類留在迴路中做方向判斷。第三，所有案例都落在 OpenUSD 與 Omniverse 函式庫的共同底座上，這讓不同工具和資產更容易拼接。需要冷靜看待的是，原文是 NVIDIA 自己的展示，沒有給出成本、總耗時比較，也沒有說明失敗案例比例，因此不能據此推斷通用的效率提升。

對產業的含義是明確的。對機器人和自動駕駛團隊來說，模擬是訓練與驗證的重要環節，而搭建模擬長期依賴少數既懂圖學又懂物理的工程師。智能體把「寫連接程式碼」這一步變便宜，會讓更多團隊更早進入模擬測試。對 NVIDIA 而言，Omniverse 函式庫被前沿模型當作可調用的工具，也強化了其軟體生態的黏性。未來的挑戰在於：如何讓感測器模擬與真實世界的差距持續縮小，如何稽核智能體改動了什麼，以及如何在多人協作中保持場景的可追溯。這些問題的答案，將決定智能體驅動的模擬能否從展示走向日常工程。