Into the Omniverse：開發者如何運用前沿 AI Agent 將創意轉為模擬環境

自然語言驅動模擬環境建構

開發者結合前沿 AI 模型與 NVIDIA Omniverse 函式庫，把模擬構想做成實際的應用程式。流程包括組裝資產、連接物理與渲染，以及驗證場景行為是否符合預期。開發者用自然語言指令引導 AI 代理，審查結果並指示修改，再建立用來探索情境、調查故障與優化設計的應用。Omniverse 函式庫提供 GPU 加速的物理、渲染與感測器模擬能力。

倉庫機器人互動模擬

NVIDIA Omniverse 產品經理 Frank DeLise 用 GPT-6 Astra，把 SimReady 倉庫與人形機器人變成互動式模擬器，支援第一人稱與第三人稱視角。DeLise 指示 Astra 連接物理（ovphysx）、場景更新（ovstage）、渲染（ovrtx）及使用者介面（ovui）等函式庫，並用 SimReady（simready-foundation）建立實體場景。Astra 接著生成動畫與應用程式碼，整合上述功能，讓開發者在自動化倉庫任務之前，能先評估工作的執行方式與行為表現。

自動駕駛測試工作流

NVIDIA 模擬技術團隊經理 Doyub Kim 要求 Astra 以舊金山市場街為基礎，建立可重複使用的「Zero to Alpamayo」模擬環境。Kim 指示 Astra 規劃工作流，依序連接資產創建、交通、Omniverse RTX 感測器模擬及 Alpamayo 駕駛模組，並檢查每個整合步驟。這個原型成為測試場，用來比較模型，並追蹤場景或感測器的變更對下游駕駛行為的影響。此外，另有一項 Cosmos3-Nano 實驗改變錄製模擬影片中的天氣與光照，讓 Kim 能比較駕駛模型在不同條件下面對相同情境的反應。

數位分身感測器驗證

NVIDIA 從事 RTX 感測器驗證工作的 Ashley Reid 使用 Astra 與 Claude Fable 5 代理，比較 ovrtx 相機與原始 LiDAR 輸出和錄製數據之間的差異。Reid 指導迭代式工作流，由代理測量差異、創建或修改 OpenUSD 場景，並檢查結果。約三天內，代理解決了缺失物件、幾何結構與材質問題，接受標準取決於相機與 LiDAR 指標。開發者可以用測量出的不一致來指導場景創建與改進。

機器人技能與拆解測試

NVIDIA Omniverse 工程與產品主管 Tae Kim 利用運動影片與自然語言指令，指導 Astra 建立「Robo Olympics」，測試 Unitree G1 人形機器人的體育動作。Astra 建構控制器，並透過物理試驗進行優化；行為以 Newton Physics Engine 模擬，計算由 NVIDIA Warp 框架加速，場景則由 ovrtx 渲染。實驗中，機器人在 100 次模擬試驗裡有 64 次成功跨越單一欄杆，Kim 根據這項回饋改進機器人的時序與控制。

同時，NVIDIA OpenUSD 資深產品經理 Jens Jebens 指導 Astra 在 PTC Onshape 中建模汽車懸掛系統，並在 NVIDIA Isaac Sim 中配置。Jebens 與 Astra 探索由模擬提供依據的機器人電腦輔助設計與工具修訂，代理測量可用空間，並設計機器人可用來觸及懸掛螺栓的扳手。Jebens 表示，模擬中成功移除了懸掛組件，把設計與工具決策連接到拆解結果，為機器人政策訓練提供起點。

國際太空站與數位房間重建

NVIDIA 工程總監 Nic Johns 提示 Astra，將 NASA 資產組裝成帶有遙測數據的 OpenUSD 國際太空站模型。Johns 用單一提示建立應用，再用後續提示把場景切換到地球日照面，顯示行星。該工作流使用 Blender 準備資產，並透過 Omniverse 函式庫進行渲染（ovrtx）、場景運行（ovstage）及串流（ovstream），把 3D 模型與營運數據帶進瀏覽器。

Isaac 工程應用團隊的 Chirag Majithia 則指導 Astra，將立體相機捕捉的內容轉為可編輯的 OpenUSD 工作室。工作流結合 PyCuSFM、FoundationStereo 與 nvblox 進行重建，並由用戶審查來指導物件選擇與放置。Astra 組裝生成的資產與 Blender 製作的資產，並使用 USD Content Agents 配置物件互動。Isaac Sim 測試則指導門與抽屜的碰撞與接觸修訂，把捕捉到的幾何結構連接到互動測試，方便檢查物件行為。