Into the Omniverse: 開發者如何運用 Frontier AI Agents 將創意轉為模擬

開發者正結合前沿 AI 模型與 NVIDIA Omniverse 程式庫，打造可用來探索情境、調查故障原因、改善設計的應用程式。在這套工作流程中，開發者以自然語言指令引導 AI 代理程式，再審查結果，決定要怎麼修改。這些專案用到了 GPT-6 Astra 等前沿 AI 模型。Omniverse 程式庫則提供 GPU 加速的物理、渲染與感測器模擬能力。

倉庫自動化與建築數位重建

規劃倉庫自動化，需要有建築本身的模型。但貨架與機械設備可能擋住建築結構，現場掃描很難呈現完整樣貌。Omniverse 整合了從真實到模擬的工具與代理程式技能，讓開發者能把真實世界的捕捉資料轉成可編輯的起始環境，用於物理 AI 模擬。NVIDIA 模擬技術團隊的 David Wehr 以這項工作為基礎，用 Astra 開發了一套工作流程，重建建築的數位模型（不含內部物品）。Wehr 引導 Astra 解讀全景照片、建立建築幾何結構，並與點雲測量數據對齊。模型存放在 OpenUSD 中，Omniverse 的 ovrtx 程式庫負責渲染結果供檢查。

目標是做出一個可編輯、可直接用於模擬的建築模型。開發者可以新增或調整貨架與機械設備的位置，在實際施工或搬動之前，先評估倉庫佈局與自動化計畫。

燃氣渦輪機與發電機的假設分析

NVIDIA Omniverse 開發者關係團隊成員 Pradeep Kaushik 引導 Astra，以模擬的燃氣渦輪機與發電機為對象，建構了一個假設分析應用程式。使用者可以調整負載、環境溫度與燃料成分等條件，再比較電力、效率、燃料消耗與設備反應。六項測試程序涵蓋了負載變化、燃料閥卡住、排氣感測器錯誤等情境。Astra 使用 Cantera 處理熱化學、SciPy 處理設備動態。應用程式把求解器結果對應到轉子動畫，並在 3D 渦輪機上以顏色標示溫度、壓力與流速指標。

這個原型讓工程師能互動式地調查操作變更與故障如何影響設備行為，也能據此判斷哪些情境值得進一步測試。工程師可以旋轉、縮放剖面圖，切換指標，暫停或掃過模擬反應，同時查看圖表與虛擬儀表。NVIDIA Omniverse 程式庫負責更新場景（ovstage）、以 RTX 渲染（ovrtx），並把畫面串流到瀏覽器（ovstream）。

場景組裝與感測器驗證

GTC Berlin 上宣布的 SimReady Central Library，提供超過 2,000 個來自設備製造商與資產供應商、可直接用於模擬的 USD 資產，用於機器人模擬與 AI 工廠數位雙生工作流程。NVIDIA Omniverse 文件團隊成員 Paul Kind 讓 AI 代理程式存取這個程式庫，並透過對話引導場景組裝。Kind 的廚房場景有 180 個放置物件，取自 63 個獨特的程式庫資產，另有 18 個自訂幾何部件。Kind 審查了用 Isaac Sim 產生的渲染圖，並指示進一步調整。

NVIDIA 的 DeLise 引導 Astra 串接 NVIDIA Omniverse 的物理（ovphysx）、場景更新（ovstage）、渲染（ovrtx）與使用者介面（ovui）程式庫。DeLise 用 Astra 搭配 SimReady（simready-foundation），在模擬中建立實體場景。Astra 接著產生動畫與應用程式程式碼，把這些功能整合起來。

NVIDIA RTX 感測器驗證團隊的 Ashley Reid 引導 Astra 與 Claude Fable 5 代理程式，將 ovrtx 相機與原始 LiDAR 輸出，同記錄數據做比較。代理程式從零建立了兩個數位雙生，並改善了兩個既有的數位雙生。約三天的時間裡，Reid 引導一套反覆迭代的工作流程：代理程式測量差異、建立或修改 OpenUSD 場景，再檢查結果。這些變更處理了缺失的物件、幾何結構與材料問題，是否接受則看相機與 LiDAR 指標。開發者因此多了一種做法，可以用測量到的差異來指導場景的建立與改善。

機器人運動與車輛懸吊模擬

NVIDIA 模擬技術團隊經理 Doyub Kim 要求 Astra 建構 Zero to Alpamayo，這是一個以舊金山 Market Street 為藍本、可重複使用的模擬環境。Kim 先指導 Astra 規劃工作流程，再分階段串接資產建立、交通、Omniverse RTX 感測器模擬與 Alpamayo 駕駛，並檢查每個整合步驟。做出來的原型是一個測試場，可用來比較模型，也能追蹤場景或感測器的變更如何影響下游的駕駛行為。另一項獨立的 Cosmos3-Nano 實驗，則在記錄下來的模擬影片中改變天氣與照明，讓 Kim 比較駕駛模型在不同條件下面對同一情境的反應。

領導 NVIDIA Omniverse 工程與產品的 Tae Kim，以運動影片和自然語言指令引導 Astra 建構 Robo Olympics。這是一個實驗專案，測試模擬的 Unitree G1 人形機器人執行運動動作。在 Kim 的指導下，Astra 建立了控制器，並透過物理試驗反覆調整。Newton Physics Engine 負責模擬行為，開源的 NVIDIA Warp 框架加速運算，ovrtx 則渲染場景與虛擬相機影像。在一項實驗中，機器人在 100 次模擬試驗裡有 64 次成功跨越單一欄杆。這些試驗讓 Kim 取得改善機器人時機與控制的反饋。

NVIDIA OpenUSD 資深產品經理 Jens Jebens 指導 Astra 在 PTC Onshape 中建立汽車懸吊模型，並在 NVIDIA Isaac Sim 中配置。Jebens 透過 Astra，探索了受模擬啟發的機器人電腦輔助設計與工具修訂。代理程式測量可用空間，並設計出一把機器人可用來碰到懸吊螺栓的扳手。Jebens 表示，在模擬中成功拆下了懸吊組件。這把設計與工具的決策同拆卸結果連了起來，也為機器人政策訓練提供了一個起點。