Practice Makes Precise: NVIDIA 與合作夥伴在 CoRL 展示機器人如何在模擬中練習精細操作

機器人學習重心轉向精細操作

在德州奧斯汀舉行的機器人學習會議（CoRL）上，NVIDIA 展示了開放式機器人技術的最新進展。這次的重點，已從傳統的機器人移動能力，轉向需要精細觸覺的操作任務，例如對齊齒輪、連接電纜、組裝微小零件。同時，「代理機器人技術」（agentic robotics）也成為新興範式，做法是整合前沿代理，為實體機器人系統生成可解釋的程式碼。NVIDIA 在會上推出多項新技術，包括世界動作模型、模擬工具、基準測試及代理工作流程。

兩篇論文入圍最佳論文獎

在數千份投稿中，NVIDIA 有兩篇論文進入 CoRL 最佳論文獎的六強名單。其中一篇是 GRAIL（Generating Humanoid Loco-Manipulation from World Models），研究提出一套供機器人學習使用的 3D 資產數位生成管線，以及可直接用於模擬器的場景。另一篇是 RoboTTT: Context Scaling for Robot Policies，提出一種機器人模型與訓練配方，能在不增加推理延遲的情況下，把視覺運動上下文擴展到比現有最先進政策高出三個數量級。這些成果希望幫助研究人員在複雜任務中訓練機器人、評估機器人在不同條件下的表現，並利用失敗經驗引導後續學習，進而建立從實驗室演示走向工業部署所需的精確度、適應性與自主性。

GR00T 2 世界動作模型展現高自主性

NVIDIA 在 CoRL 上介紹了 GR00T 2，這是一個建立在 NVIDIA Cosmos 之上的開放式前沿世界動作模型。模型以多樣的機器人與人類資料訓練，其中包括 100,000 小時的 NVIDIA 開源人類第一人稱視角資料，讓機器人學習靈巧的操作技能。GR00T 2 有幾項關鍵特性：在沒有特定任務演示的情況下，50 項評估任務中有 40 項至少完成一次；它能從人類演示中學習，並把技能轉移到不同的機器人本體，不需要針對該機器人另做演示；每項任務只用一次演示時，50 項任務的平均成功率為 71%，用五次演示則提高到 95%。此外，AI 代理可透過它的應用程式介面（API）及支援工具，依序執行技能，並從錯誤中恢復。

目前，GR00T 2 在 RoboCasa365、RoboLab、RoboDojo 及 MolmoSpaces 等基準測試中，於所有視覺語言動作與世界動作模型類別都排進前三，並拿下多個排行榜冠軍。Nexuni 正在測試該模型用於機器人洗衣處理；Foxconn 將它用在伺服器製造的工廠自動化；Siemens 正在評估它在工業用例中的表現。MicroAGI 則使用經強化學習後訓練的 GR00T 2，搭配 YAM 機器人手臂執行乙太網路電纜交換，其代理機器人技術利用 Isaac Lab 3.0 和 Newton 自動建立並校準模擬環境。

模擬環境與物理引擎的協同進化

訓練有能力的機器人，需要多樣化的資料。NVIDIA 推出新的開放式 Video to Data 工作流程，可把人類影片轉成模擬機器人演示，並邀請研究人員一起改進。同時，NVIDIA EgoHand 開放式模型利用 Noitom Robotics 的資料重建 3D 手部動作，發布兩週內在 Hugging Face 的下載次數已超過 40,000 次。

在模擬方面，NVIDIA Isaac Lab 3.0 是開源機器人學習框架的最新版本，研究人員可以用代理快速設置訓練環境，在 NVIDIA PhysX 與 Newton 物理求解器之間切換，並使用新的強化學習後訓練函式庫。Isaac Lab 與 Newton 開源物理引擎緊密整合後，可以模擬電纜和布料等可變形物體，也能模擬具有多個交互關節的機器人手部等複雜連桿系統。在視覺靈巧操作基準測試中，Isaac Lab 3.0 搭配 Newton 的訓練吞吐量，最高是 Isaac Lab 2.3 搭配 PhysX 的 2.5 倍。

Skild AI 宣布推出建立在 Newton 上的 STEEL 剛體物理求解器，用來加速使用 Isaac Lab 的機器人訓練。Flexion 展示如何用 Isaac Lab 和 Newton 訓練結合推理與全身操作的 Reflect 機器人智慧模型。FieldAI 使用 Newton、Isaac Lab，以及建立在 NVIDIA Omniverse 函式庫上的 Isaac Sim，在無結構的真實環境中訓練並驗證機器人政策。Dyna Robotics 將示範如何在 Isaac Lab 中進行平行模擬，訓練其半人形 Taku 機器人在倉庫、酒店和餐飲服務場景中的全身控制器。Walden Robotics 利用 Isaac Sim 的 photorealistic 渲染，在虛擬環境中訓練並評估其通用機器人；Dexmate 則探索如何用編碼代理在 Isaac Sim 中預演並優化操作策略，再交給 Vega 機器人執行。

AlphaNIST 與高效訓練方法

AlphaNIST 在 Isaac Lab 中建構，展示了高效率的練習如何轉為精確度。單一政策學會了 NIST 組裝任務板上的全部 20 項任務，只靠「成功或失敗」的訊號，就能操作毫米級零件。其訓練成功率超過 98%，相較於每項任務各用一個政策（81%），GPU 時間約少 39 倍。背後是華盛頓大學與 NVIDIA 的 Success-Guided Sampling（SGS）方法，它把練習集中在政策成功率約一半的任務上，讓訓練對準仍在學習的技能，使機器人訓練能擴展到超過一百萬個平行環境。德克薩斯大學奧斯汀分校計算學院與 Texas Robotics 則用 Isaac Sim 和 Isaac Lab 在模擬中訓練機器人技能，讓學生在實體硬體到位前就能開始開發。

工業基準測試與代理工作流程

為了評估機器人在不同條件下是否可靠，NVIDIA 推出開源框架 Isaac Lab-Arena，用於擴大政策評估。其最新的 0.4 版開發者預覽版在 CoRL 上亮相，開發者可以撰寫多樣且可重複的評估，並平行執行數千種變體。DexBench 由 RLWRLD 與 NVIDIA 合作開發，利用 Isaac Lab-Arena 把靈巧度評估從桌面擴展到真實工作流程，涵蓋零售、物流、製造和接待業的四個場景，共 15 項任務。Genesis AI、mimic robotics 等合作夥伴正透過早期取用評估 DexBench；該基準可在 Manifold 平台上運行，不需設置，並提供免費額度。

VABAR（Variational Automation Benchmark for Agentic Robotics）由加州大學柏克萊分校與 NVIDIA 開發，評估機器人在六項工業任務中的表現，每項任務都有標準化變異、難度層級和成功指標。在代理機器人技術方面，UC Berkeley 推出 Graph-as-Policy（GaP）框架，用代理把個別技能串成機器人程式，並利用 NVIDIA Isaac 開放模擬技術測試及改進這些程式。Ambi Robotics、Bosch Research 和 Siemens 都在探索 GaP 的代理機器人工作流程，以因應多樣的工業場景。NVIDIA 正與 Ambi Robotics、Bosch Research、Dexmate、Dyna Robotics、FieldAI、Flexion、Noitom Robotics、Siemens、Skild AI、RLWRLD、UC Berkeley、Walden Robotics 及華盛頓大學等合作夥伴合作，把這些進展帶給更廣泛的機器人社群。