Microsoft Research 提出在機器人上將 AI...

微軟研究院提出機器人 AI 推理的新方向，認為把推理全部放在機器人本地 GPU 執行未必是最好的做法。這項研究首次有系統地檢視機器人的工作負載，指出把推理卸載到邊緣或雲端 GPU 有多項優勢。

挑戰本地運行的既有做法

目前機器人領域的主流做法，是在機器人上裝 GPU，讓推理過程完全依賴本地運算資源。高階規劃或許會放在雲端做，但任務執行通常還是綁在機器人本身上。微軟這項研究質疑了這個核心假設，指出隨著物理 AI 模型規模與複雜度不斷提高，本地運算的限制越來越明顯——GPU 耗電量大，會拉低電池續航，還會增加成本與重量，也限制了機器人運行最新一代 AI 模型的能力。

系統性研究結果顯示效能提升

為了了解物理 AI 在系統層面的影響，微軟做了首次針對機器人工作負載的系統研究，重點放在移動機器臂操作。典型任務像是「檢查廚房垃圾並丟進垃圾桶」，包含路徑規劃、環境感知、垃圾導航、抓取及返回垃圾桶等步驟。研究評估了語意映射與規劃、導航及操作這三個核心功能的代表性模型。

實驗結果顯示，推理卸載能在多方面提升機器人效能。部分較小的 GPU 根本裝不下完整的移動操作堆棧；就算是記憶體充足的 GPU，映射與規劃速度跟 A100 相比，最高也會下降 383%，限制了機器人在動態空間中的行動能力。導航系統在使用輕型 GPU 時，障礙物即時偵測率下降 30%。視覺語言模型（VLA）在輕型 GPU 上雖然速度不會掉太多，但準確度仍會下降 50%。相對地，把推理卸載到本地或雲端 GPU，能明顯提升機器人效能，包括在物體交接任務中的成功率有明顯改善。

延長電池續航時間

除了效能提升，本地 GPU 也很吃電。研究比較了用樹莓派 5 板取代本地 GPU、把所有資料送到卸載 GPU 後的電池續航改善情況。在這個配置下，較大的本地 GPU（如 Jetson Thor）原本耗電最高會讓機器人電池續航下降 160%，等於少掉好幾個小時的運行時間。

Kubernetes 工具鏈簡化部署流程

推理卸載牽涉到效能、網路延遲、頻寬與可用 GPU 資源等複雜權衡，為了處理這些問題，微軟做了一套自動化工具集。這套工具集建立在 Kubernetes 平台上，為機器人運算、邊緣 GPU 及溢出至雲端提供統一的抽象層。

工具集的核心功能包括：自動容器化，並用宣告式規格把機器人工作負載卸載出去；透過 Kubernetes 用智慧原則分配物理 AI 容器；以及與機器人模擬器、LeRobot 及 ROS2 整合，簡化開發流程。開發者可以指定要卸載到哪裡，工具集就會替 GPU 推理建立獨立容器並執行卸載。

Physical AI Toolchain 新增的功能

微軟最近發布了 Physical AI Toolchain，這是一個整合 Microsoft Azure 雲端服務與 NVIDIA 物理 AI 堆棧的開源生產級框架。這次新增了業界首創的機器人卸載物理 AI 推理功能，並附上針對 SO-101 與 UR10e 的示例專案。

這項功能已經在實際應用中驗證過，包括把微軟 Rho 模型（針對雙臂機器人設計）的推理卸載到 Jetson Thor GPU，藉此控制 Mobile Aloha 機器人與 BusyBox 進行按鈕按壓、轉盤旋轉等互動任務。