Agent as Policy：通用 AI 智能體直接操控機器人執行任務

Agent as Policy for Robotic Manipulation

arXiv cs.CL · 2026-09-14

摘要

研究團隊提出 Agent as Policy（AGP）方法，讓通用 AI 智能體無需任務特定或環境特定訓練，就能直接控制物理機器人完成多種操作任務。該智能體透過視覺理解、程式生成、動作指令和實時糾正等能力，與物理世界形成閉環互動，在精密操控、動態運動、可變形物體等複雜操作上展現出 80-100% 的成功率。

研究人員提出 Agent as Policy（AGP）方法，讓通用 AI 智能體能夠直接驅動物理機器人執行任務，無需進行任務特定或環境特定的訓練。

該方法的核心機制是將任務規劃和執行權交由智能體掌控。給定一項任務和機器人介面後，智能體執行多個步驟：解讀視覺資訊、編寫可執行的程式、發出動作指令，並根據物理世界的實際反饋修正自身行為。透過這種方式，智能體的推理和編程能力得以與物理世界形成連續互動的閉環。

研究團隊在多項真實世界的操作任務上評估了 AGP 方法，涵蓋精密操控、動態運動和可變形物體等複雜場景。具體任務包括從人類影片進行組裝、根據目標影像進行積木建造、骰子重新定位、定向投擲和雙臂毛巾折疊。在三種積木建造配置上，AGP 分別達到 100%、100% 和 80% 的成功率。

●開發者：可探索大語言模型與機器人系統的深度整合方案

●投資人：機器人自動化領域的通用智能方向值得關注

●一般用戶：未來家務和製造業自動化可能因此加速實現

重要性評分

78/100

🟠 值得關注

機器人操控通用智能體視覺語言模型

原文出處

上一則← 頂級 AI 實驗室聯手呼籲放慢開發速度下一則MIT 年度35位35歲以下創新者揭曉：生技領域突破與永續鋼鐵新技術 →