MIT 開發 FLEX 平台，讓機器人能理解自然語言指令的隱含意義

MIT 與紐約大學合作推出 FLEX 平台

麻省理工學院（MIT）與紐約大學的研究團隊共同開發出一套名為 FLEX 的系統，目的是讓機器人能理解自然語言指令中隱含的意思。這項技術被描述為一種靈活的特徵編輯管線，主要用在機器人的運動規劃任務。研究人員指出，人類天生有直覺，能感知字面以外的含義，而 FLEX 平台就是要讓機器人也能從人類的自然語言指令中，推斷出更廣泛的意圖與一般性規則。該研究成果預計在當月的機器人學習年度會議上發表。

結合大型語言模型進行推理

FLEX 平台的核心是整合大型語言模型（LLM），讓機器人不只是嚴格照字面執行指令，還能透過分析語句來改善運動規劃。在模擬場景中，當人類用自然語言與機器人互動，例如輸入「不要灑在筆記型電腦上！」，機器人會利用 LLM 推理背後的原因。LLM 是一種以龐大文本庫訓練的 AI 系統，文本包括社群媒體貼文、影片轉錄及網路內容。研究作者、MIT 電腦科學與人工智慧實驗室（CSAIL）的博士後研究員 Nathan Dennler 解釋，LLM 看過大量網路文本，因此能掌握「液體加上電子設備會導致故障」這類一般性結論。

基於這個推理，機器人會調整路徑避開筆記型電腦，甚至自動避開附近的手機等所有電子產品，即使人類並未明確要求避開手機。Dennler 表示，人們說話時背後通常有更高層級的意圖，而 FLEX 提供了一種溝通介面，讓機器人能理解「當人們這樣說時，他們的意思是那樣」。

三步驟處理流程：新增、概括與遮罩

FLEX 平台的運作包含三個主要步驟。第一步是「新增」（Add），根據使用者的自然語言指令，把環境中對任務重要的特徵加進列表。例如，若使用者說「不要把它掉在我的馬克杯上」，機器人就會把馬克杯加入避開清單。這一步與先前的方法類似，但當特徵列表過長或環境改變時，舊有方法可能變得繁瑣。

第二步是「概括」（Generalize），這是 FLEX 提出的創新解決方案。系統採用 GPT-4o 等 LLM，自動在數據中搜尋模式與連結，進而做出概括性判斷。例如，即使使用者沒有明說，LLM 也能推斷出應避開易碎物品。Dennler 指出，LLM 從網際網路上來自各種人與地方的大量文本中學習，由於訓練量龐大，部分常識被吸收進 LLM。

第三步是「遮罩」（Mask），機器人的標準電腦視覺系統會評估環境，找出已不存在的物體，並從特徵列表中刪除。整個三步驟過程約需五秒完成。

模擬測試與未來應用

研究團隊在模擬環境中測試了 FLEX，讓機器人手臂執行三項任務：端咖啡、移動蠟燭以及搬運保齡球。在這些虛擬場景中，志願者透過輸入自然語言指令與機器人互動，如「不要灑在我的筆記型電腦上」、「遠離那疊紙張」以及「不要掉在馬克杯上」。結果顯示，機器人不只是照字面遵循指令，還能進行高層級推理，例如避免在電子產品上灑液體、遠離易燃物，以及不把貨物掉在易碎物品上。

MIT 航空太空工程助理教授 Andreea Bobu 領導的協作學習與自主研究（CLEAR）實驗室，致力於開發能與人類協作的自主代理。Bobu 強調，每個家庭環境都不同，沒有任何機器人出廠時就知道使用者在意什麼。FLEX 的優勢在於能從一兩句話中捕捉這些偏好，而不必要求使用者列出所有規則。這項工作部分由 MIT 生成式 AI 影響聯盟及 MIT 施瓦茨曼計算機學院的社會與倫理責任計算機計畫支持。研究論文標題為「Flexible Language-Guided Representation Editing for Adaptive Robot Behavior」。