LiberAI 發布 Liber-0 世界動作模型，以人類經驗驅動機器人零樣本操作

LiberAI 推出 Liber-0 世界動作模型

北京新創公司 LiberAI 正式發布名為 Liber-0 的世界動作模型（World Action Model, WAM），用來支援機器人的零樣本操作。這個模型在預訓練階段吸收了超過 220 萬小時的人類經驗數據。傳統機器人操作高度依賴針對特定任務與特定機器人平台錄製的示範數據。這種做法雖然貼近部署情境，但收集過程既慢又貴，遇到新任務或新機器人平台時，還得額外收集示範資料。相較之下，人類活動的數據來源更豐富，大量存在於影片中。不過，要把人類影片直接轉成機器人指令，會碰上攝影機位置不同、手部姿態估計雜訊大，以及人體與機器人運動方式有差異等障礙。

結合人類影片與手套數據轉移經驗

為了解決這些轉移難題，Liber-0 用三種方式把人類操作經驗轉移到機器人身上。第一，LiberAI 開發的 LiberSense Glove 數據收集系統可以直接記錄手部動作，藉此把人類影片和背後的運動軌跡連起來。第二，LiberAI 的機器人平台採用更接近人類的攝影機視角，以及手部、手腕和腰部的運動方式，讓技能比較容易轉移。第三，模型採用統一的身體表示法（Unified Embodiment Representation），提供身體形狀與關節運動的資訊，讓模型能依執行動作的具體身體來調整動作。Liber-0 能同時預測未來的影片幀與動作，因此可以從沒有動作標籤的一般影片中學習，並結合含有測量運動的手套數據與機器人記錄一起訓練。

GPT-6 評估展現零樣本泛化能力

評估 Liber-0 的泛化能力時，LiberAI 使用一套由 GPT-6 提出的 60 項任務。這些任務與內部擴展基準不同，包含 20 項抓取與放置（Pick-and-Place, PnP）任務、20 項非 PnP 操作任務，以及 20 項具挑戰性的非 PnP 與長時序任務。測試範例包括把筆放進筆袋、推上抽屜，以及把筆放進袋中再把袋子收進抽屜的長序列操作。在這 60 項任務的 600 次試驗中，Liber-0 在沒有收集這些目標任務專屬機器人示範的情況下，整體成功率達 36.0%。具體來說，抓取與放置任務成功率為 63.5%，非抓取與放置操作任務為 34.0%，具挑戰性的多步驟任務則為 10.5%。這裡的零樣本，指的是受評估的檢查點沒有使用針對這些目標任務收集的機器人示範數據訓練，不過預訓練階段仍包含機器人數據。

手套數據提升非 PnP 任務表現

實驗顯示，手套數據能帶入機器人數據中缺少的行為。當政策只用涵蓋抓取與放置的機器人示範訓練時，非 PnP 任務的進度分數只有 2.2。加入包含摺疊、按壓和打開等動作的手套示範後，分數升到 47.5；若手套集同時包含抓取與放置動作，分數再升到 54.6，接近用涵蓋所有動作的機器人示範訓練的政策所得的 56.3 分。另一項實驗則探討手套記錄能否減少對機器人示範的需求。在 LiberAI 機器人平台的八項任務評估中，當完整的機器人與手套池包含相同數量的示範時，用 25% 機器人池加上 100% 手套池訓練的政策，進度分數為 75.6，用 100% 機器人池訓練的政策則為 72.8。這代表在該設定下，手套記錄讓機器人示範減少 75%，仍達到可比的表現。

內部基準與未來研究方向

在 LiberAI 的內部基準測試中，預訓練檢查點直接評估時，抓取與放置任務的進度分數為 81.4，非 PnP 任務為 72.3。機器人後訓練分別增加 2.2 和 1.5 分，達到 83.6 和 73.8。LiberAI 表示，增幅很小，顯示預訓練模型已掌握評估任務所需的大部分能力。此外，LiberAI 開發了一個互動模擬環境，使用者可以上傳自己的物件，觀察 Liber-0 在虛擬環境中的操作。這個版本的模型在 100 小時的模擬遙操作數據上做後訓練，且不需要進一步的物件專屬訓練。LiberAI 創辦人兼執行長 Songming Liu 指出，人類影片能顯示人們做什麼，卻無法精確顯示手部如何移動，也看不出如何適應不同的身體；要把這些經驗轉成機器人能力，關鍵是將經驗錨定在測量運動上，並與機器人身體對齊。未來，LiberAI 表示 LiberSense Glove 目前只記錄手部姿態與軌跡，沒有記錄接觸或力量，而這對插入、固定和處理軟性材料至關重要，因此觸覺與力量感測，以及更廣泛的家庭環境數據收集，將是未來的研究方向。