WorldOracle 測試世界模型能否可靠預測真實世界執行

普林斯頓等機構推出 WorldOracle 基準測試

普林斯頓大學、德克薩斯大學奧斯汀分校、多倫多大學、NVIDIA 與 AgiBot 共同發布 WorldOracle，這是一個專門用來評估動作條件世界模型（ACWMs）的基準測試平台。它的核心做法，是把模型預測的執行結果，拿去和真實世界的執行記錄比對評分；這些記錄與預測從相同的初始觀察值出發，也遵循相同的動作序列。研究團隊已事先收集真實的操縱 episode，同時記錄影片與動作數據。開發者用評估集提供的初始幀與動作序列生成預測影片，再提交到平台評分，藉此驗證模型有沒有準確預測動作的後果。

七款模型表現：機械臂精準但物體脫節

研究團隊評估了 DreamDojo、Cosmos 3、IRASim 與 GE-Sim 2.0 等七款代表性模型，發現兩個明顯問題。第一，機械臂的運動路徑預測相對準確，但被操縱物體的位置與移動常與現實脫節。在以人類操作的 AgiBot G2 數據評估的五款模型中，所有模型在機械臂的空間對齊分數都高於物體分數。具體來說，IRASim 在機械臂上拿到 78.8 分，被操縱物體只有 29.1 分；Cosmos 3 則分別是 89.4 分與 45.4 分。這顯示即使生成影片中的機械臂符合給定動作，物體位置仍可能偏離現實。

預測準確度隨序列延長而大幅下降

操作序列越長，模型表現衰退越明顯。WorldOracle 同時評估每個軌跡的前 30 秒與完整長序列。在同一組 AgiBot G2 遙操作數據集中，五款模型的 WorldOracle-SV 分數全數下降。DreamDojo 從 50.56 降到 27.08，Cosmos 3 從 53.99 降到 26.60，兩者都近乎腰斬。GE-Sim 2.0 從 73.86 降到 63.33，在兩個評估時間範圍內都拿到最高分，降幅也最小。相對排名也有變動：IRASim 在前 30 秒的得分低於 Ctrl-World、DreamDojo 和 Cosmos 3，但在完整序列中反而高於這三款模型。

預測失敗亦算正確，涵蓋多類任務與機器人

WorldOracle 強調，準確預測失敗一樣能拿高分。若現實中的操作失敗，模型準確預測出該失敗，就算預測正確。這能看出模型是依照給定動作及其後果生成，還是預設走向成功的版本。該基準測試涵蓋 AgiBot G2 與 YAM 兩種機器人實體，以及第一人稱的人類手部操縱。四項任務分別涉及剛性物體（水果採集）、可變形物體（掛毛巾）、流體（倒水）與關節物體（拉抽屜）。數據來源包括人類操作的遙操作軌跡、人類手部操縱軌跡，以及由自主策略控制真實機器人產生的策略 rollout。後者包含停頓、抖動與動作修正，用來測試模型面對不同來源的動作時準不準確。

開放平台與多維度評分指標

WorldOracle 於 10 月 16 日開放給開發者使用，開源權重與閉源模型都能參與。平台提供三個軌道：WorldOracle-Core 評估人類操作軌跡前 30 秒的預測；WorldOracle-Policy 評估 AgiBot G2 上自主策略 rollout 的完整 episode；WorldOracle-Long 評估人類操作長序列的持續預測。評分系統包含四個互補指標：物理狀態正確性、互動空間對齊、關鍵互動區域保真度與多視角動作一致性。前三者取平均權重，形成 WorldOracle-SV 分數；多視角評估則另外加入第四項指標。研究人員邀請 119 名參與者比較 128 對預測影片，這四個指標與人類選擇的一致性介於 88.1% 至 93.2%。開發者可透過平台取得具體反饋，驗證模型迭代是否提升了物體運動準確性，或減少了錯誤的失敗預測。