ReplayRCA：透過反事實重播評估 AI Agent 失敗診斷與即時監督能力

研究提出 ReplayRCA：以反事實重播衡量 AI Agent 失敗診斷與即時監督

語言模型 Agent 在多步驟任務中失敗時，另一個模型能不能找出關鍵錯誤，並只靠一次干預就修好？

以干預結果取代人工標註

現有的失敗歸因基準，多半把診斷結果拿去和人類或模型給的標籤比對。作者指出兩個問題：一是標籤本身有爭議，「關鍵步驟」是一種判斷，另一個同樣有效的修正點會被判成錯；二是這類分數容易被結構性捷徑影響。

ReplayRCA 的做法不同。它先把環境還原到所選步驟之前的精確狀態，再用診斷者提出的動作取代 Agent 原本的動作，接著讓同一個 Agent 自己把任務做完。評分指標叫「因果修復」（causal repair），演算法是續行後的成功率，減去一組配對安慰劑的成功率。安慰劑會在同一步驟、用相同的還原與續行機制重播 Agent 原本的動作，用來扣掉 Agent 即使沒有任何診斷也可能自行復原的成功機會。

兩條評估軌道

這套協定有兩種情境。第一種是事後驗屍（post-hoc autopsy）：診斷者看得到整段失敗的執行過程，也被告知該次執行未通過驗收，但不知道原因。第二種是即時監督（live oversight）：監督者在執行過程中逐步觀察，每次執行最多只能在不可逆動作執行前介入一次，而且事先不知道這次執行最後會不會失敗。兩條軌道用同一批失敗案例和同一套指標，所以可以逐一比較模型的「解釋能力」與「預防能力」。

測試環境 OpsWorld

題目來自作者開發的 OpsWorld。這是一個確定性、程序化生成的後台作業模擬環境，模擬線上零售商的客服、訂單、退款、文件、庫存與寄出流程。環境共有 15 個工具，分三類任務，設有六個難度等級。最後一級加入多模態內容，包括 QR 碼、拍攝的表單與手寫文字。實例由種子生成，作者表示可以隨時產生新題目；每次狀態還原也都會經過驗證。評分過程不使用模型評審。

事後驗屍的主要結果

研究在 62 個經過校準的系統性失敗案例上，測試了 13 個前沿模型。得分最高的是 Grok 4.7，因果修復為 +51.3 分，95% 區間約為 +40 至 +63。不過，作者在 78 組兩兩比較中，經多重比較校正後沒有任何一組達到顯著差異，所以排名不能當成可靠的階層。

值得注意的是，兩家最大廠商的旗艦模型 GPT-6 Astra 與 Claude Fable 5.1，分別排在第 8 與第 12 名。作者說明，Claude 系列模型是以 high 推理強度執行，沒有用到最高設定；消融實驗顯示，Claude Haiku 5.5 改用 max 可多得 15.2 分，因此 Claude 的排名應視為下限。另有 5 個題目沒有任何模型能修復。

作者也測試了「永遠在最後一步介入」這個結構性捷徑。讓 GPT-6.1 Sol 被迫選最後一步，分數比自由選步驟低 17.1 分。作者因此認為，在標籤型基準中主導結果的結構性捷徑，在這個協定下並不成立。

即時監督的結果

在 87 次執行中，表現最好的兩名監督者分不出高下。其中一名是小型開源模型 DeepSeek V4.1 Flash，得分 +27.5；另一名 Gemini 3.8 Flash 為 +29.1。在事後驗屍中表現接近前列的 GPT-6.1 Sol，在即時監督中墊底，得分 +18.1。作者在同一批執行上計算，它的解釋分數與預防分數相差 −14.5 分（p=0.002），是四個同時參與兩種任務的模型中唯一達到顯著差異的一組，經 Holm 校正後仍顯著（p=0.010）。作者因此認為，事後診斷表現未必能代表即時監督能力。

作者還檢查了監督者是否只是依據工人模型的寫作風格下判斷。結果顯示，監督者的誤報並未集中在較弱工人的成功執行上，因此作者認為決策主要依據執行內容，而不是執行者身分。不過，作者也承認，這項檢驗還不是嚴格的同工人配對設計。

作者的保留與限制

作者強調，這個基準是一套可重複使用的協定，不是排行榜。他們列出的限制包括：樣本量小（62 題與 87 次執行，信賴區間約為正負 10 分）、只用單一模擬環境、題庫由單一種工人模型主導、推理強度設定不一致，以及「自我更新」（以更強的工人重新收集失敗案例）目前尚未實際驗證。作者也說明，環境、評估程式碼與重現腳本已公開在 GitHub（jeremy1392/RCAreplay），而收割出的題庫與快取資料則需向作者索取。