Agent 說已完成，但資料庫不同意

Microsoft 與 Hugging Face 聯合發布 ThinkingBox 基準測試，旨在評估 AI Agent 對後端資料庫狀態與副作用的實際影響，而非僅檢查工具呼叫或生成內容。該基準涵蓋 507 個狀態式商業工作流，每個任務在隔離的 MCP 工具會話中獨立運行 20 次，以驗證 Agent 在重複執行中的一致性。

研究在 121,680 次有效試驗中發現，79,853 次未通過可執行檢查。其中 67.24% 的失敗案例雖終止乾淨且無最終錯誤報告，但仍存在錯誤欄位值（77.61%）、非預期額外效應（43.30%）或缺失必要效應（25.36%）。約四分之三的失敗歸因於工具處理問題，而非推理能力不足。

模型表現方面，Claude Opus 5.5 以 67.16% 的 pass@1 總體得分領先，但僅有 241 個任務在 20 次嘗試中全部通過。Kimi-K3 覆蓋範圍最廣，解決 93.89% 的任務，但一致性極低，僅 13.41% 的任務能通過所有 20 次嘗試。Claude Opus 5 雖解決任務較少，但有 47.53% 的任務能保持一致性，顯示 newer 模型如 Claude Opus 5.5 並未在絕對可靠性上超越其前代。

成本分析顯示單次成功與可靠任務成本差異巨大。GPT-5.6 Sol 單次成功成本最低（$0.127），但可靠任務成本為 $9.76。