📰 2026-10-04 AI 日報

Google Developers 最近發了一篇講 Harness Engineering 的文章，核心主張很直白：評估 AI 程式碼代理，別只靠 SWE-bench 這種端到端基準測試了。原因有兩個，一是跑一輪成本高，二是它只告訴你「過了」或「沒過」，不告訴你卡在哪一步。 他們建議的替代方案叫行為評估（Behavioral Evaluations）。做法是寫快速、在本地就能跑的單元風格測試，不看最後整包任務有沒有解掉，而是檢查中間動作：代理有沒有先讀對檔案、有沒有呼叫對的工具、遇到錯誤訊息時有沒有換方向。改系統提示或升級模型的時候，這些測試就是防回歸的安全網。 這跟傳統軟體工程的道理一樣。你不會只靠每週跑一次完整的 E2E 來確認 code 沒壞，而是靠幾百個幾秒內跑完的 unit test。端到端測試像是考完期末考才發現不及格，行為評估則是每週小考，錯在哪一章看得清清楚楚。 回到今天另一則素材。arXiv 上有篇〈最弱環節〉，講把大模型的推理能力蒸餾到小模型時，傳統方法容易出現獎勵欺騙（reward hacking）或過度正規化，導致推理鏈裡藏著邏輯缺陷。他們的解法是把它當成約束強化學習問題，要求推理鏈的每一步都得符合最壞情況下的約束，而不是只看最後答案對不對。 兩件事放在一起看，方向一致：AI 的評估單位正在從「結果」往「過程」移。只看結果，模型可以靠運氣、靠鑽漏洞拿高分；一旦盯住每一步，才分得出是真的會，還是剛好蒙對。 這對正在做 agent 產品的團隊很實際。目前很多人調 prompt 的流程是：改一版，丟幾個任務跑跑看，感覺變好就上線。模型一升級，行為悄悄變了，沒人知道，直到客戶回報。把中間動作寫成可重複跑的測試，成本低很多，也是少數不用等下一代模型就能做的工程改進。 SWE-bench 分數還會繼續出現在每場發表會上，但真正在做產品的團隊，手上最有價值的資產會是那一疊自己寫的行為測試。