評估 AI Agent：超越直覺檢查的實務指南

告別直覺檢查：建立可重複的 AI Agent 評估管線

實作指南指出，傳統開發 AI Agent 時常見的「直覺檢查」有嚴重盲點。只在終端機跑三、四個提示詞、再用眼睛看輸出，抓不到 Agent 在生產環境中的隱性故障。Agent 可能陷入重試迴圈、過度消耗 Token、產生幻覺答案，甚至讓外部系統重複執行副作用，卻照樣回傳看似合理的回應。這類表面正常的失敗，會讓雲端帳單暴增、用光 API 配額，也嚴重傷害使用者信任。針對這個問題，團隊提出一套從 Day 0 到 Day 2 的漸進式評估框架，結合 OpenInference 標準與 agent-eval 工具包，把主觀檢查變成可量化的工程做法。

定義成功與模擬使用者

建立評估系統的第一步，是先定義「成功」是什麼，而不是依賴抽象的基準。指南建議以關鍵使用者旅程（CUJ）為核心，把使用者角色、目標、限制條件與驗證條件寫具體。例如，營運分析師的 CUJ 可以定義為：Agent 要在 30 秒內找出交易差異、核對內部帳目，並自動把內部 ID 轉換成經紀商術語。CUJ 裡的每個子句都對應一個評估點，讓產品、使用者與工程師對成功的定義一致。

準備測試資料時，不必等上數個月的生產日誌。團隊推薦使用 ADK 使用者模擬器，把 CUJ 拆成具體場景，涵蓋正常路徑與邊緣案例。只要替模擬器設定特定人格與行為限制（例如給出不完整單號的急躁分析師，或提出多段除錯問題的開發者），就能產生接近真實使用者那種雜亂語句與多輪對話的測試資料。這些合成使用者產生的執行軌跡（含工具日誌），可以在真實流量進來之前，幫開發者先發現效能落差。

四層檢查架構與常見陷阱

為了找出失敗的根源，評估需涵蓋四個層級：單元測試、確定性指標、LLM 作為評判者的規則，以及整合測試。指南特別警告四種常見陷阱：

1. 破壞基準線：隨意增刪測試案例或替換查詢樣本，會讓基準線失效，導致無法判斷分數變化是來自 Agent 改進，還是測試套件被改動。應凍結黃金數據集，每次只調整單一變數。 2. 依賴模糊評分：LLM 在 1 到 5 分的定性評分上極不一致，分數邊界會隨每次運行漂移。應把評判規則改成布林值（通過/失敗）問題，例如問「Agent 是否在呼叫退款工具前驗證了帳戶 ID？」，而不是問「答案有多有用」。 3. 忽略營運成本：就算文本品質合格，若耗時 40 秒、做了十二次多餘的工具呼叫，且每次查詢花費六十美分，在生產環境中仍算失敗。必須同時追蹤延遲、Token 消耗（提示、推理、完成）、API 成本及工具呼叫次數。 4. 框架綁定：不同編排框架（如 LangGraph、Google ADK）的追蹤格式不同，常逼得團隊重寫測試套件。將追蹤標準化為 OpenTelemetry，並採用 OpenInference 語義規範，評估就能與框架脫鉤。

從 Day 0 到 Day 2 的實作路徑

Day 0：場景模擬與手動審查 初期應聚焦在原始資料。先寫出涵蓋主要 CUJ 的場景，用 ADK 模擬器執行 Agent，再親自讀前 5 到 20 筆執行軌跡。用「紅筆」標出 Agent 猶豫、參數幻覺、工具選錯或輸出冗長的地方。這種手動審查看起來慢，但能精準找出系統實際是怎麼壞掉的，也為後續自動化檢查提供高訊號的確定性斷言基礎。

Day 1：自動化框架與調優迴圈 用 agent-eval 工具包把手動檢查自動化。該工具支援從 HTTP 或離線環境執行多輪場景，並將 OpenTelemetry 追蹤標準化。追蹤匯入 Gemini 平台的 Agent Evaluation 服務，執行確定性檢查與布林值評判。優化過程應視為機械式迴圈，通常需要 50 到 60 次小幅調整（如釐清工具參數、加入負向約束或調整 JSON 結構），而不是大幅重寫提示詞。每次評估後產生的 HTML 報告，會把布林指標與營運指標對齊，並附上 Gemini 自動生成的根因分析，取代主觀猜測。

Day 2：合併閘道與儀表板 評估信號可靠之後，就把它整合進 CI/CD 流程。透過無頭 CLI 在雲端建構或 GitHub Actions 中執行測試，並設定合併閘道規則：整體通過率要達到最低門檻（如 95%），且核心指標不得退步。所有執行產物（原始追蹤 JSONL、提示雜湊、模型版本、延遲曲線）應匯出到 BigQuery 或 Cloud Storage 等中央資料倉儲，建立共享儀表板，監控各版本釋出的準確率與 Token 預算。

生產環境的持續演進

部署後，真實的生產軌跡可以回饋到黃金數據集，讓測試套件跟著實際使用情境演進。生產中遇到的邊緣案例，可透過類似 The Outer Loop 的環境品質 Agent 進行診斷，再把這些真實的失敗案例升級為 Day 0 的測試場景。團隊可從 GitHub 克隆 agent-eval 工具包，快速架起包含數據集生成、追蹤收集與診斷報告的完整評估基礎設施。