The Outer Loop, Insights First: 一款能診斷生產環境 Agent 品質的 Ambient Quality Agent

解決生產環境 AI Agent 品質監控盲點

Google Developers 在 2026 年 10 月 8 日開源 AQuA（Ambient Quality Agent）。這是部署在 Google Cloud 上的參考實作工具，要處理的是 AI Agent 上線後，品質退化很難被監控到的問題。Agent 可能回傳 HTTP 200、延遲也在預算內、工具呼叫沒出錯，對話裡卻仍有嚴重的邏輯失誤，例如沒確認座位是否可用就確認訂位，或是向素食者推薦牛排餐廳。AQuA 會自動掃描生產環境中的失敗案例，並依據確切的程式碼快照診斷根本原因，讓開發者能用真實流量持續調整服務。

AQuA 的核心運作機制

AQuA 以非同步方式在開發者的 Google Cloud 專案中運行，獨立於請求路徑之外，也不會寫入 Agent 本身。它會定期從 Cloud Trace、Cloud Logging 或 BigQuery 抓取生產環境的軌跡數據，並跑五階段處理流程。第一步，系統隨機抽取最多 1,000 個近期會話，以控制成本；接著用九點檢查清單替每個會話評分，涵蓋程序、工具選擇、接地（grounding）及任務完成度等面向。發現失敗時，系統會記錄結構化的實際結果與預期結果差異。

之後，AQuA 把失敗機制相同的會話發現歸成候選問題叢集。為了確保準確，另一個獨立的驗證模型會針對每個候選叢集檢查最多三個完整會話記錄，剔除證據不足的假陽性。最後，系統把剩下的叢集與 BigQuery 中追蹤的已知洞察比對，標記為 NEW（新）、RECURRING（重複發生）或 auto-RESOLVED（14 天未見後自動解決）。這種設計類似初級品質工程師的工作：過濾雜訊，並準備好證據檔案。

診斷與修復的實證案例

在 travel-concierge 專案的測試中，AQuA 掃描了 32 個會話，產生 42 個結構化發現，歸納為 9 個候選叢集。驗證後剩下 6 個確認的問題，其中包括「繞過座位可用性檢查」與「跨子代理丟棄飲食限制」等缺陷。前者的情況是，用戶直接指定座位時，規劃代理沒有呼叫座位選擇代理驗證，就把座位存入會話狀態；後者則是靈感代理沒有把用戶的素食偏好傳給地點代理，結果推薦了不符合飲食限制的餐廳。

開發者可以透過 Dashboard 或 CLI 觸發根本原因分析。AQuA 會讀取失敗軌跡，以及部署時的不可變來源快照，指出程式碼位置（如 `travel_concierge/sub_agents/planning/prompt.py` 第 93 行），並提出錨定在快照行上的修改建議。套用修正並部署 Revision 2 後，重放相同會話的結果是：座位選擇繞過從 15 個會話降到 2 個，素食偏好遺漏從 7 個降到 0，完整會話通過率從 5/32 提高到 13/32。

成本效益與未來發展方向

AQuA 的設計重點之一是運行成本可預測。在單代理 sweeps 中，審查、聚類與驗證的成本約為每會話 0.007 美元；在多代理的 travel-concierge 案例中，每會話成本約為 0.12 美元。根本原因診斷按需執行，每次調查成本介於 0.33 至 2.47 美元。工具本身不會自行套用編輯或開啟拉取請求，只提供錨定編輯與證據軌跡，交給編碼代理或開發者手動處理。

Google 指出，目前的實作在處理長程軌跡、靜默回歸檢測及跨代理群組部署方面仍有挑戰。未來方向包括結合線上評估分數與用戶反饋來識別靜默失敗，以及把驗證過的失敗叢集轉成沙盒測試案例。開發者可以用 `agents-cli` 命令把 AQuA 附加到現有專案，所有遙測數據與來源快照都留在專案邊界內，Dashboard 的存取則由 Identity-Aware Proxy 保護。