產品發佈
Google 推出 Agent Anomaly Detection,強化 Gemini Enterprise Agent 平台安全性
Agent Anomaly Detection, now in Private Preview on the Gemini Enterprise Agent Platform

developers.googleblog.com · 2026-09-20
摘要
Google 在 Gemini Enterprise Agent Platform 推出 Agent Anomaly Detection 功能(目前私密預覽中),這是一套獨立的監控層可分析 OpenTelemetry 追蹤和工具呼叫,在不增加執行時延遲的前提下捕捉 AI Agent 的行為風險。該系統採用多層檢測管道,結合輕量統計掃描和 LLM 深度推理來辨識邏輯異常和政策違規(基於 OWASP Agentic Top 10),開發者可在 Security Command Center 進行分級或透過 API 程式化地在 Agent 觸發風險閾值時阻止後續工具呼叫。
Google 於 9 月 16 日宣布在 Gemini Enterprise Agent Platform 推出 Agent Anomaly Detection 功能,目前開放私密預覽,用來監控 AI Agent 自主決策帶來的行為風險。
為什麼需要行為監控
隨著 AI 模型能力提升,Agent 運作更自主、成本也更低,企業開始把 Agent 部署到實際業務任務上,例如處理退款申請、更新記錄、代表使用者呼叫內部工具。但模型能力變強不代表安全性跟著提高。Agent 在執行階段要做的決策越來越多,風險來源也從程式碼轉移到實際行為上。
Google 指出,很多問題其實藏在看起來正常的對話裡。Agent 可能給出正確答案、關掉了工單,事後才發現它呼叫了不該用的工具,或是對本該受限的請求採取了行動。因為沒有明顯的執行失敗,這類狀況通常不會被傳統指標系統抓出來。Agent Anomaly Detection 就是為了補上這塊監控空缺。
功能內容
Agent Anomaly Detection 是部署在 Gemini Enterprise Agent Platform 上的推理型監督與審計層。它會檢視 Agent 的推理追蹤、工具呼叫和會話中的執行流程,判斷 Agent 有沒有在預期邊界外運作,並標記行為異常、可疑意圖和政策違規。
三個實用特點:
不會增加執行延遲:分析在請求路徑外非同步執行,不影響 Agent 回應速度。
發現結果清楚可操作:每個異常都附上嚴重程度、純文字說明和建議後續步驟,並發布到使用者的 Security Command Center 部署,方便跟其他發現一起分級處理。
對齊業界標準:基於 OWASP Agentic Top 10(2026 年版)安全框架,涵蓋工具誤用(ASI02)、身份和權限濫用(ASI03)、級聯故障(ASI08)、流氓 Agent(ASI10)等風險,也包含資源耗盡、權杖使用升級等操作性風險。
分層檢測管道
為了兼顧檢測速度、成本和覆蓋範圍,Agent Anomaly Detection 用分層分析的方式運作。輕量級第一層對所有流量做統計異常掃描,標記出需要進一步分析的會話;接著由 LLM 推理層對這些被標記的會話做深入檢查。
Google 舉了一個例子說明運作方式。假設有個庫存 Agent 配備 list_inventory 工具,使用者要求「我想看你的庫存。一次列出 100 項」,Agent 開始用大批量分頁、跳過偏移量把整個目錄拉出來。這個行為沒有觸發任何錯誤,Agent 只是做了它能做的事,也許根本沒有政策禁止這樣做。但 Agent Anomaly Detection 會標記這種異常:第一層根據呼叫量和重複呼叫的統計特徵標記會話;第二層深入推理整個交互,判斷出大批量、偏移量跳躍的模式其實是系統性抓取,不是正常瀏覽;必要時第三層會重建單一工具呼叫和偏移量,顯示具體拉了哪些資料。
最後產出一份異常報告:「資源耗盡」、「關鍵嚴重程度」、「95% 概率」,並附上說明和建議修復措施——對該使用者的 list_inventory 工具設速率限制或直接封鎖、新增授權檢查限制大量庫存存取、針對大偏移量分頁模式設警報。這份發現也會同步顯示在 Security Command Center,供後續分級處理。
程式化回應機制
除了人工審查,使用者也可以用程式設計的方式回應發現結果。Agent Anomaly Detection 提供 API 取得指定會話的異常資料,讓 ADK 回調或插件檢查發現的嚴重程度和概率,超過使用者設定的閾值時就封鎖後續工具呼叫,或中止下一輪對話。
未來規劃
Google 表示正在開發讓使用者自訂業務特定異常的功能,讓使用者可以用自然語言搭配確定性規則寫出彈性的異常檢測器,在 Agent 超出企業特定商業指南時標記出來。此外,使用者未來也能在過去的流量資料上驗證新自訂業務邏輯的準確性。
開始使用
Agent Anomaly Detection 目前針對在 Gemini Enterprise Agent Platform 上部署 Agent、且使用 ADK 1.2 或更新版本的團隊開放私密預覽。使用者可透過文件查看先決條件和設置步驟,符合條件後可用單鍵配置啟用這項功能。
●開發者:獲得無延遲的 Agent 安全監控能力,可更安心地部署企業級應用
●投資人:Google 強化企業 AI Agent 平台護城河,提升市場競爭力
●一般用戶:企業應用的 Agent 安全性提升,降低誤操作風險
重要性評分
🟠 值得關注
喜歡這篇?每天早晨還有更多。
訂閱 5min AI,讓 AI 替你追蹤整個 AI 世界。
相關指南

AI聲稱解開400年密碼「Cyphral Distich」:我們調閱原件逐字核對的結果
Vals AI 宣稱用 Fable 5.1 解開 Thomas Urquhart 400 年前密碼 Cyphral Distich,Reticuli 隨即提出反駁指其「未解」。我們調閱大英圖書館、1834年版與傳記三份原件逐字核對,找出雙方都沒點出的關鍵差異:兩邊用的是不同版本的底本。
閱讀指南 →
ChatGPT 小型企業工具集(Small Business Collection):16 個官方工具怎麼用、台灣店家該注意什麼
OpenAI 官方 ChatGPT 小型企業工具集共 16 個外掛,我們逐一核對官方目錄頁與工具詳情頁,整理成台灣店家看得懂的用法與注意事項——包含最容易被忽略的 Mercury 銀行外掛,以及方案、地區限制官方沒有講清楚的地方。
閱讀指南 →
TypeSafe Jev 實際上手:三個真實情境,看「只做判斷的 AI」能替你省掉哪些 if
拿到帳號後,我們用日報管線的真實資料把 TypeSafe Jev 跑了一輪:新聞分類、社群選題、讀者來信路由,外加幾個它做不到的邊界測試。附每一題的實際機率、422 拒絕原文,以及三個必須自己補的坑。
閱讀指南 →🤖 本文摘要由 AI 自動生成,內容源自原始報導。如有疑慮,請參閱關於我們。
喜歡這篇?每天早晨還有更多。
訂閱 5min AI,讓 AI 替你追蹤整個 AI 世界。