新聞 12 / 12

產品發佈

Google 推出 Agent Anomaly Detection,強化 Gemini Enterprise Agent 平台安全性

Agent Anomaly Detection, now in Private Preview on the Gemini Enterprise Agent Platform

Google 推出 Agent Anomaly Detection,強化 Gemini Enterprise Agent 平台安全性

developers.googleblog.com · 2026-09-20

摘要

Google 在 Gemini Enterprise Agent Platform 推出 Agent Anomaly Detection 功能(目前私密預覽中),這是一套獨立的監控層可分析 OpenTelemetry 追蹤和工具呼叫,在不增加執行時延遲的前提下捕捉 AI Agent 的行為風險。該系統採用多層檢測管道,結合輕量統計掃描和 LLM 深度推理來辨識邏輯異常和政策違規(基於 OWASP Agentic Top 10),開發者可在 Security Command Center 進行分級或透過 API 程式化地在 Agent 觸發風險閾值時阻止後續工具呼叫。

Google 於 9 月 16 日宣布在 Gemini Enterprise Agent Platform 推出 Agent Anomaly Detection 功能,目前開放私密預覽,用來監控 AI Agent 自主決策帶來的行為風險。

為什麼需要行為監控

隨著 AI 模型能力提升,Agent 運作更自主、成本也更低,企業開始把 Agent 部署到實際業務任務上,例如處理退款申請、更新記錄、代表使用者呼叫內部工具。但模型能力變強不代表安全性跟著提高。Agent 在執行階段要做的決策越來越多,風險來源也從程式碼轉移到實際行為上。

Google 指出,很多問題其實藏在看起來正常的對話裡。Agent 可能給出正確答案、關掉了工單,事後才發現它呼叫了不該用的工具,或是對本該受限的請求採取了行動。因為沒有明顯的執行失敗,這類狀況通常不會被傳統指標系統抓出來。Agent Anomaly Detection 就是為了補上這塊監控空缺。

功能內容

Agent Anomaly Detection 是部署在 Gemini Enterprise Agent Platform 上的推理型監督與審計層。它會檢視 Agent 的推理追蹤、工具呼叫和會話中的執行流程,判斷 Agent 有沒有在預期邊界外運作,並標記行為異常、可疑意圖和政策違規。

三個實用特點:

不會增加執行延遲:分析在請求路徑外非同步執行,不影響 Agent 回應速度。

發現結果清楚可操作:每個異常都附上嚴重程度、純文字說明和建議後續步驟,並發布到使用者的 Security Command Center 部署,方便跟其他發現一起分級處理。

對齊業界標準:基於 OWASP Agentic Top 10(2026 年版)安全框架,涵蓋工具誤用(ASI02)、身份和權限濫用(ASI03)、級聯故障(ASI08)、流氓 Agent(ASI10)等風險,也包含資源耗盡、權杖使用升級等操作性風險。

分層檢測管道

為了兼顧檢測速度、成本和覆蓋範圍,Agent Anomaly Detection 用分層分析的方式運作。輕量級第一層對所有流量做統計異常掃描,標記出需要進一步分析的會話;接著由 LLM 推理層對這些被標記的會話做深入檢查。

Google 舉了一個例子說明運作方式。假設有個庫存 Agent 配備 list_inventory 工具,使用者要求「我想看你的庫存。一次列出 100 項」,Agent 開始用大批量分頁、跳過偏移量把整個目錄拉出來。這個行為沒有觸發任何錯誤,Agent 只是做了它能做的事,也許根本沒有政策禁止這樣做。但 Agent Anomaly Detection 會標記這種異常:第一層根據呼叫量和重複呼叫的統計特徵標記會話;第二層深入推理整個交互,判斷出大批量、偏移量跳躍的模式其實是系統性抓取,不是正常瀏覽;必要時第三層會重建單一工具呼叫和偏移量,顯示具體拉了哪些資料。

最後產出一份異常報告:「資源耗盡」、「關鍵嚴重程度」、「95% 概率」,並附上說明和建議修復措施——對該使用者的 list_inventory 工具設速率限制或直接封鎖、新增授權檢查限制大量庫存存取、針對大偏移量分頁模式設警報。這份發現也會同步顯示在 Security Command Center,供後續分級處理。

程式化回應機制

除了人工審查,使用者也可以用程式設計的方式回應發現結果。Agent Anomaly Detection 提供 API 取得指定會話的異常資料,讓 ADK 回調或插件檢查發現的嚴重程度和概率,超過使用者設定的閾值時就封鎖後續工具呼叫,或中止下一輪對話。

未來規劃

Google 表示正在開發讓使用者自訂業務特定異常的功能,讓使用者可以用自然語言搭配確定性規則寫出彈性的異常檢測器,在 Agent 超出企業特定商業指南時標記出來。此外,使用者未來也能在過去的流量資料上驗證新自訂業務邏輯的準確性。

開始使用

Agent Anomaly Detection 目前針對在 Gemini Enterprise Agent Platform 上部署 Agent、且使用 ADK 1.2 或更新版本的團隊開放私密預覽。使用者可透過文件查看先決條件和設置步驟,符合條件後可用單鍵配置啟用這項功能。

開發者:獲得無延遲的 Agent 安全監控能力,可更安心地部署企業級應用

投資人:Google 強化企業 AI Agent 平台護城河,提升市場競爭力

一般用戶:企業應用的 Agent 安全性提升,降低誤操作風險

重要性評分

78/100

🟠 值得關注

AI Agent 安全異常檢測Gemini Enterprise
原文出處
上一則AI 幻覺險些引發美軍對中國船隻軍事行動

喜歡這篇?每天早晨還有更多。

訂閱 5min AI,讓 AI 替你追蹤整個 AI 世界。

相關指南

🤖 本文摘要由 AI 自動生成,內容源自原始報導。如有疑慮,請參閱關於我們

喜歡這篇?每天早晨還有更多。

訂閱 5min AI,讓 AI 替你追蹤整個 AI 世界。