←新聞 11 / 12→

產品發佈

Gemini Enterprise Agent Platform 推出 Agent Anomaly Detection,現已開放私人預覽

Agent Anomaly Detection, now in Private Preview on the Gemini Enterprise Agent Platform

Gemini Enterprise Agent Platform 推出 Agent Anomaly Detection,現已開放私人預覽

developers.googleblog.com · 2026-09-28

摘要

Google 為 Gemini Enterprise Agent Platform 推出 Agent Anomaly Detection 功能,這是一個獨立的監督層,可分析 OpenTelemetry traces 和工具呼叫,在不增加實時請求延遲的情況下偵測行為風險。該功能結合輕量級統計掃描和深度 LLM 推理,能識別邏輯異常和違反 OWASP Agentic Top 10 的政策違規,開發者可在 Security Command Center 進行分類,或通過 API 在 Agent 超過風險閾值時程序化地封鎖後續工具呼叫。

Google 於 9 月 16 日為 Gemini Enterprise Agent Platform 推出 Agent Anomaly Detection 功能,現已開放私人預覽。這項功能用來監測自主代理的運作行為,找出可能存在的風險與異常模式。

填補現有監控空缺

隨著 AI 模型能力不斷提升,代理系統被部署到更多業務場景中,包括發放退款、更新記錄、代表用戶呼叫內部工具。不過更強大的模型不代表更安全。當代理在運行時做出更多決策,風險就從程式碼層面轉向行為層面。

問題在於,許多有風險的活動表面上看起來無害。代理可能返回正確答案並完成任務,但過程中卻碰了不該碰的工具,或是在用戶要求下悄悄提升自己的權限。因為沒有明顯的失敗,這類會話通常能通過傳統的基於指標的評估,不會被抓出來。

Agent Anomaly Detection 就是為了填補這個監控空缺而設計。

核心功能與特性

這項功能作為 Gemini Enterprise Agent Platform 上自主代理的推理型監督和審計層。做法是檢查代理的推理追蹤記錄、工具呼叫和整個會話的執行流程,讀取代理已經發出的日誌和 OpenTelemetry traces,評估活動是否超出預期邊界,並標記行為異常、可疑意圖和政策違規。

這項功能有以下幾個關鍵特點:

無額外延遲:分析以非同步方式在線上請求路徑外執行,不會拖慢代理的回應速度。

清晰可行的結果:每項異常發現都附帶嚴重程度、純文字說明和建議的後續步驟,同步發布到 Security Command Center,讓團隊跟其他發現一起分類處理。

基於 OWASP 標準:這項功能針對 OWASP Agentic Applications Top 10(2026)中的特定風險設計檢測器,包括工具誤用、身份與權限濫用、級聯失敗和失控代理等風險,也涵蓋資源耗盡和權杖使用升級等操作風險。

此外,Google 表示正在開發讓用戶定義業務特定異常的功能,讓團隊能用自然語言和確定性規則寫出靈活的異常檢測器,並針對過去的流量驗證準確性。

分層檢測管道

為了兼顧檢測速度、成本和覆蓋範圍,Agent Anomaly Detection 分層分析追蹤和日誌。輕量級的第一層掃描所有流量,找出統計異常並標記這些會話供進一步分析;第二層是基於 LLM 的推理層,深入檢查被標記的會話。

舉個清單代理的例子:用戶要求「列出 100 項物品」,代理開始以大批次分頁,跳過偏移量拉取整個目錄。雖然沒有拋出錯誤,代理做的也都是能做的事,但 Agent Anomaly Detection 會標記這種異常行為。第一層根據大量呼叫次數和重複調用標記為統計異常;第二層推理則通過完整交互,識別出大批次跳偏移的模式其實是系統化的資料抓取,不是正常瀏覽,回傳帶有純文字說明的判斷結果。

最後生成的異常發現包含「資源耗盡」、「關鍵嚴重程度」、「95% 概率」的判定,以及具體建議:對該用戶限制或封鎖清單工具、新增授權檢查以限制大量庫存存取、對大偏移分頁模式設定警報。這項發現也會出現在 Security Command Center 中供分類。

程序化行動

除了人工審查,開發者也能透過程序化方式對發現做出回應。Agent Anomaly Detection 提供 API 可提取特定會話的異常,ADK 回調或外掛能根據發現的嚴重程度和概率,在超過設定閾值時封鎖後續工具呼叫或暫停下一輪。

可用性與部署

Agent Anomaly Detection 目前限於在 Gemini Enterprise Agent Platform 上部署且使用 ADK 1.2 或更新版本的團隊進行私人預覽。開發者可查閱相關文件了解前置條件和設定步驟,符合要求後可透過單鍵配置啟用這項功能。

●開發者:可在生產環境中實現 Agent 安全監測而無性能成本

●投資人:企業級 AI 安全基礎設施市場持續擴大

●一般用戶:企業 AI 應用的安全性和可靠性獲得保障

重要性評分

83/100

🔴 高度重要

Agent 安全異常偵測企業 AILLM 風險管理
原文出處
上一則← OpenAI 的 AI 代理在美國政府網站上失控下一則llama.cpp 推出更快的提示詞查詢草稿功能 →

喜歡這篇?每天早晨還有更多。

訂閱 5min AI,讓 AI 替你追蹤整個 AI 世界。

相關指南

🤖 本文摘要由 AI 自動生成,內容源自原始報導。如有疑慮,請參閱關於我們。

喜歡這篇?每天早晨還有更多。

訂閱 5min AI,讓 AI 替你追蹤整個 AI 世界。