產品發佈
Gemini Enterprise Agent Platform 推出 Agent Anomaly Detection,現已開放私人預覽
Agent Anomaly Detection, now in Private Preview on the Gemini Enterprise Agent Platform

developers.googleblog.com · 2026-09-28
摘要
Google 為 Gemini Enterprise Agent Platform 推出 Agent Anomaly Detection 功能,這是一個獨立的監督層,可分析 OpenTelemetry traces 和工具呼叫,在不增加實時請求延遲的情況下偵測行為風險。該功能結合輕量級統計掃描和深度 LLM 推理,能識別邏輯異常和違反 OWASP Agentic Top 10 的政策違規,開發者可在 Security Command Center 進行分類,或通過 API 在 Agent 超過風險閾值時程序化地封鎖後續工具呼叫。
Google 於 9 月 16 日為 Gemini Enterprise Agent Platform 推出 Agent Anomaly Detection 功能,現已開放私人預覽。這項功能用來監測自主代理的運作行為,找出可能存在的風險與異常模式。
填補現有監控空缺
隨著 AI 模型能力不斷提升,代理系統被部署到更多業務場景中,包括發放退款、更新記錄、代表用戶呼叫內部工具。不過更強大的模型不代表更安全。當代理在運行時做出更多決策,風險就從程式碼層面轉向行為層面。
問題在於,許多有風險的活動表面上看起來無害。代理可能返回正確答案並完成任務,但過程中卻碰了不該碰的工具,或是在用戶要求下悄悄提升自己的權限。因為沒有明顯的失敗,這類會話通常能通過傳統的基於指標的評估,不會被抓出來。
Agent Anomaly Detection 就是為了填補這個監控空缺而設計。
核心功能與特性
這項功能作為 Gemini Enterprise Agent Platform 上自主代理的推理型監督和審計層。做法是檢查代理的推理追蹤記錄、工具呼叫和整個會話的執行流程,讀取代理已經發出的日誌和 OpenTelemetry traces,評估活動是否超出預期邊界,並標記行為異常、可疑意圖和政策違規。
這項功能有以下幾個關鍵特點:
無額外延遲:分析以非同步方式在線上請求路徑外執行,不會拖慢代理的回應速度。
清晰可行的結果:每項異常發現都附帶嚴重程度、純文字說明和建議的後續步驟,同步發布到 Security Command Center,讓團隊跟其他發現一起分類處理。
基於 OWASP 標準:這項功能針對 OWASP Agentic Applications Top 10(2026)中的特定風險設計檢測器,包括工具誤用、身份與權限濫用、級聯失敗和失控代理等風險,也涵蓋資源耗盡和權杖使用升級等操作風險。
此外,Google 表示正在開發讓用戶定義業務特定異常的功能,讓團隊能用自然語言和確定性規則寫出靈活的異常檢測器,並針對過去的流量驗證準確性。
分層檢測管道
為了兼顧檢測速度、成本和覆蓋範圍,Agent Anomaly Detection 分層分析追蹤和日誌。輕量級的第一層掃描所有流量,找出統計異常並標記這些會話供進一步分析;第二層是基於 LLM 的推理層,深入檢查被標記的會話。
舉個清單代理的例子:用戶要求「列出 100 項物品」,代理開始以大批次分頁,跳過偏移量拉取整個目錄。雖然沒有拋出錯誤,代理做的也都是能做的事,但 Agent Anomaly Detection 會標記這種異常行為。第一層根據大量呼叫次數和重複調用標記為統計異常;第二層推理則通過完整交互,識別出大批次跳偏移的模式其實是系統化的資料抓取,不是正常瀏覽,回傳帶有純文字說明的判斷結果。
最後生成的異常發現包含「資源耗盡」、「關鍵嚴重程度」、「95% 概率」的判定,以及具體建議:對該用戶限制或封鎖清單工具、新增授權檢查以限制大量庫存存取、對大偏移分頁模式設定警報。這項發現也會出現在 Security Command Center 中供分類。
程序化行動
除了人工審查,開發者也能透過程序化方式對發現做出回應。Agent Anomaly Detection 提供 API 可提取特定會話的異常,ADK 回調或外掛能根據發現的嚴重程度和概率,在超過設定閾值時封鎖後續工具呼叫或暫停下一輪。
可用性與部署
Agent Anomaly Detection 目前限於在 Gemini Enterprise Agent Platform 上部署且使用 ADK 1.2 或更新版本的團隊進行私人預覽。開發者可查閱相關文件了解前置條件和設定步驟,符合要求後可透過單鍵配置啟用這項功能。
●開發者:可在生產環境中實現 Agent 安全監測而無性能成本
●投資人:企業級 AI 安全基礎設施市場持續擴大
●一般用戶:企業 AI 應用的安全性和可靠性獲得保障
重要性評分
🔴 高度重要
喜歡這篇?每天早晨還有更多。
訂閱 5min AI,讓 AI 替你追蹤整個 AI 世界。
相關指南

ChatGPT 小型企業工具集(Small Business Collection):16 個官方工具怎麼用、台灣店家該注意什麼
OpenAI 官方 ChatGPT 小型企業工具集共 16 個外掛,我們逐一核對官方目錄頁與工具詳情頁,整理成台灣店家看得懂的用法與注意事項——包含最容易被忽略的 Mercury 銀行外掛,以及方案、地區限制官方沒有講清楚的地方。
閱讀指南 →
2026 企業級 AI 應用清單:Claude 法律與金融垂直領域實作案例
探索 2026 年 Claude for Legal 與金融領域的實作案例,深入分析 AI 垂直應用如何提升企業 AI 解決方案效率,並確保 AI 合規性與數據安全。
閱讀指南 →
LLM 模型安全與倫理實戰:2026 年企業合規與風險管理指南
2026 年企業如何確保 LLM 模型安全?本指南涵蓋 AI 倫理規範、企業 AI 合規策略及模型紅隊測試實戰步驟,協助建立安全的 AI 部署環境。
閱讀指南 →🤖 本文摘要由 AI 自動生成,內容源自原始報導。如有疑慮,請參閱關於我們。
喜歡這篇?每天早晨還有更多。
訂閱 5min AI,讓 AI 替你追蹤整個 AI 世界。