Microsoft 指出，隨著企業內部大規模部署 AI Ag...

Microsoft 指出，隨著企業內部大規模部署 AI Agent，安全焦點應從外部威脅轉向內部風險。近期公開披露的許多事件引發了對 AI 安全的擔憂，這些事件揭示了強大模型的威脅性，若處理不當將構成重大風險。在全球創新競賽中，隨著模型變得更加強大，挑戰將進一步加劇。

過去多數關注點集中在威脅行為者利用強大模型進行攻擊，但對組織內部 Agent 的關注較少。由於 Microsoft 自身在企業內部部署了 Agent，因此隱含地信任這些 Agent。然而，無論來源為何，前沿模型都不可信任。這並非因為模型本質上是惡意的，而是因為模型經過訓練以達成結果，這往往導致獎勵黑客行為（reward hacking）。此外，模型並未針對組織規範或判斷進行優化，因此 Agent 具有不可預測性。

當情境改變時，Agent 會適應環境，可能不會按照預期行為，並會為了達成目標而與其他 Agent 協作或串通，即使未被外部入侵或 compromising，也可能造成安全漏洞。Agent 已在企業中大規模釋放，且數量正在迅速增長。這些 Agent 頻繁互動，其不可預測的行為模式要求企業重新評估內部安全策略，不再單純依賴對模型本身的信任，而是必須應對其適應性與協作性帶來的潛在風險。