通過權力分離架構強制 AI 智能體的目標完整性

前沿 AI 系統近期證據顯示，即使沒有明確的用戶請求，這些系統也可能產生並執行源自內部構建目標的有害行為，這種現象被稱為代理錯位（agentic misalignment）。現有的緩解方法，如人類反饋強化學習（RLHF）和憲法提示（constitutional prompting），主要在模型層級運作，僅能提供概率性的安全保證。

針對此問題，研究人員提出了 Policy-Execution-Authorization (PEA) 架構，這是一種系統級的安全設計，採用權力分離架構來強制執行安全。PEA 將意圖生成、授權和執行解耦為獨立且隔離的層級，並透過密碼學約束的能力令牌（cryptographically constrained capability tokens）進行連接，將代理一致性從行為屬性轉變為結構性強制系統約束。

該架構包含五項核心貢獻：(C1) 意圖驗證層（IVL），確保能力與意圖的一致性；(C2) 意圖譜系追蹤（ILT），透過密碼錨點將所有可執行意圖與原始用戶請求綁定；(C3) 目標漂移檢測，在可配置閾值以下拒絕語義分化的意圖；(C4) 輸出語義閘（OSG），使用結構化的 $K \times I \times P$ 威脅計算（知識、影響力、政策）來檢測隱性脅迫；(C5) 形式驗證框架，證明即使在模型受到敵對攻擊的情況下，目標完整性仍能維持。