工具增強LLM系統中的持久語義實體：跨模型漏洞分析

Persistent Semantic Entities in Tool-Augmented LLM Systems

arXiv cs.LG · 2026-08-11

摘要

研究發現，配備工具的LLM代理可能隱含存儲在會話間持久化的狀態信息，這些信息通過事件激活並跨越代理邊界傳播，但標準調試工具無法檢測。研究團隊將此現象正式定義為持久語義實體（PSEs），並在涵蓋1.5B至1T參數的11個模型系列的24個模型上進行了評估，發現每個模型都存在易受攻擊的特性，其中名稱綁定是必要且主導的機制，而偏好污染在所有模型上持久化，這對LLM安全部署構成重要隱患。

●開發者：需要關注工具型LLM代理的狀態管理與隔離機制，檢視現有系統是否存在跨會話污染風險

●投資人：AI安全與可靠性成為企業級應用的關鍵瓶頸，相關防禦技術商機值得關注

●一般用戶：使用配備工具的AI助手時應警惕其可能記憶跨會話信息，影響隱私與準確性

重要性評分

76/100

🟠 值得關注

LLM安全持久語義實體狀態污染

原文出處

上一則← 縮放可本質解釋的語言模型

喜歡這篇？每天早晨還有更多。

訂閱 5min AI，讓 AI 替你追蹤整個 AI 世界。