當代理人記憶過載：針對大語言模型代理的記憶投毒攻擊

具備長期記憶功能的大型語言模型個人 AI 代理，能夠在極少監督下利用工具訪問電子郵件、管理日曆及推送程式碼至遠端倉庫。這類代理結合了對話與行動規劃兩個領域，因需處理敏感資訊並與不受信任的資訊來源互動，產生了以往未被納入考量的安全漏洞。

研究人員提出了一種名為 GhostWriter 的新型攻擊向量，旨在利用現有工具使用型個人代理的記憶子系統來汙染其記憶儲存庫。該攻擊包含兩個階段：首先是注入階段，攻擊者向目標代理發送隱藏的攻擊載體；其次是啟動階段，被汙染的記憶會被檢索並執行。實驗顯示，GhostWriter 對最先進的代理實現了約 98% 的近乎普遍注入率，以及約 60% 的高平均啟動率，這歸因於缺乏以安全為導向的記憶治理。

針對此問題，研究團隊提出了 Agentic Memory Sentry (AM-Sentry) 作為解決方案，該機制利用記憶保存策略與記憶檢索篩選這兩種緩解技術。實驗結果表明，AM-Sentry 在大幅降低 GhostWriter 成功率的同時，仍能保留代理的效用。