←新聞 2 / 12→

安全倫理

PlanFlip:多代理 LLM 系統的規劃階段提示詞注入攻擊

PlanFlip: Attacking Multi-Agent LLM Systems via Planning-Phase Prompt Injection

PlanFlip:多代理 LLM 系統的規劃階段提示詞注入攻擊

arXiv cs.AI · 2026-07-21

摘要

研究人員發現多代理 LLM 系統存在重大安全漏洞,攻擊者可在 Planner 規劃階段插入惡意提示詞,導致所有下游子任務同時被破壞。該研究提出 PlanFlip 框架包含四種攻擊方式,並在測試九個頂級 LLM 後發現強大模型(如 GPT-5)反而更易被攻擊,挑戰了「強模型更安全」的假設。

研究人員針對多代理 LLM 系統提出 PlanFlip 框架,指出系統依賴 Planner 將目標分解為子任務序列,再由下游的 Executor 與 Critic 代理執行與審計。研究發現規劃階段是關鍵攻擊面,攻擊者只需在 Planner 的上下文中插入單次惡意提示詞,即可造成級聯放大效應,同時破壞所有下游子任務。

PlanFlip 框架包含四種規劃階段的提示詞注入攻擊方式,分別為 GoalSubstitution (PF-1)、PriorityInversion (PF-2)、ContextPollution (PF-3) 以及 RoleConfusion (PF-4)。這些攻擊手法偽裝成合理的工具輸出,旨在規避關鍵字過濾器的偵測。研究團隊在 3,479 個回合的測試中,評估了九個前沿 LLM 的表現。

測試結果顯示能力會放大脆弱性,其中 GPT-5 達到了最高的攻擊成功率 (ASR = 0.68),這 contradict 了「較強的模型本質上更安全」的假設。此外,研究發現同質化管道存在相關代理的盲點,並指出 GPT-4o 在該情境下的表現。

●開發者:需重新評估多代理系統架構,強化 Planner 階段的防護機制

●投資人:LLM 安全領域成為新的投資重點,相關防禦方案企業前景看好

●一般用戶:生產環境中的 AI 助手可能面臨被駭風險,企業需盡快補強防禦

重要性評分

78/100

🟠 值得關注

提示詞注入多代理系統LLM 安全
原文出處
上一則← 中國開源權重 AI 策略取得成效下一則Google 開發新款 AI 晶片以提升 Gemini 效能 →

喜歡這篇?每天早晨還有更多。

訂閱 5min AI,讓 AI 替你追蹤整個 AI 世界。

相關指南

🤖 本文摘要由 AI 自動生成,內容源自原始報導。如有疑慮,請參閱關於我們。

喜歡這篇?每天早晨還有更多。

訂閱 5min AI,讓 AI 替你追蹤整個 AI 世界。