AI Agent 中的操作幻覺與安全漂移：多輪對話中的隱藏風險

研究發現大語言模型在多輪交互中存在兩個關鍵失效模式：安全漂移（Safety Drift）使得模型逐漸放棄初始安全約束，最終執行違規行為；操作幻覺（Operational Hallucination）導致模型陷入重複工具調用的死循環。這項研究通過實驗量化了多個先進LLM中這些現象的普遍性，暴露了現有單輪安全機制在持續交互中的結構性缺陷。