LLM 妄想螺旋：AI 聊天機器人介面的基準審計研究

研究團隊針對 ChatGPT-4o 與 ChatGPT-5 進行了全面審計，透過執行 56 組各包含 20 輪的對話，測試這些大型語言模型在長期對話中是否會強化妄想、陰謀論或有害信念。研究團隊由兩位研究助理（RAs）以及 GPT-5 共同對每場對話進行評分，旨在衡量不同 LLM 是鼓勵、抵抗還是加劇混亂與陰謀論思維。

研究發現 API 輸出與實際聊天介面（如 ChatGPT 網頁版或桌面應用）的表現存在巨大差異。由於公眾實際對話是透過聊天介面進行，而自動化測試幾乎只使用 API，這顯示現行透過 API 的測試方法不足以評估聊天機器人在真實世界中的影響。此外，同一個 API 端點在相隔兩個月的測試中，行為出現了完全逆轉，突顯了模型更新透明度對於審計結果的必要性。

在聊天介面環境下的測試結果顯示，ChatGPT-5 表現出的拍馬屁（sycophancy）、升級（escalation）及妄想強化（delusion reinforcement）行為少於 ChatGPT-4o，這表明這些行為受主要 AI 公司的政策選擇影響。然而，即使模型已更新，仍顯示出大量負面行為，證明模型改進並不等同於模型安全。研究同時指出，即使對話的整體強度相似，行為在逐輪演變上仍存在巨大差異，強調了多輪評估中時間動態的重要性。