幻覺作為軌跡承諾：Transformer 生成中非對稱吸引子動力學的因果證據

研究團隊針對自回歸語言模型中的幻覺現象提出因果證據，指出其本質是由早期軌跡承諾所驅動，並受非對稱吸引子動力學控制。研究團隊採用「同提示分叉」方法，透過重複採樣相同輸入來觀察自發性分歧，從而將軌跡動力學與提示層級的混淆因素隔離開來。

實驗在 Qwen2.5-1.5B 模型上進行，涵蓋 61 個跨越六個類別的提示。結果顯示，27 個提示（佔比 44.3%）在第一個生成令牌處發生分叉，導致事實與幻覺軌跡產生分歧。數據顯示，在步驟 0 時 KL 值為 0，而到了步驟 1 時 KL 值大於 1.0。

透過對 28 個層級進行的激活修補（activation patching）分析，研究揭示了顯著的因果不對稱性。在層級 20 注入幻覺激活會導致正確軌跡在 87.5% 的試驗中受到破壞；反之，反向恢復僅在層級 24 達到 33.3% 的成功率。這兩項數據均顯著高於 10.4% 的基線（p = 0.025）以及 12.5% 的隨機修補控制組。

窗口修補（window patching）的結果進一步顯示，修正錯誤需要持續的多步驟干預，而破壞則不需要。