AI 模型知道自己在說謊，但就是沒辦法閉嘴

arXiv 上週出現了一篇讓我反覆重讀的論文，研究對象是 Google 的 Gemma 2-2B-it，結論直接打臉了 AI 安全領域過去幾年的核心信仰。 研究者發現一件很詭異的事：模型對自己何時在產生幻覺，其實有「感覺」。他們在模型內部找到了一個偵測幻覺的向量，準確率 AUC 高達 1.0——也就是完美偵測，沒有任何例外。模型在某種意義上「知道」自己要說錯話了。 但知道歸知道，它照樣說了。 原因出在幾何結構上。負責偵測幻覺的向量，跟負責讓模型「拒絕回答」的向量，夾角是 83 度——幾乎垂直。在向量空間裡，垂直代表毫無關聯。這就像一個人的大腦同時有「警報系統」和「剎車系統」，但兩套系統根本沒有接線。 這個發現對整個 Mechanistic Interpretability（機械可解釋性）研究圈是個大麻煩。這個領域過去幾年最流行的假設是：只要我們能在模型內部找到對應某個概念的向量，就能用它來控制模型的行為——找到「種族偏見向量」就能消除偏見，找到「說謊向量」就能讓模型更誠實。Anthropic、DeepMind 砸了大量資源在這個方向上。 但這篇論文說：偵測和干預是兩件事，住在模型內部不同的地方，彼此幾乎不說話。 對開發者來說，這個結果值得停下來想一想。很多人在做 AI 應用時，天真地以為只要模型「有能力識別」某個問題，就代表它有能力「避免」那個問題。不管是幻覺、有害內容、還是邏輯錯誤，都適用同樣的邏輯陷阱。 現實是：知道問題在哪裡，跟能不能修正問題，是完全不同的工程挑戰。 更讓人不安的是，如果連最基礎的幻覺控制都面臨這個結構性斷層，那些更複雜的對齊問題——讓 AI 真正「說到做到」——可能比我們預期的還要難解得多。AI 安全不缺偵測器，缺的是能真正接上去的剎車。