歸因盲點：檢測語言模型是否依賴記憶而非檢索上下文

檢索增強生成（RAG）系統承諾將語言模型的輸出基於外部證據，但該領域目前缺乏可靠方法來驗證檢索到的上下文是否真正主導了生成過程，這成為高風險部署的必要前提。當檢索到的文檔與模型的預訓練數據重疊時，標準假設——即與上下文一致的輸出意味著由上下文主導——會失效。在這種情況下，模型可以完全從參數化記憶中生成看似忠實的文本，而無論是否使用檢索內容，其最終輸出都無法區分。研究團隊將這種失敗命名為「歸因盲點」（attribution blind spot）。

為解決此問題，研究團隊提出了計算現實監控（Computational Reality Monitoring，CRM）方法。CRM 借鑒認知科學中的現實監控框架，通過比較有無上下文時的內部表徵，來檢測成員條件表徵分歧。這種分歧在輸出層級的監控系統中系統性地被遺漏，但 CRM 能揭示其存在。CRM 並不認證單個生成使用了哪個來源，而是檢測預訓練接觸是否留下了可測量的內部軌跡特徵，從而確立源頭歸因的必要基礎。

研究涵蓋了跨越三個家族的多個模型變體，共計九種模型。結果顯示，這種表徵分歧集中在特定架構的層級模式中，並通過區塊級噪聲干預獲得一致性支持。該現象在任務和數據集之間具有通用性，但在領域混淆的基準測試中會消失。歸因盲點是可測量的且部分可解決，內部表徵攜帶了輸出層級無法察覺的診斷信號，這為建立內部意識能主導外部行為的系統奠定了基礎。