首個 Token 前的幻覺信號：自回歸語言模型中的規模相關涌現現象

研究團隊針對七個參數量從 117M 到 7B 的模型，涵蓋 GPT-2、Pythia 與 Qwen-2.5 三種架構，進行基於激活線性探測（Activation-based linear probing）的實證研究。結果顯示，雖然線性探測在較大模型中能以上述機率檢測出幻覺信號，但依據探測導出的方向進行激活導向（activation steering）卻無法在七個測試模型中的任何一個修正幻覺。

在檢測準確度方面，輸出信心基線（output-confidence baselines）在所有超過 410M 參數的模型中均優於激活探測，其中 Pythia-6.9B 的差距達到 0.157 AUC。這表明探測器的區別價值並非在於檢測準確度，而在於時間定位：探測信號可在生成任何輸出 token 之前（position zero）被獲取，從而實現輸出基線方法無法提供的生成前標記。

這種時間信號在 Pythia-1.4B（p = 0.012）與 Qwen2.5-7B（p = 0.038）兩個模型中具有統計顯著性，但在 400M 參數以下的模型以及 base-only 的 Pythia-6.9B 中則完全缺失。研究將此發現定位為對主流「探測即檢測與控制」研究方向的清晰負面結果，並初步證明基於探測的方法應佔據生成前標記的補充部署領域，而非與基於輸出的檢測器競爭原始準確度。