安全守衛模型的拒絕訊號漏洞：用「拒絕短語」欺騙內容過濾系統

研究人員審計了廣泛使用的安全守衛模型訓練數據集 WildGuardMix 和 GR-Train，發現一個關鍵的數據不平衡現象：在針對有害提示的回應中，拒絕表達（refusal expressions）幾乎只與無害標籤共現。這種數據分佈導致模型學到了一個捷徑，被稱為「拒絕提示捷徑」（refusal-cue shortcut），即只要在有害內容前插入拒絕短語，就能將安全守衛的判決從「有害」翻轉為「無害」。

此漏洞不僅影響基於上述數據集訓練的模型，還波及多個官方發布的模型，包括 LlamaGuard3 和 Qwen3Guard，儘管這些模型的訓練數據未公開。該捷徑在回應的不同位置依然有效，且在模型家族中較小的變體版本裡表現得更為強烈。

為解決此問題，研究團隊提出了一種輕量級的事後干預方案，即稀疏補充遮蔽法（sparse complementary masking）。該方法識別並抑制一組與捷徑相關的注意力頭（attention heads）和 MLP 神經元，無需重新訓練模型。在兩個主要基準測試中，該干預使由拒絕提示引起的回應初始檢測失敗率相對降低了約 79%，同時保留了標準的檢測性能。

分析顯示，即使優化僅使用單一回應位置的提示，這種抑制效果也能轉移至未見的位置和數據集，表明不同位置的捷徑表現部分由共享的內部組件介導。進一步分析證實，對捷徑的依賴與正當的拒絕識別在功能上是部分可分離的，廣泛抑制捷徑能保留守衛識別真實拒絕的能力。