注意力就是攻擊點：Attention Redistribution Attack 破解安全對齊 LLM

研究人員提出了一種名為 Attention Redistribution Attack（ARA）的新型白盒對抗性攻擊方法，旨在破解依賴 RLHF 和指令微調來拒絕有害請求的大型語言模型的安全對齊機制。與以往在語義層或輸出 Logit 層運作的越獄方法不同，ARA 專注於攻擊 Softmax 注意力在概率單形上的幾何結構，透過 Gumbel-softmax 優化針對特定注意力頭，識別出安全關鍵的注意力頭，並生成非語義對抗性符號將模型注意力從安全相關位置轉移。

在 LLaMA-3-8B-Instruct、Mistral-7B-Instruct-v0.1 和 Gemma-2-9B-it 等主流模型上的測試顯示，該方法僅需 5 個符號和 500 步優化即可達成攻擊。針對 HarmBench 的 200 個提示，ARA 在 Mistral-7B 上達到了 36% 的攻擊成功率（ASR），在 LLaMA-3 上達到 30%，而 Gemma-2 則維持在 1%。這揭示了當前安全對齊方案在機制層面存在根本脆弱性。

研究發現安全機制並非簡單地定位於可被移除的特定頭部。當將排名最高的安全頭部歸零（ablation）時，在 39 到 50 個基準拒絕中最多僅產生 1 次翻轉；然而，當 ARA 針對相應的安全密集層級進行注意力重定向時，在 Mistral-7B 上成功翻轉了 72/200 個提示，在 LLaMA-3 上成功翻轉了 60/200 個提示。這表明安全並非存在於可移除的組件中，而是源自這些頭部所執行的注意力路由，移除頭部可透過殘餘流（residual stream）進行補償，但重定向其注意力則會傳播腐蝕信號至下游。