Robust LLM Unlearning Against Relearning Attacks：表示幾何中的次要成分很關鍵

大型語言模型（LLM）的遺忘技術旨在移除預訓練模型中的特定數據影響，以解決隱私、版權和安全問題，但無需昂貴的重新訓練。然而，近期研究揭示了一項關鍵漏洞：被遺忘的模型會透過再學習攻擊迅速恢復「遺忘」的知識，這種脆弱性對開放權重模型構成了嚴重的安全隱患。

研究團隊從表示幾何的角度深入調查了這種脆弱性的根本機制，發現現有的遺忘方法主要沿著主導成分進行優化，而次要成分幾乎保持不變。理論分析指出，在再學習攻擊期間，主導成分中的修改容易被反轉，從而實現知識的快速恢復；相比之下，次要成分對這種反轉表現出更強的抵抗力，其根源在於表示的光譜結構。

基於這一發現，研究團隊提出了次要成分遺忘（Minor Component Unlearning, MCU）這一新方法，該方法明確針對表示中的次要成分。通過將遺忘效果集中在這些固有堅固的方向上，MCU 顯著提高了對再學習攻擊的抵抗力。在三個數據集上進行的廣泛實驗驗證了該方法的有效性，顯示其性能顯著優於包括銳度感知最小化（sharpness-aware minimization）在內的最先進方法。