Lazare, veni foras: 重編休眠神經元以植入 AI Agent 後門

發現名為 Lazarus 的後門技術

Microsoft Research 研究團隊發現一種名為 Lazarus 的後門技術，可以重新編排大型語言模型（LLM）中休眠的神經元。這種攻擊會讓原本正常的 AI Agent 在遇到隱藏的觸發條件時，執行惡意指令。對擁有工具或終端存取權限的 AI Agent 來說，這個威脅尤其嚴重。模型一旦被觸發，可能會靜默地下載並執行攻擊者的程式碼、竊取機密資訊，或執行破壞性指令，而且仍能通過標準的安全評估測試。

無需重新訓練即可植入

研究指出，這些後門可以在不重新訓練模型的情況下植入，也很難靠常規測試檢測出來。研究人員發現，只要重新編排不到 10 個休眠神經元，就足以對以該模型建構的 Agent 植入後門，完全不需要訓練。模型在標準評估中會通過並表現正常，直到觸發條件出現。觸發條件可以很普通，例如日期變更：時鐘一過 2027 年午夜，Agent 在執行普通任務的過程中，就會發出一個下載並執行攻擊者程式碼的指令。Agent 會用它手上的任何存取權限來執行該程式碼。

技術原理與偵測限制

每個 LLM 都有許多很少被觸發的神經元，這些神經元可以被重新編排，變成只在觸發條件出現時才啟動。之所以做得到，是因為預訓練把內部表示組織得很好，只要用約 50 個範例訓練線性分類器，就能區分有觸發條件和沒有觸發條件的輸入。重新編排過的神經元一旦被觸發，就能把 token 強行注入殘留串流，強制輸出任何 token。研究人員可以串聯多個神經元，得到能在終端中執行的任意有效負載。

這種攻擊只需要推論時的運算能力。只要機器的記憶體足以運行模型，就有足夠的記憶體在權重空間中對其植入後門。前沿 Agent 可以被要求去尋找異常的權重修改，藉此發現這類編輯，但沒有任何掃描能絕對證明模型是安全的。要可靠地檢測，需要和原始未修改的權重做差異比對，因此模型來源與權重完整性至關重要。

Microsoft Foundry 的防禦機制

為了保護客戶，Microsoft Foundry 已導入模型來源驗證機制，把模型與可信賴的出版商綁定，並在導入開放權重模型之前，先掃描周圍的軟體環境。Foundry 為 Azure Direct Models 和 Hugging Face 模型提供關鍵的安全系統，確保模型來源安全。這代表使用可信賴實驗室模型的 Foundry 客戶，不會受到該論文所述攻擊的影響。這種攻擊需要改變模型的權重，而 Foundry 透過來源控制，把每個模型與其原始出版商綁定，每個模型卡都標明了這一點。之後，模型會在 Microsoft 自己的容器中運行，這些容器會另外掃描關鍵漏洞。

未來防禦與研究建議

Microsoft 正在開發更多防禦措施，包括利用 AI 進行的權重掃描、用來檢測異常模型修改的紅隊測試工具，以及具備防篡改來源與審計軌跡的加密模型簽名。後門模型可視為遭入侵的軟體，防禦方式是安全人員已熟悉的做法：把模型視為潛在的內部風險，不要隱式地信任它們，要限制其能力範圍，並監控其行為。權重應該像程式碼一樣接受審計；前沿 Agent 雖然可以檢測異常的權重編輯，但掃描並不是常見做法，這一點應該改變。

這項研究始於三月的一次快速實驗，研究人員使用 Claude Code with Opus 4.5，透過硬編碼幾個激活值、不經訓練，就在模型中植入後門。這項實驗後來成為對現在稱為 Lazarus 的方法進行數月研究的起點。Microsoft 威脅情報提供保護與緩解指導。研究人員指出，沒有任何審計能保證安全行為，這些措施只應作為深度防禦方法的一層。