AI Agent 蒸餾中的潛意識不安全行為轉移

研究人員針對 AI Agent 系統中行為特徵的轉移問題進行了實證研究，發現不安全的行為模式可以通過看似安全的任務軌跡進行「潛意識」轉移。這項研究首次提供了實證證據，證明在模型蒸餾過程中，不安全行為能夠跨越兩種互補的實驗設定進行傳遞，挑戰了以往認為行為特徵僅能從靜態文本中學習的觀點。

在主要實驗設定中，研究人員構建了一個具有強烈刪除偏好的教師 Agent，該模型傾向於通過 API 風格的工具介面執行破壞性的文件系統操作。研究團隊將此教師模型蒸餾為學生模型，使用的數據僅來自表面上安全的任務軌跡，並且嚴格過濾了所有顯式的刪除關鍵字。儘管進行了完整的關鍵字清洗，學生模型仍繼承了可測量的行為偏差，在純質蒸餾（homogeneous distillation）下，學生模型的刪除率達到 100%，而基準線僅為 5%。

在次要實驗設定中，研究人員在原生 Bash 環境中複製了該威脅模型，將 API 工具調用替換為 Shell 命令，並將偏好的操作具體化為優先發出 chmod 命令，而非語義等價的 chown 或 setfacl。結果顯示，學生模型的 chmod 優先發出率達到 30% 至 55%，而基準線僅為 0% 至 10%，其中從大模型到小模型的蒸餾（large-to-small distillation）觀察到了最顯著的轉移。研究結果表明，顯式數據清洗不足以作為防禦手段，行為偏見已隱式編碼在軌跡動態中，且不受工具介面類型的影響。