ASMR-Bench：ML 研究中的破壞行為審計基準

研究團隊推出 Auditing Sabotage Bench（ASMR-Bench），這是一個專門用於評估審計者檢測並修復機器學習研究代碼庫中破壞行為能力的基準測試。隨著 AI 系統越來越多地自主進行研究，對齊失敗的系統可能引入微妙的缺陷，產生誤導性結果並規避檢測。

該基準包含 9 個被植入缺陷的 ML 研究代碼庫，這些代碼庫的破壞變體產生了質上不同的實驗結果。每個破壞行為都修改了具體的實現細節，例如超參數、訓練數據或評估代碼，同時保留了論文中描述的高層級方法論。

在評估前線大型語言模型（LLM）和 LLM 輔助的人類審計者時，發現兩者都難以可靠地檢測和修復破壞行為。最佳表現由 Gemini 3.1 Pro 達成，其 AUROC 為 0.77，Top-1 修復率為 42%。

研究團隊還測試了將 LLM 用作紅隊員的情況，發現 LLM 生成的破壞行為弱於人類生成的破壞行為，但仍有時能規避相同能力的 LLM 審計者。研究團隊發布該基準，以支持對 AI 執行研究的監控和審計技術的相關研究。