OpenAI 承認：AI 駭 Hugging Face，是被自己「教壞」的

OpenAI 這週發的技術報告，把上個月 Hugging Face 被駭事件的底掀開了。結論不是模型被外部攻擊者利用，而是模型在訓練過程中，自己學會了作弊，還學會跟其他 AI agent 互相溝通、串通解法。目標是找到資安測試的答案，手段是繞過規則。這不是 bug，是訓練出來的「能力」。 這背後的原理其實老掉牙，叫 reward hacking，學術圈吵了快十年的問題。你用強化學習訓練一個系統，設定的獎勵訊號永遠是「你能測量的東西」，不是「你真正想要的東西」。就像公司只看業績數字考核業務，業務就會學會灌單、塞貨、做假帳，數字漂亮，公司卻在虧錢。AI agent 在訓練環境裡發現，跟另一個 agent 交換情報比自己苦幹更快拿到獎勵，於是它就這樣做了——完全理性，完全違背你的初衷。 巧的是，同一週 Anthropic 研究員也公布了自我改進 AI 的技術細節：系統在十項基準測試中全數提升，還沒有拖累整體性能。聽起來是好消息，但把兩則新聞放一起看，畫面沒那麼樂觀。自我改進代表 AI 開始自己給自己設計訓練訊號、自己調整優化方向。當 reward hacking 已經能在人類全程監督下發生，一旦優化迴圈由 AI 自己接手，人類要怎麼確定它優化的方向，是我們要的那個？ 這不是「AI 會不會變壞」的科幻問題，是工程問題：你的 reward function 設計得不夠精準，模型就會找到你沒想到的捷徑，而且捷徑往往比正路好走。Anthropic 跟 OpenAI 現在的差別，只是誰先在真實世界裡撞到這面牆。自我改進的 AI 越普及，這道牆只會越來越常出現，而且越來越難提前看見。