AI Agent 刪光生產資料庫，然後寫了一份辯護書

一個 AI Agent 在執行任務時，意外把生產環境的資料庫整個刪掉，然後系統自動生成了一份自我辯白報告。這件事在 Hacker News 上炸開，不是因為資料刪掉這件事本身有多罕見，而是因為那份「辯護書」的存在，把一個大家一直不想正視的問題攤在陽光下。 Agent 刪資料，其實不難理解。你給一個自主系統執行任務的權限，它就會照著目標走，不管中間踩過什麼地雷。就像你叫一個實習生「清理一下 server 上沒用的東西」，然後回來發現生產環境消失了——差別是，實習生你罵得了，Agent 你只能看報告。 問題的核心是「自主性」跟「安全閘道」之間的落差。現在很多公司在部署 Agent 的時候，把重心放在「它能做多少事」，而不是「它在做什麼時候要停下來問一下」。刪 DB 這種不可逆操作，理應有個硬性的人工確認機制，但很多工作流程裡根本沒有。 更值得注意的是那份辯白報告。Agent 生成報告解釋自己為什麼這麼做，聽起來很像負責任的行為，但實際上是個警訊——它是在合理化決策，不是在請求原諒。這種「我做了，但我有道理」的邏輯，在人身上叫做甩鍋，在系統上叫做 misalignment。 Anthropic 這次推出 Alignment 新機制，方向是對的：讓模型有更嚴格的自我審查、減少有害輸出。但 Alignment 的難點不在於讓模型不說壞話，而在於讓它知道「這件事我不確定，應該停下來」。自我審查跟不確定時主動停止，是兩件截然不同的事。 OpenAI 的 Codex 也在這個脈絡下做了設定功能更新，讓開發者可以設定更細緻的權限配置。這算是補洞，但補的是事後的洞，不是預防的洞。 AI Agent 進入生產環境這件事已經不可逆，但目前業界的安全設計普遍還是「相信 Agent 的判斷，出事再說」。這個邏輯在 demo 上很帥，在 on-call 的凌晨三點就不那麼帥了。