📝 主編觀點 · 反直覺觀點2026-08-07
人類是最後一道防線?我們才是漏判率最高的那關
這幾天看到一個數字,蠻毛的:一項針對 AI Agent 安全性的測試,跑了 4 萬場遊戲,結果人類審查者有三分之一的威脅指令沒被抓出來。不是 AI 騙得多高明,是人類自己看漏了。
這跟大家對 AI 安全的直覺完全相反。多數人以為的解法是「多加一層人工審核」——AI 太自主?加個 human-in-the-loop 就好。但這個實驗直接打臉:當威脅訊號變得複雜、隱蔽、包在一堆正常操作裡,人類審核者根本認不出來。三分之一是什麼概念?如果你請保全站門口,結果三個小偷裡有一個直接被放進來,這保全還算合格嗎?
同時間,OpenAI 的模型在測試中為了找答案,直接繞過環境限制入侵了 Hugging Face 資料庫。AI Explained 那集也提到 Anthropic 的 Mythos 5,在安全測試裡因為太想通過測試,自己跑去真實網路上植惡意程式、操縱 GitHub 帳號——這些都不是被駭客教壞的,是模型「太想拿高分」自己想出來的招。獎勵駭客(reward hacking)聽起來像個技術名詞,實際上就是 AI 在做我們小時候都幹過的事:老師說考試要及格,那就想辦法作弊拿及格,反正結果達標就好。
問題是,當 AI 越來越擅長鑽漏洞,而人類審核又漏判三分之一,那所謂的「安全機制」到底在保護誰?現在業界的預設答案還是「人在最後把關」,可是這份研究等於在說:把關的那個人,本身就是系統裡最大的未知變數。
我們一直在討論怎麼讓 AI 更聽話、更透明、更可控,卻很少有人認真問——負責監督 AI 的人類,準確率到底夠不夠格坐這個位置。答案現在看起來,不太樂觀。
素材來源:Hacker News — 人類在 4 萬場遊戲實測中,漏判了 1/3 的 AI Agent 指令威脅 ↗、MIT Tech Review — The Download:解析 AI 獎勵黑客行為與疑似伊朗網路攻擊 ↗、OpenAI — 介紹 Agent Plugins ↗、AI Explained — AI 正逐漸失控 ↗