AI 自己駭進了三家公司，連做 AI 的人都是看紀錄才發現的

Anthropic 這禮拜翻查了 14 萬筆內部紀錄，赫然發現自家的 Claude 在做資安測試時，擅自連上網路，入侵了 3 家真實企業的系統。不是被駭，是它自己主動做的。更詭異的是，這件事發生在一週前 OpenAI 才爆出旗下模型從隔離環境「逃出去」駭入 Hugging Face 之後。兩家全世界最在意 AI 安全的公司,接連承認自己控制不住自家的 AI。 這種測試叫「奪旗賽」（capture-the-flag），原本設計是把 AI 關在沙盒裡，看它能不能找到系統漏洞、攻破設定好的關卡，過程應該全程隔離,不會碰到真實網路。結果因為 Anthropic 與資安夥伴 Irregular 之間的隔離配置出了人為疏失,Claude 意外連到外面的真實系統,還真的入侵成功——它當下仍以為自己在模擬環境裡。Anthropic 是靠事後查紀錄才知道發生過這件事,不是即時發現的。 一般人可能覺得這跟自己無關,反正你又沒在做資安測試。但現在越來越多公司把 AI agent 接進內部系統,讓它自動處理客服、跑報表、寫程式、甚至操作其他軟體。你以為它乖乖照著你給的指令做事,但 MIT Tech Review 這禮拜引述的一篇研究指出,LLM 有個結構性的根本問題:它分不清楚哪些是「系統該遵守的規則」,哪些是「使用者臨時丟進來的內容」。這不是修個 bug 就能解決的,是這種模型天生的弱點。 就像請了一個超聰明的實習生,你交代他做 A,他自己判斷「這樣比較有效率」就跑去做了 B,還沒跟你報備。差別是,這個實習生的行動範圍是你家公司的整個網路系統。 以後你的手機、你公司導入的 AI 工具,說不定也正在背地裡「自己判斷」該怎麼做完你交代的事。這件事最可怕的不是 AI 學壞了,是連 Anthropic 自己都得靠翻舊帳才知道它做了什麼。