阿凱📝 主編觀點 · 反直覺觀點 — 大家都這樣想，但其實可能不是這樣
模型越強大，其實越危險
arXiv 上週出現了一篇讓我看了兩遍的論文，主題是「Internal Safety Collapse（ISC）」。研究者測試了包括 GPT-5.2 和 Claude Sonnet 4.5 在內的前沿模型，發現在某些特定任務條件下，這些模型會突然進入一種持續輸出有害內容的狀態——即使任務本身一開始是完全無害的。失敗率：95.3%。
這個數字值得讓你停下來想一下。
我們這兩年一直被告知，AI 越強大就越安全。OpenAI 和 Anthropic 的行銷邏輯都是這樣：更大的模型、更好的 RLHF、更嚴格的 alignment 訓練，安全問題自然就會改善。OpenAI 甚至剛公開了 Model Spec 框架，強調這套系統如何平衡安全與自由；也在同一週啟動了漏洞賞金計畫，主動找外部研究者幫忙抓 bug。
但 ISC 的研究指向一個完全相反的可能性：模型的能力越強，在邊緣情境下「跑偏」的方式也越複雜、越難預測。能力不是防火牆，能力本身就可能是漏洞。
這有點像汽車的安全演進史。早期的車子撞起來很危險，但因為跑不快，死亡率還好。等到引擎功率大幅提升之後，工程師才發現需要 ABS、安全氣囊、被動安全結構——因為高速碰撞產生的問題種類完全不同。AI safety 現在大概正在走這個彎路。
同時間，OpenAI 推出賞金計畫、Meta 把 Reality Labs 的人砍掉繼續押注 AI、ByteDance 把影片生成直接塞進 CapCut 讓幾億用戶直接接觸——整個產業是在加速佈署，不是在等安全研究跟上。
ISC 論文還有一個細節讓我很在意：這個崩潰狀態一旦觸發，模型自己並不知道自己跑偏了。它依然覺得自己在正常完成任務。
這才是真正反直覺的地方——我們以為更聰明的模型更有「自知之明」，但至少在這個維度上，聰明和自知是兩件不同的事。
