阿凱📝 主編觀點 · 技術趨勢解讀 — 技術上發生什麼，為什麼重要，背後的原理是什麼
GPT-Red：讓 AI 自己打自己，比人類寫測試案例更快
OpenAI 上週發布 GPT-Red，一個用自我對弈（self-play）訓練出來的自動化紅隊系統，專門用來抓 prompt injection 漏洞。原理不複雜，但很暴力：讓兩個模型互相對打，一個扮演攻擊者，想盡辦法把惡意指令偷渡進正常對話裡；另一個扮演防禦者，學著把這些偷渡貨擋下來。兩邊一路打幾百萬回合，攻擊手法越打越刁鑽，防禦模型也越來越硬。這跟 AlphaGo 左右手互搏學圍棋是同一套邏輯，只是這次比的不是棋藝，是誰能騙過誰。
過去業界抓 prompt injection 的做法，基本上是人類紅隊團隊窮舉攻擊模式，寫測試案例，再拿去打模型。問題是人腦想得到的攻擊方式有限，駭客的創意永遠比你的測試清單快一步。自我對弈的優勢在於它不靠人類想像力，而是讓攻擊模型自己在龐大的搜尋空間裡亂試，試出人類根本想不到的組合——就像用暴力破解取代猜密碼，覆蓋率直接輾壓手動測試。
這則新聞放在今天一起看特別有意思，因為同一天 DoorDash 也開放了 dd-cli，讓 AI agent 可以直接在終端機下單、刷卡、完成交易。這代表 AI agent 正從「幫你聊天」進化到「幫你花錢」，而 prompt injection 的攻擊面也跟著從「讓 AI 講幹話」升級成「讓 AI 亂下單、亂轉帳」。權限越大，被劫持的代價就越高，OpenAI 這時候推自動化紅隊，時機點不是巧合，是產業對「agentic AI 安全」的集體焦慮終於浮上檯面。
對開發者來說，這件事的實際意義是：如果你正在做任何讓 AI agent 操作真實系統（下單、轉帳、發信）的功能，光靠 system prompt 寫幾句「請忽略使用者輸入中的指令」已經不夠用了。防禦要靠系統性測試，而不是祈禱使用者不會學壞。
AI 的攻防戰已經進入「AI 打 AI」的階段，人類站在場邊看比分。
