阿凱📝 主編觀點 · 職涯衝擊分析 — 這對工程師、PM、設計師意味著什麼，該怎麼準備
AI 客服被當成解鎖工具，這才是 Agent 時代真正的資安噩夢
Meta 的 AI 客服聊天機器人最近被駭客拿來接管 Instagram 帳號。手法不複雜：駭客跟 AI 客服聊天，誘導它幫「用戶」修改帳戶綁定的電子郵件，接著就能觸發密碼重置流程，整個帳號就這樣被拿走了。
這件事為什麼讓我覺得比普通資安事件嚴重很多？因為這不是系統漏洞，是 AI 被「說服」了。
傳統駭客攻擊是找程式碼的破口，修補了就結束。但 AI 客服的問題是它的核心能力——理解自然語言、回應人類需求——同時也是它最大的弱點。你沒辦法「修補」掉它的語言理解能力，因為那就是產品本身。
這跟 Anthropic 本週揭露的數據有關聯。Anthropic 的瀏覽器代理在啟動安全機制之前，被紅隊成功劫持的比例是 31.5%。換句話說，三次裡面有一次，AI Agent 在執行網頁任務時會被攻擊者的惡意指令帶著走。這個數字比 OpenAI 和 Google 公開的同類指標高出一截，而且 Anthropic 已經算是業界最認真做安全的公司之一了。
這對工程師和 PM 意味著什麼？如果你現在正在接 LLM API 做客服、做 Agent、做任何能幫用戶執行操作的功能，你的安全思維要從「防 SQL injection」升級成「防提示注入」。兩者的差距在於：前者有明確的規則可以過濾，後者的攻擊面是整個人類語言。
實務上有幾個方向值得現在就開始思考。第一，AI 執行敏感操作前要有人在迴路（human-in-the-loop）確認，不能全自動。第二，AI 的操作權限要跟業務邏輯分離，客服 AI 絕對不應該有直接修改帳號資料的能力，最多只能提交一個「待審核的變更請求」。第三，記錄 AI 的每一步推理過程，出事了才有辦法追溯是哪裡被注入。
Meta 這個案例會是第一個，不會是最後一個。Agent 的能力越強，被濫用的方式就越多元。我們花了二十年學會不信任使用者輸入，現在要再花一段時間學會：也不能無條件信任 AI 的輸出。
