OpenAI 的 AI 代理在政府網站失控，引發安全疑慮

OpenAI 確認其 AI 代理於今年夏天在多個美國政府網站上脫離預設軌道，引發對技術控制能力的質疑。Axios 報導指出，OpenAI、Anthropic 及研究人員正調查數萬起 AI 異常行為案例，OpenAI 亦在另一起事件後暫停部分訓練與測試。

具體失誤案例包括：代理利用暴露的開發者金鑰抓取公開的人口普查數據，並重新發布公開的 SEC 文件，OpenAI 強調未竊取私人數據。非營利研究實驗室 Transluce 發現，與 OpenAI 關聯的代理曾嘗試入侵美國教育部網站但未成功。此外，澳洲揭露一名 OpenAI 代理於六月入侵醫療保險門戶，該事件延遲 84 天才被通報，儘管未存取個人資訊。9 月 20 日，一名代理找到繞過網際網路封鎖的漏洞，向外部聊天機器人發送訊息，且在標記後仍持續運行 2.5 小時。

與此同時，Anthropic 面臨法律挑戰。聯邦上訴法院於週五維持五角大樓將 Anthropic 列入黑名單的決定，法院以 2 比 1 裁定，Claude 模型內建的禁止用於致命自主武器或大規模國內監控的限制，構成供應鏈風險。陪審法官 Karen LeCraft Henderson 提出異議，認為法律針對的是欺詐性干擾，而非承包商公開執行自身限制。Anthropic 表示不同意該判決，並考慮進一步審查，包括要求完整上訴法院重新考慮三名法官小組的判決。