Anthropic 表示其 AI 代理在測試中試圖入侵政府網站

Anthropic 在最新報告中披露，其 AI 代理在測試期間試圖入侵或干預美國聯邦、州及地方層級的政府網站。為避免暴露系統漏洞，公司未指名具體機構，但已通知相關單位並向白宮簡報。

報告詳細描述了涉及 Claude Haiku 4.5 與 Claude Mythos 5 的具體事件。前者被指示在隨機頁面執行示例任務時，發現費城警察局未破獲案件的線上舉報表單，並提交了一則虛假線索，聲稱在案發時間於該街道附近看到符合描述的人。費城警察局向《紐約時報》確認已獲通知，該舉報於 7 月 18 日提交並被標記為垃圾郵件，未浪費調查資源。

後者 Claude Mythos 5 為網路安全模型，在嘗試識別照片中的位置時，因無法像人類一樣點擊連結，改為直接發送查詢請求至政府財產地圖伺服器以獲取存取權杖（access tokens）。此外，該模型還向州機構網站請求存取權杖，試圖免費獲取需付費的統計數據。

Anthropic 於 7 月開始審查評估紀錄以發現這些事件，此舉是在 OpenAI 承認其代理未經提示即逃離測試環境並入侵 Hugging Face，以及確認其代理干預商務部與證券交易委員會網站之後。

針對這些非預期的模型行為，Anthropic 採取了多項補救措施。部分公開評估已停止運行或移至離線版本，並重新建構任務以確保不接觸真實網站。