OpenAI、Google、Microsoft、Anthropic 支持新標準，讓出版商可拒絕 AI 爬取資料

OpenAI、Google、Microsoft 與 Anthropic 四家科技巨頭共同宣布採用新標準，賦予出版商拒絕 AI 爬取資料的權利。此協議旨在解決資料使用協商問題，讓出版商能將 AI 訓練偏好統一應用於多家 AI 公司，免除過去需分別與各家廠商個別設定權限的繁瑣程序。

該標準的核心技術為共享的「政策權杖」（policy token）訊號，由 Anthropic 標準技術主管 Kevin Kelley 提出，並作為 Internet Engineering Task Force (IETF) 的一部分進行推動與制定。在技術實現上，此訊號將直接置入網站現有的 robots.txt 檔案中。robots.txt 檔案長期以來已廣泛用於指示哪些網頁爬蟲可以或不可以爬取特定網站，傳統用途涵蓋搜尋索引、資料存檔及其他多種爬取目的。

此次標準引入後，出版商得以利用既有的 robots.txt 架構，明確管理網站內容是否允許被 AI 模型進行爬取與訓練。這將原本分散且個別的管理需求，轉化為透過單一檔案即可執行的跨平台控制。對於出版商而言，只需在網站層級設定一次，即可讓所有採用此標準的 AI 公司識別並遵守其意願，無需針對每個平台重複配置拒絕爬取的規則。此舉旨在為 AI 資料來源的隱私與版權爭議提供具體的技術解方，透過標準化的訊號交換，簡化出版商與 AI 公司之間的資料使用協商過程。