robots.txt 新標準：網站主一次就能拒絕四大 AI 公司爬取

如果你有自己的部落格、作品集或小型電商網站，接下來可以在 robots.txt 裡設定一個「政策權杖」（policy token），告訴 AI 公司你的內容不准拿去訓練模型，而且不用一家一家去談。 這個標準由 Anthropic 技術主管 Kevin Kelley 提出，透過 IETF 推動。OpenAI、Google、Microsoft、Anthropic 四家都宣布會採用。以前網站主想擋 AI 爬蟲，得分別研究每家公司的爬蟲名稱和規則，漏掉一家就等於沒擋。現在等於在大門口貼一張全公司通用的「謝絕訓練」告示，四家都認得。 robots.txt 本來就是每個網站根目錄下的一個純文字檔，會架站的人五分鐘就能改，不需要寫程式。你用 WordPress、Wix 這類平台的話，要等平台把設定介面做出來，這部分素材沒提到時程。 有三件事先別高估。第一，這是「宣布將採用」，不是已經全面生效，實際上線時間要看各家動作。第二，這個標準只約束願意遵守的公司，沒簽名的爬蟲不受影響。第三，素材沒有說已經被訓練進模型的舊內容會不會被追溯處理，所以別預設設定了之後過去的文章就會被移除。 對一般人來說，比較實際的做法是先想清楚自己要不要擋。寫部落格想被 AI 搜尋引用、帶來流量的人，擋了可能反而少曝光；靠原創內容或付費文章吃飯的人，擋掉的理由就很充分。這是個取捨，不是每個人都該設成拒絕。 這四家同時是爬資料的一方，也是這份標準的背書者，所以後續值得看的是實際執行：爬蟲有沒有真的在 robots.txt 更新後停手，網站主查得到嗎。標準寫得再漂亮，最後要看日誌裡有沒有人還在敲門。