// AI 新闻 · 2026-10-31 · The Verge AI
四大AI公司推行统一反爬取政策
OpenAI、Google、Microsoft和Anthropic宣布采纳新标准，允许网站通过robots.txt中的共享‘策略令牌’信号拒绝被AI模型用于训练。该机制由Anthropic的技术标准负责人Kevin Kelley提出，旨在替代当前需分别设置各公司AI爬取权限的分散做法。
原文发布 2026-10-31 04:26（北京时间）来源 The Verge AI自动整理 · 已核对原文
01摘要
该信号将嵌入现有robots.txt文件中，使出版商可统一管理对多家AI公司的内容使用偏好。Microsoft表示将提供更细粒度控制，支持拒绝AI训练或AI校准（grounding）；Google已推出类似功能，不影响搜索结果展示。Anthropic已率先实施，Google与Microsoft计划于明年支持，OpenAI则预计在近期落地。
由开源模型根据原文自动整理，经数字/专名逐项核对（必须在原文中出现），以原文为准。
02要点
- OpenAI、Google、Microsoft和Anthropic将采用共享策略令牌信号以统一管理网站对AI训练的拒绝权限。
- 该信号通过robots.txt文件实现，可让出版商一次设置覆盖多家AI公司，避免重复配置。
- Microsoft提供细粒度控制，允许拒绝AI训练或AI校准，但不影响内容在Bing搜索中的可见性。
- Anthropic已实施该标准，Google与Microsoft计划明年支持，OpenAI预计在近期落地。
03原文出处
The biggest names in AI are backing a new way to opt out of scraping
The Verge AI · 发布于 2026-10-31 04:26（北京时间） · 上方为原标题
05相关新闻
出自智图 AI 新闻：从 1100 多个官方与媒体信源采集。摘要只转述原文内容，详情请看原文。 2026-10-31 全部新闻 · 按日期归档 · 全部 AI 新闻 · 今日