The Verge · AI· Emma Roth·· 3 天前AI 评分60
OpenAI、Google、Microsoft、Anthropic 支持在 robots.txt 中统一设置 AI 抓取退出信号
The biggest names in AI are backing a new way to opt out of scraping
AI 导读
OpenAI、Google、Microsoft 和 Anthropic 表示将采用一项新标准，让出版方在 robots.txt 中一次性声明 AI 训练偏好，不必再分别向各家 AI 公司设置。
摘要与补充说明
该共享“policy token”信号由 Anthropic 标准技术负责人 Kevin Kelley 在 IETF 提出，AI 爬虫遇到该信号后将限制访问站点。Anthropic 已采用该信号，Google 和 Microsoft 计划明年支持，OpenAI 称将在未来几个月内实施。Microsoft 还表示会提供更细粒度控制，允许出版方选择退出 AI 训练或 AI grounding，但网站仍会出现在 Bing 搜索结果中。
此来源暂仅展示摘要。