Robotstxt

AI巨头联合支持新标准，简化网站退出数据抓取流程

OpenAI、谷歌、微软和Anthropic等主要人工智能公司宣布，将采用一项由互联网工程任务组（IETF）提议的新标准，旨在简化出版商拒绝AI训练数据抓取的流程 。该标准的核心机制是在网站现有的robots.txt文件中引入共享的“政策令牌”（policy token）信号 。