Ai爬虫
科技互联网
开发者项目发布后遭AI机器人流量冲击
开发者在Hacker News上发布自定义信息流阅读器sprinklz.io后，其网站遭遇大量AI机器人流量冲击。该项目在平台上获得约100个赞，但随后网站性能严重下降。
科技互联网
Reddit关闭RSS订阅和公共API访问以阻止AI爬虫
Reddit宣布将大幅限制其开放数据获取方式。该公司计划于11月13日停止RSS订阅支持，并将在2027年3月关闭公共API访问。Reddit表示这一举措旨在防止大规模爬虫和自动滥用。
科技互联网
Google搜索结果不再直接显示目标URL
Google从2026年8月底起调整了搜索结果的链接展示方式。过去直接暴露的目标URL现已被替换为google.com/goto格式的重定向链接，用户点击后才会跳转至真实网址。
科技人工智能
AI爬虫蚕食网络流量 网站启动反制引发信息获取危机
人工智能工具大规模抓取网站内容用于模型训练，正在打破互联网长达30年的内容流通生态。根据Cloudflare的数据，超过50%的网络流量现已来自AI爬虫。为了维护自身收益，越来越多网站开始采取措施阻止AI爬虫访问。Cloudflare表示，从9月15日起，其管理的全球前10,000个网站中超过30%将在包含广告的页面…
科技互联网
AI爬虫持续冲击Linux内核代码库基础设施
git.kernel.org运维团队报告，用于训练大语言模型的AI爬虫对该网站造成了严重的资源压力。这些爬虫采用低效的HTML渲染方式大量采集提交历史数据，导致基础设施不堪重负。虽然Anubis挑战机制已阻止66%的爬虫访问，但另外33%的爬虫已经学会破解该防护措施，继续对系统发起请求。