系统负载

科技互联网

AI爬虫持续冲击Linux内核代码库基础设施

git.kernel.org运维团队报告,用于训练大语言模型的AI爬虫对该网站造成了严重的资源压力。这些爬虫采用低效的HTML渲染方式大量采集提交历史数据,导致基础设施不堪重负。虽然Anubis挑战机制已阻止66%的爬虫访问,但另外33%的爬虫已经学会破解该防护措施,继续对系统发起请求。