标签: Anubis

0

合法访问只占2%:AI爬虫正在消耗开源基础设施

Linux内核基础设施维护者披露,git.kernel.org每天收到约600万次随机提交页面请求,约66%被Anubis挑战直接挡住,约33%能够完成工作量证明进入主站;在较宽松的估算下,合法请求只占约2%。大量爬虫没有使用高效的Git克隆,而是逐页渲染历史提交,迫使5个地理分布节点长期占用约14个CPU核心。AI数据获取正在把开源项目原本面向人类的公共服务,变成没有计费、身份和责任约束的数据供应层。