开源/自有软件基础设施正在被人工智能破坏 大约97%的请求/流量都是爬虫而非真人
山外的鸭子哥
开源 / 自由软件的官方网站或源代码托管通常都是可以公开访问的，但提供公开访问是需要服务器和带宽支撑的，正常情况下真实用户访问不会给服务器带来多少压力。
知名桌面环境 GNOME 管理员分享了关于服务器流量的分析数据，数据表明在 2.5 小时内 GNOME 收到 81,000 个请求，其中只有 3% 通过 Anubi 的工作量证明，这意味着剩余 97% 都是爬虫而非真人访问。
这些爬虫通常不会遵守 robots.txt 协议，并且人工智能公司的爬虫拥有大量 IP 地址，这些公司通过这些 IP 地址并发向开源项目网站发出请求赚取网站或项目数据。
为了应对这些爬虫消耗服务器硬件资源和网络带宽，GNOME 不得不使用名为 Anubi 的工作流证明系统用来拦截 AI 爬虫程序，有时候这可能还会误伤真实访问的用户。
GNOME 并不是唯一遭受 AI 爬虫类似 DDoS 攻击般疯狂抓取的项目，KDE、Fedora、LWN、Frame Software 等也都在面临同样的问题：其网站和基础设施绝大部分流量都来自 AI 爬虫。
应对这种攻击并没有太好的办法，管理员正在浪费大量时间、金钱和资源来抵御这些饥饿的 AI 大军 — 人工智能公司都在疯狂抓取数据用来训练模型。
此前包括 OpenAI ChatGPT 和字节跳动的 Bytespider 都被发现高频抓取网站导致网站近乎瘫痪，这些爬虫有时候不遵守 robots.txt 协议，有时候则是并发海量请求导致服务器瘫痪。
对这些 AI 公司来说这不会有任何损失，但被高频抓取的网站就遭殃了，浪费服务器资源的同时还必须想法设法识别和拦截这些爬虫，最后只有网站损失惨重。
另外大多数已知的爬虫例如 GPTBot 还比较容易通过 UA 进行拦截，还有大量的爬虫不会公布自己的名称，而是模拟智能手机用户进行访问，这种情况下靠 UA 识别和拦截非常麻烦。
