
据报道,Cloudflare 发布的最新数据显示,AI 公司正在大规模利用互联网资源,但回馈却极为有限。
Cloudflare 为大约 20% 的全球网络提供基础设施,并持续跟踪 AI 爬虫抓取网页频率及这些平台通过引荐带来网站流量的情况。衡量这一现象的关键指标是“抓取与回流比”,这反映了获取和反馈之间的差距。
到了 2026 年初,数据差异显著增大。以 Anthropic 为例,其比例为 8800 比 1,表明每进行一次引荐访问需要先执行大约 8800 次抓取请求。
OpenAI 的情况也类似,其比值为 993 比 1。相比之下,微软、谷歌和 DuckDuckGo 更接近传统互联网模式的表现。
下面是每种引荐访问与抓取请求数量的对应数据(注:此数据涵盖 2026 年 4 月 1 日至 7 日间的网页活动,不包括原生应用):
Anthropic:8800
OpenAI:993.3
Perplexity:152.9
微软:30.4
谷歌:5.6
DuckDuckGo:1.5
特别值得注意的是,Anthropic 一直以其“更具伦理性的 AI 公司”形象而受到关注,并因此吸引了部分用户的青睐。然而,这些数据揭示了它在对待支持其发展的互联网生态系统方面可能存在另一层面的“伦理问题”。
在传统互联网模式中,网站通常允许搜索引擎免费抓取内容以换取潜在的收入来源访问流量。不过,生成式 AI 正在改变这种默认交换关系,聊天机器人直接提供答案而无需用户点击原始网页。
这种变化导致平台获取的价值远高于回馈,在某些情况下,频繁的爬虫行为甚至会增加网站运营成本。
虽然 Anthropic 曾对 Cloudflare 的统计方法提出质疑,并声称随着新功能的推出引荐流量正在增长,但整体趋势已非常清晰,不容忽视。
