Cloudflare 年度回顾:AI 机器人疯狂爬网、后量子加密普及率达 50%、Go 语言用户翻倍

  • 2026-01-06
    北京
  • 本文字数:1859 字

    阅读完需:约 6 分钟

近日,Cloudflare 发布了第六版Radar年度回顾报告。数据显示,全球互联网流量同比增长 19%,Googlebot 占据主导地位,爬取引流比持续攀升,后量子加密技术得到广泛应用。有超过 20%的自动化 API 请求是由基于 Go 语言的客户端发起的,其采用率较上年几乎翻倍。

 

本年度报告以 Cloudflare 广泛的基础设施数据(包括 1.1.1.1 公共 DNS 解析器的匿名查询数据)为基础,深入剖析了 2025 年定义互联网格局的各类中断事件、技术突破及关键指标。该报告包含多个不同的板块(流量、人工智能、普及与应用、连接性、安全性及电子邮件安全),采用与往年相同的分析方法论。

 

报告指出,在过去一年中,全球流量增长了 19%,谷歌和 Facebook 仍是用户最常使用的服务,而星链(Starlink)的增长尤为显著,同比增长达 2.3 倍。

 

通过希尔伯特曲线以二维模式将 IPv4 地址序列可视化——该模式能使相近的 IP 地址排列在一起,Cloudflare 在分析中发现,谷歌爬虫(Googlebot)是使用最频繁的网络爬虫。Cloudflare 数据洞察负责人David Belson写道:

2025 年,Googlebot 再次成为 Cloudflare 请求流量的最大来源,它爬取了数百万个 Cloudflare 客户网站用于搜索索引和人工智能训练。

 

此外,Googlebot 占已验证机器人流量的 28%以上,而 Google AdsBot(用于监控已投放谷歌广告的网站)、Google Image Proxy(用于检索和缓存嵌入在电子邮件信息中的图片)以及 GoogleOther 进一步巩固了这家搜索巨头的统治地位。OpenAI 的 GPTBot 和微软 Bingbot 分别以 7.5%和 6%的占比紧随其后。

 

报告显示,人工智能平台正在以极高的频率爬取内容,却未能为来源网站带来相应的流量,其爬取引流比与 2024 年相比持续攀升。Anthropic 平台的爬取引流比高达 500000:1,OpenAI 最高达 3700:1。在主流人工智能平台中,Perplexity 的爬取引流比最低。

 

CloudZero 研究总监 Jeremy Daly 在其新闻通讯中总结道

Cloudflare 年度报告精彩回顾:内容饥渴的 AI 爬虫(仅 Googlebot 就占所有 HTML 请求量的 4.5%,“用户操作”爬取量激增 15 倍),超过半数人类 Web 流量采用了后量子加密技术,以及 174 次重大互联网中断事件。

 

在这份报告中,这家超大规模云服务商承认,Meta 的 llama-3-8b-instruct 模型在其边缘 AI 平台 Workers AI 上最受欢迎。该平台支持在网络边缘直接运行 AI 模型,其中最热门的任务类型是文本生成。

 

尽管 2025 年 HTTP/3 和 HTTP/2 请求量均小幅增长,但在人类产生的 Web 流量中,为了有效防范“先收集、后解密”的攻击手段,已有半数采用后量子加密技术——该比例较年初的 29%几乎翻倍。

图片来源:Cloudflare 官方博客

 

与往年一样,该团队使用Cloudflare Radar的URL扫描器来识别前 5000 个域名中最受欢迎的技术和服务。他们发现,基于 JavaScript 的库和框架仍然是构建网站不可或缺的工具。Belson 补充道:

jQuery 自称是一个快速、小巧、功能丰富的 JavaScript 库,我们扫描发现,使用它的网站数量是 Slick(用于图片轮播的 JavaScript 库)的 8 倍。React 仍然是构建 Web 界面最常用的 JavaScript 框架,在我们扫描的站点中,其使用数量是 Vue.js 的两倍。

 

PHP、Node.js 和 Java 仍是最常用的编程技术,明显领先于 Ruby、Python、Perl 和 C 等替代方案。在 Hacker News 上的一个热门帖子中,许多人质疑 ASP.NET 和 C#的相对份额,用户 nic547写道

ASP.NET 可能涵盖多种编程语言,而我猜测,ASP.NET 服务器本身并不会披露具体细节。虽然可以合理推测主要是使用 C#,但这需要采用不同的指标来评估。

 

通过分析与 API 相关的请求,Cloudflare 识别出构建API客户端最常用的编程语言:20%的自动化 API 请求来自基于 Go 的客户端,与 Go 语言 2024 年 12%的份额相比增长显著。Python、Java 和 Node.js 紧随其后,成为最受欢迎的技术。

图片来源:Cloudflare 官方博客

 

尽管从业者往往会关注云服务中断问题,但 2025 年观察到的中断事件近半数实为计划内停机——旨在“防止学术考试作弊”,其余则与抗议活动、社会动荡或海底及国内光纤基础设施遭破坏有关。

 

与往年一样,这家超大规模服务商强调,超大规模网络层攻击的频率和规模日益增长。这类攻击发生在第 3/4 层,峰值流量超过每秒 1 太比特或每秒 10 亿个数据包。Cybernara 创始人 Chirag Goswami评论道

互联网正经历中年危机。机器人已成为新常态。分布式拒绝服务攻击屡创新高。一次 BGP 故障仍能让半数网站瘫痪。Cloudflare 的 Radar 年度回顾不仅是数据统计,更是互联网真实面貌的压力测试报告——它揭示了网络环境的脆弱、快速以及机器人泛滥的现状。

 

Cloudflare Radar 2025年度回顾专题网站提供了更详细的数据,包括按具体国家和地区划分的趋势分析。

 

原文链接:

https://www.infoq.com/news/2025/12/cloudflare-2025-ai-bots/