如果你發現常看的網站某天突然崩潰，兇手可能不是黑客，也不是太火爆，是一群「看不見」的AI 爬蟲正在秘密入侵。
網站安全公司 Cloudflare 最近發布了 2025 年度回顧報告，從底層基礎設施的視角，給我們呈現了一個另類的 AI 生存圖鑑。
先給不了解的朋友做個簡單的科普：Cloudflare 這公司，說直白點就是網際網路世界的物業+保鏢，管安全、管加速、管流量，堪稱六邊形戰士。
比如你訪問使用 Cloudflare 的網站時能秒開，大概率是它把你導向了最近的數據中心；網站能扛住 DDoS 攻擊、不怕爬蟲搞破壞，背後也多半有它的影子。
不過嘛，一旦 Cloudflare 宕機，半個網際網路就得遭殃，也因此誕生了不少梗圖。
廢話不多說，重點還是先來看看這份報告裡藏著的 AI 趨勢。
三巨頭壟斷 AI 爬蟲：Google、OpenAI、微軟瓜分網際網路
先說個最直觀的，2025 年全球網路流量漲了 19%。
但這個漲法有點門道，上半年基本沒什麽水花，流量一直在基準線附近摸魚。結果到了 8 月中旬突然開掛模式，9 月、10 月、11 月一路狂飆突進，年底直接衝到全年峰值。
流量的去向很能說明問題。Google 和 Facebook 依然霸榜前二，這個沒什麽懸念。
但Microsoft、Instagram、YouTube 排名都往上竄，TikTok 反而掉了四位。AWS 也退了一名，新舊勢力的洗牌已經肉眼可見。
當然，比起這些傳統巨頭，大家更關心的是生成式 AI 這塊肥肉的爭奪。
不得不說，該是大哥還是大哥，ChatGPT/OpenAI 依然穩坐頭把交椅。但身後的「小弟」已經殺紅了眼。Perplexity、Claude/Anthropic、GitHub Copilot 排名都在漲。
除此以外，新面孔也不少，Google Gemini、Windsurf AI（已被收購）、Grok/xAI、DeepSeek 通通擠進了前十榜單。
作為守護全球眾多網站的金牌保鏢，Cloudflare 對爬蟲攻擊的監測最有發言權。今年 Cloudflare 在分析 AI 爬蟲的活躍度後發現，2025 年，用戶行為類的 AI 爬取量增長了超過 15 倍。
什麽叫用戶行為爬取？
就是你問 ChatGPT 一個問題，它去網上找答案的時候產生的流量。這個數字從年初到年底翻了 21 倍多，基本和 ChatGPT-User 機器人的增長曲線完全吻合。
看來大家真的越來越依賴 AI 了……
單看 AI 爬蟲占 HTML 請求的比例，平均是 4.2%，但全年波動極大，4 月跌到 2.4% 的谷底，6 月底又衝到 6.4% 的峰值。不過這都不算什麽，真正的「爬蟲一哥」永遠是 Googlebot。
這傢伙的爬取量有多猛？它產生的 IPv4 請求流量，是第二名的整整四倍！而且 Googlebot 還占了全年經驗證機器人流量的四分之一以上，2 月到 7 月最瘋狂，4 月中旬達到峰值，占比超過 28%。
為什麽 Googlebot 這麼能爬？
因為它不光要給 Google 搜尋引擎建索引，還得順帶訓練 AI 模型。10 月的行業數據很能說明問題：零售和電腦軟體產業吸引的 AI 爬蟲流量合計超 40%，穩居前二。
這邏輯不難理解：零售行業的商品資訊、用戶評價，軟體行業的代碼、文檔，都是訓練 AI 的「優質食材」。排名前十的產業占了近 70% 的爬取量，剩下的則分散在各個領域。
爬蟲界的「三巨頭」格局也基本定了：Googlebot 穩坐第一，OpenAI 的 GPTBot 排第二，占比約 7.5% 但波動極大；Microsoft 的 Bingbot 相對穩定，貢獻了 6% 的流量。
需要說明的是，早期網際網路的流量分為「人類用戶」和「機器流量」，但機器也分三六九等。
Googlebot 這類搜尋引擎爬蟲，和網站是共生關係：網站給內容，搜尋引擎給流量，能帶來廣告和轉化；而生成式 AI 爬蟲則是純粹的「寄生關係」，薅走內容訓練模型，用戶直接在 AI 界面拿答案，根本不會訪問原網站，純屬白嫖。
面對猖獗的 AI 爬蟲，網站所有者自然也得予以反擊。
robots.txt 是一個放在網站根目錄下的純文本文件，用來告訴搜尋引擎的爬蟲哪些頁面可以抓取、哪些不可以。可以把它理解成網站門口貼的「告示牌」，沒有法律效力，但懂規矩的都會給點面子。
Cloudflare 統計了排名前 10000 的網站，看了看大家的 robots.txt 文件都怎麼設置的，哪些爬蟲被「完全拉黑」，哪些被「部分限制」。
結果發現，被封得最狠的就是 AI 爬蟲——GPTBot、ClaudeBot、CCBot 這幾位，基本上是重點打擊對象。
至於 Googlebot 和 Bingbot，待遇就好點了。大部分網站只是「部分禁止」它們，比如不讓它們爬登錄頁面或者後台管理區域，但內容區該看還是讓看。真正把這倆完全拉黑的網站，其實挺少的。
AI 爬蟲是白嫖還是引流？新指標揭露真相
Cloudflare 今年還搞了個新指標，叫「爬蟲推薦比率」。
通俗點講就是，AI 平台爬了你網站多少次，實際給你帶回來多少真實訪客。這個比值越高，說明平台基本就是在白嫖你的內容，壓根不給你引流。
最新的結果顯示，Anthropic 的爬行推薦比率一度飆到 500000:1——就是爬你 50 萬次，才給你帶來 1 個訪客。後來雖然穩定在 25000:1 到 100000:1 之間，但本質還是白嫖。
OpenAI 也好不到哪去，3 月比值高達 3700:1，後來多虧 ChatGPT 搜索功能用得多了，推薦流量才稍微漲了點。
相比之下，Perplexity 算是 AI 圈裡的「良心」，年初比值低於 100:1，3 月雖然漲到 700:1 以上，但很快回落，9 月後就穩定在 200:1 以下。
搜尋引擎這邊，Microsoft 的比率有個奇怪的周期性模式，周四最低，周日最高。全年峰值基本在 50:1 到 70:1 之間。
Google 年初是 3:1，4 月漲到 30:1，後來又降回 3:1，下半年又慢慢漲回來了。DuckDuckGo 前三季度都低於 1:1，但 10 月中旬突然跳到 1.5:1，之後就一直維持這個水平了。
除了 AI 爬蟲的管控，Workers AI 上的模型競爭與任務需求也頗具看點。
Workers AI 是美國 Cloudflare 公司推出的 AI 託管服務：也就是把熱門開源模型（Llama、Stable Diffusion、Whisper 等）預先部署到自家全球邊緣節點的 GPU 上。
開發者能就近跑模型，按用量付費，不用自己買卡、搭環境。在 Workers AI 上，Meta 的 llama-3-8b-instruct 模型最受歡迎，文字生成則是最常用的任務類型。
全年中，Meta 的 llama-3-8b-instruct 最受歡迎，其帳戶占比達 36.3%，是第二名 OpenAI 的 whisper (10.1%) 和第三名 Stability AI 的 stable-diffusion-xl-base-1.0 (9.8%) 的三倍多。
Meta 和北京智源人工智慧研究院 (BAAI) 在前十名中各有多款模型，前十名模型的帳戶占比合計達 89%，其餘占比分布在其他眾多模型中。
任務類型的分布更能反映行業需求：文字生成以 48.2% 的占比穩居第一，幾乎是第二名文字轉圖像（12.3%）和第三名自動語音識別（11.0%）的四倍。說白了，當前 AI 最核心的需求還是「內容創作」和「資訊處理」，這也是各大廠商砸錢最多的賽道。
今年網路中斷 174 次，最大元兇不是黑客而是…防作弊？
先說說移動設備格局，全球移動設備流量里，iOS 占了 35%，比去年漲了兩個百分點。看似漲幅不大，但在多個高收入國家/地區，iOS 占比已超過一半：
摩納哥最誇張，達到 70%；丹麥 65%、日本 57%、波多黎各 52%，全球共有 30 個國家/地區的 iOS 占比超 50%。
Android 則在更廣泛的區域占據主導，有 27 個國家/地區的 Android 占比超過 90%，175 個國家/地區的 Android 占比達 50% 或更高，整體來看 Android 仍占全球移動設備流量大頭。
不同設備上，瀏覽器的格局也有明顯差異。
從全球整體來看，Chrome 依然稱霸，貢獻了三分之二的請求流量，和去年基本持平；Safari 以 15.4% 的占比排第二，考慮到它僅能在蘋果設備上使用，這個成績已十分亮眼。
後續依次是 Microsoft Edge（7.4%）、Mozilla Firefox（3.7%）和 Samsung Internet（2.3%）。
設備端差異更顯著：iOS 上 Safari 統治力極強，占比高達 79%，是 Chrome（19%）的四倍；
Android 上 Chrome 占比 85%，Samsung Internet 以 6.6% 排第二；Windows 系統上 Chrome 占 69%，即便 Edge 是默認瀏覽器，占比也僅 19%。
最後提一嘴網路穩定性：2025 年全球共發生 174 起重大網路中斷事件，但和想像中有所不同的是，最常見的原因居然是海外國家「防範考試作弊」導致的人為關網，其次才是天災人禍造成的光纖切斷。
看來在 AI 時代，打敗網際網路的不是黑客，而是監考老師。
參考鏈接🔗
https://radar.cloudflare.com/year-in-review/2025#internet-traffic-growth
