過去幾年，AI基礎設施的討論大多聚焦於大規模模型訓練。各大AI公司為開發前沿模型所建設的訓練工廠規模驚人：數十萬塊GPU、堪比中型城市的電力消耗，以及每秒數十拍比特的跨園區傳輸頻寬。
然而，隨著AI應用加速普及，一個更大的基礎設施挑戰正逐漸浮出水面。來自AI需求側的持續壓力——推理——正成為新的核心議題。
推理是指每次用戶向聊天機器人提問、將文件上傳至生產力工具進行分析，或在郵箱和搜索結果中獲取AI摘要時所觸發的計算過程。單次查詢產生的流量本身微乎其微，但將其乘以全球範圍內與AI交互的用戶數量——加上越來越多涉及影片、圖像和附件的請求——下一個網路需求的主要驅動力便清晰顯現。
與訓練階段不同，推理的增長曲線更加陡峭、分布更廣、覆蓋全球，這正在重塑數據中心互聯的設計方式，以及連接雲區域、城域網和跨洲際骨幹的整體網路生態。
推理需求的爆炸式增長
比用戶主動擁抱AI更具威力的，是AI功能被嵌入數十億用戶已在使用的平台所產生的複合效應。
如今，AI能力已深度集成於搜尋引擎、電子郵件、辦公軟體、地圖、社交資訊流和智慧型手機之中。這種嵌入方式確保了AI功能的即時觸達和全球覆蓋，也帶來了不可避免的海量使用。
推理量的增長因此十分驚人。以谷歌為例，該公司報告稱，其每月處理的AI Token數量在2025年初實現了同比50倍的增長，僅兩個月後又翻了一番，並在2026年4月發布的季度報告中顯示，Token處理量環比增長60%，增速依然驚人。
硬體與算法層面的效率提升在一定程度上緩解了對額外資源的需求，但遠未能覆蓋全部增量。為了承載不斷增加的推理量，需要加快部署新的GPU算力，推理數據中心的數量也在迅速增加，且分布於更多地理位置。
這種地理分布，正是推理不僅僅是算力問題、更是網路問題的第一個原因。
推理流量：從輕量到主導
過去，AI對網際網路整體流量的貢獻十分有限。一條文字提問加一條文字回復，不過幾千字節，與一分鐘影片流相比幾乎可以忽略不計。
但這一現狀正在迅速改變。
多模態模型能夠分析和生成圖像、音頻、影片和三維內容。用戶上傳一段高清短影片進行分析或編輯，幾秒鐘內便會產生數兆字節的上行流量。研究人員、學生和企業用戶也越來越多地將大量文檔輸入模型，以提煉核心發現並生成詳細報告。基於雲端的影片分析服務可處理攝影機實時畫面並提供洞察和預警，這類應用也正逐漸形成可行的商業模式。
將這些交互乘以數億乃至數十億用戶，推理流量便成為分布式、普遍性網路流量的重要驅動力。
推理模型帶來第二層壓力。與即時生成回復不同，推理模型會將問題拆解為多個內部步驟，並實時調用相關資訊。用戶看到的一個最終答案，背後可能涉及數十次後台檢索，產生大量跨數據中心的數據傳輸。
此外，上下文窗口的持續擴展也在增加網路壓力。前沿模型現已能夠處理超大規模的輸入內容，包括完整的文檔集合、對話歷史和檢索知識庫。檢索增強生成已成為企業AI應用的主流技術，每次查詢都需要將上下文知識注入模型提示詞，進一步放大了網路負載。
綜合來看，推理已不再是輕量級的網路任務，而是正在成為數據中心間及用戶與AI基礎設施間流量增長的主要驅動因素。
推理驅動的網路互聯需求
AI模型現已分布於多個區域，使用信號和強化學習反饋需要回流至集中式智能系統。多步驟、分布式的推理工作流越來越多地跨站點運行，各站點承擔不同角色：一類專注於高算力、大上下文處理的預填充，另一類則側重於低延遲Token生成與內存緩存效率的解碼。與此同時，主權AI的合規要求推動工作負載向特定司法管轄區集中，進一步增加了需要高容量、高可靠性互聯的設施數量。
典型的推理數據中心互聯鏈路已達每路多太比特每秒的傳輸速率。隨著更具彈性和多樣化的互聯拓撲的部署，以及推理型AI數據中心在數量和地理分布上的快速擴張，路由數量與單路容量都在同步增長。
推理數據中心的互聯只是方程式的一側，另一側則是將用戶、智能體、設備和組織連接至這套網狀基礎設施以運行推理工作負載。多雲接入正不斷演進，以支持企業大規模數據集在AI平台間的流轉。更對稱的寬帶接入和可擴展的匯聚能力，將為普及化攝影機向AI雲端上傳影片進行分析提供支撐。整個網路生態都需要隨之適應。
網路運營商與服務提供商如何應對這一趨勢？
網路運營商的應對之道
網路運營商已在圍繞可擴展性、靈活性、效率和安全性展開規劃布局。為最大化每對光纖的傳輸容量——這一資源從未像今天這樣珍貴且備受追捧——運營商正在採用支持每波長1.6 Tb/s的相干光平台和系統。
以Lumen Technologies為例，這家網路提供商正在面向未來大規模擴展網路，藉助高頻寬1.6 Tb/s相干收發器加快建設步伐。
此外，推理流量模式多變且多樣，使得靜態網路難以滿足需求。許多運營商因此轉向AI輔助的多層網路控制，以實現近實時的容量調度和性能優化。Lumen同樣是這一方向的典型代表，藉助完善的控制套件，該運營商實現了對光纖資產的全面可視化，並通過統一控制點最大化資源利用率和性能表現。
此外，由於推理流量通常涉及敏感數據，網路運營商正在所有新部署的數據中心互聯方案中，將光層加密作為標準配置融入其中。
推理工作負載的演進速度已超出任何預測模型的能力範圍。未來五年最具競爭力的網路，將是那些無需在每次工作負載激增時進行大規模改造，就能在容量、覆蓋範圍和智能化程度上持續擴展的網路。
訓練定義了AI基礎設施建設的第一波浪潮，推理正在塑造第二波——這一波更加全球化、更加複雜，將深刻改變整個網路格局。
Q&A
Q1：AI推理流量為什麼會快速增長，和訓練流量有什麼區別？
A：AI訓練流量集中在少數超大規模數據中心，屬於階段性、集中式的高強度負載。而推理是每次用戶與AI交互時實時觸發的，隨著AI功能嵌入搜索、郵件、辦公軟體等數十億用戶使用的平台，推理請求的頻次和規模呈指數級擴張。多模態模型的普及讓單次推理流量從幾千字節躍升至數兆字節，推理因此正成為全球網路流量增長的主要驅動力。
Q2：檢索增強生成技術為什麼會增加網路壓力？
A：檢索增強生成是一種主流的企業AI應用技術，每次用戶發起查詢時，系統都需要從外部知識庫中檢索相關內容，並將其注入模型的提示詞中。這意味著每次推理不只是簡單的請求-響應，而是涉及多次數據檢索和跨系統傳輸，大量數據需要在模型、儲存系統和外部數據源之間流轉，很多情況下還會跨越數據中心邊界，顯著增加了網路負載。
Q3：網路運營商如何應對AI推理帶來的頻寬壓力？
A：運營商主要從三個方向入手：一是採用每波長1.6 Tb/s的相干光傳輸技術，最大化現有光纖資源的利用率；二是引入AI輔助的多層網路控制系統，實現近實時的容量動態調度和性能優化；三是在數據中心互聯部署中將光層加密作為標準配置，保障推理流量中敏感數據的安全傳輸。Lumen Technologies是上述技術實踐的典型代表。
