AI範式從被動式的大語言模型（LLMs）向具備持續多步推理、工具調用及沙盒驗證能力的代理式 AI（Agentic AI）躍遷後，傳統基於x86 架構和鬆耦合以太網的計算集群正面臨「阿姆達爾定律（Amdahl's Law）」與「通信/內存牆（Communication/Memory Wall）」的鉗制。
2020-2024年 GPU 算力（FLOPS）、網路頻寬（NIC）與內存容量（HBM）的增長趨勢對比。可以看出，算力的增長（28.8x）遠超頻寬（2.0x）和內存（2.4x）的增長，形成了嚴重的「通信/內存牆」。
前幾年的大語言模型，無論是訓練還是推理，都以Transformer 為核心，進行大規模矩陣計算。GPU持續執行GEMM 運算，而CPU更多承擔數據準備、任務調度等輔助工作。因此，整個數據中心的設計目標始終圍繞「如何讓 GPU 跑得更快」展開。
然而，代理式AI的出現改變了這一前提。
AI Agent並不會在生成一次回答後便結束計算，而是需要不斷進行「思考—調用工具—執行代碼—驗證結果—再次推理」的循環。在強化學習（Reinforcement Learning，RL）的後訓練（Post-Training）過程中，Agent 需要持續生成代碼、進入沙盒運行、獲取反饋並重新優化策略。
此外，在多智能體（Multi-Agent）系統中，不同 Agent之間又需要頻繁交換上下文、調用外部工具、共享中間狀態，共同完成複雜任務。
由此可見，AI 的計算模式已不再是單純的大規模並行矩陣計算，而是演變為計算、訪存、網路通信與控制流高度交織的混合負載（Hybrid Workload）。
正是由於這種工作負載的根本性變化，傳統AI集群體系結構也開始集中暴露出諸多問題：
一方面，是控制流導致的阿姆達爾定律重新成為系統瓶頸。代理式AI需要頻繁調用 Python解釋器、代碼編譯器、資料庫、搜尋引擎等外部工具。這些任務依賴大量條件判斷、系統調用和控制流分支，只能由CPU串行執行。
根據阿姆達爾定律，當不可並行化部分不斷增加時，即使GPU的計算能力繼續提升，整個系統性能仍將受到CPU串行執行能力的限制，導致大量 GPU 計算資源反而會因為等待 CPU而空轉。這嚴重製約了整體效率的提升。
LLM在不同任務結構（並行、混合、串行）下的加速比與阿姆達爾定律（Amdahl's Law）理論上限的對比。實驗證明，隨著任務串行比例增加，增加代理數量帶來的性能收益迅速飽和。
另一方面，是長上下文帶來的通信牆與內存牆問題。隨著模型上下文窗口擴展到數十萬乃至數百萬Token，Transformer的KV Cache持續膨脹，占據越來越多的HBM容量。
而在多節點推理過程中，這些上下文狀態還需要頻繁同步，引發大量網路微突發（Micro-bursts）。如果是傳統基於鬆耦合以太網的數據中心，很容易因此產生擁塞、哈希衝突和丟包，最終導致尾端延遲（Tail Latency）快速放大，GPU的計算效率也隨之下降。
另外，傳統安全邊界也正在逐漸失效。代理式AI的功能不僅是讀取數據，還能動態生成並執行代碼。而傳統的EDR等安全軟體與AI工作負載共享同一個作業系統核心，一旦發生Prompt Injection或權限逃逸，攻擊便能直接繞過主機安全機制，形成直接入侵。這無疑對數據中心的安全防護提出了更高要求。
不難發現這三類問題並非單純源於GPU 算力不足，而是CPU、GPU、內存、網路和安全之間傳統鬆散耦合的系統架構，已經無法支撐代理式AI的新型工作負載。
因此，真正需要升級的，是整個AI數據中心的體系結構。
面對這些系統級危機，作為AI「風向標」的NVIDIA在GTC 2026期間給出系列解法。
NVIDIA的方案是採用「極致協同設計（Extreme Co-design）」，其核心邏輯是將計算、儲存與網路從物理引腳、協議棧到機架互連進行全鏈路的重新定義。
01 控制流瓶頸：Vera CPU破解「阿姆達爾定律」
其實，代理式AI的執行過程充斥著代碼編譯、腳本執行、工具調用以及獎勵函數評估等大量串行任務。這些工作高度依賴控制流和邏輯判斷，無法像矩陣計算那樣交由GPU大規模並行處理，而必須依靠CPU完成。
當Agent不斷在「推理—執行—反饋—再推理」的循環中運行時，CPU就成為整個系統新的性能瓶頸。為突破阿姆達爾定律帶來的串行挑戰，NVIDIA推出了專門面向AI沙盒與任務調度設計的Vera CPU。
截取自：NVIDIA
與前代Grace CPU採用Arm Neoverse V2公版核心不同，Vera搭載了88個NVIDIA完全自研的Olympus核心，兼容Armv9.2指令集。對Agent來說，無論代碼編譯、文本解析還是工具調用，都伴隨著大量不可預測的條件跳轉；傳統CPU一旦分支預測失敗，就不得不清空流水線重新執行，控制流越複雜，性能損失越明顯。
截取自：NVIDIA
為此，Olympus配備了10寬指令獲取與解碼前端（10-wide Fetch/Decode Front-end），提升單位時鐘周期內的指令吞吐能力；同時引入神經分支預測器（Neural Branch Predictor），在一個時鐘周期內同時評估兩條已採取的分支路徑，進一步降低流水線沖刷（Pipeline Flush）的開銷，從而在複雜控制流下依然保持較高的每周期指令數（IPC）。
不過，僅提升單線程效率並不能解決代理式AI的全部問題。當數百乃至數千個Agent沙盒同時運行時，影響系統吞吐的，就變成了大量線程是否能穩定並發執行的問題。
針對這一問題，Vera引入了空間多線程（Spatial Multithreading）技術，在物理層面對執行資源進行靜態隔離與配額分配，使每個線程即便在高負載下也能獲得穩定且可預測的計算資源，從而保證數萬個沙盒任務同步完成。這種確定性執行（Deterministic Execution），正是強化學習大規模並行訓練所需要的能力。
當控制流與線程調度效率都得到提升後，新的瓶頸又會迅速暴露：對於ETL、資料庫查詢，以及Agent沙盒而言，CPU更多時間並不是在計算，而是在等待數據。
因此，Vera進一步重構了整個內存系統，採用第二代LPDDR5X內存子系統，並首次引入SOCAMM（Small Outline Compression-Attached Memory Modules，小型可插拔壓縮附加內存模組）封裝技術，在保留LPDDR高頻寬、低功耗優勢的同時，也具備了伺服器所需的可插拔與可升級能力。
最終，在LPDDR5X內存子系統典型功耗低於30瓦的前提下，Vera實現了1.2TB/s的總內存頻寬和1.5TB的內存容量，每個核心平均可獲得約14GB/s的內存頻寬，較傳統x86平台有較大提升。
在沙盒容器的代碼編譯、腳本執行與壓縮等典型工作負載中，滿載插槽下Vera的單核性能較x86平台實現了1.5倍的提升。
截取自：NVIDIA developer
至此，代理式AI在控制流、線程調度與內存訪問上的瓶頸，被Vera CPU從底層架構上逐一進行了針對性優化。
02 Scale-Up：NVL72一致性互連域+AFD異構推理拓撲
Vera CPU解決的是單個節點內部的效率問題，但是，當成千上萬顆GPU與CPU需要整體協同工作時，晶片之間如何高速互連，就成為下一道必須跨過的關口。Vera Rubin NVL72,連同與之配套的Groq 3 LPX異構機架，即為這一方向的落地形態。
其實，NVL72的內部結構是由底板（Midplane）硬連接構成的物理閉環，而非通過以太網鬆散相連的獨立伺服器。一個機架內集成72顆Rubin GPU與36顆Vera CPU，而讓這些晶片實現共享內存與一致性通信的核心支撐，就是機架背部的第六代NVLink銅質主幹（Spine）。
另外，NVL72放棄了傳統的複雜布線，將Spine拆分為四個模組化的預集成線纜盒，排布5000多根特製高頻銅纜，總長超過2英里；計算托盤改用PCB中板設計，讓超級晶片插槽直接對接後部的NVLink接口。
截取自：NVIDIA
托盤內部實現了「無纜線、無軟管、無風扇」（無纜化指的是計算托盤內部，改用的是板對板連接器），組裝與維護時間從2小時縮短到5分鐘；更關鍵的是，整個機架縱向擴展（Scale-up）的對分頻寬被推高到260TB/s。
在這套無阻塞全互聯（All-to-All）通信域中，每塊 Rubin GPU可獨占 3.6 TB/s通信通道。對於混合專家模型（MoE）而言，萬億參數MoE在執行推理時，專家路由機制會產生巨量參數交互流量；倘若這部分流量外溢至高延遲以太網，模型性能將會出現斷崖式下跌。依託NVLink，所有數據交互均可收斂在低延遲物理層內部，無需流出機架。
截取自：NVIDIA
不過，單機架72卡並不是規模終點。為承載未來千萬億參數模型，NVIDIA在Vera Rubin上採用光學技術，拓寬NVLink物理邊界。
Polyphe是NVIDIA內部基於GB200搭建的NVL576多機架原型，用於驗證這套跨機架NVLink拓撲的可行性。預計，到Rubin Ultra世代，NVL576將以8個MGX NVL機架、每架72顆GPU的形式落地。機架內部仍走銅纜，機架之間則由CPO交換機組成兩層全互連網路，576顆GPU共享同一NVLink域。再往後的Feynman世代，Kyber機架將把單機架NVLink域翻倍至144顆GPU，8個Kyber拼成NVL1152。
但是，即便擁有超大規模GPU集群，大模型推理自身仍存在難以迴避的算力矛盾。
大模型推理在計算特性上存在天然分裂。預填充（Prefill）階段屬於計算密集型矩陣運算（GEMM），高度依託 GPU Tensor Core 算力；解碼（Decode）階段採用自回歸生成邏輯，單次僅輸出一個Token，計算負載不高，卻對內存頻寬有著極強需求，是典型的頻寬受限（Memory-bandwidth bound）任務。
NVIDIA 給出的方案是「注意力前饋解耦」（Attention-FFN Disaggregation，AFD）：Rubin GPU 繼續承擔預填充，同時保留解碼階段的注意力（Attention）計算，這一環節需要訪問已積累的全部KV Cache，考驗的是顯存容量，配備288GB HBM4的Rubin能夠勝任。而前饋網路（FFN）與MoE 專家計算不依賴大容量顯存，只對頻寬敏感，因此交由LPU 執行。
需要強調的是，兩類晶片並非前後接力，而是針對每個輸出Token的每一層進行協同計算，而請求的分類與路由則由NVIDIA Dynamo負責調度。
承載這套系統的是Groq 3 LPX 機架，其256顆LPU分布在32個液冷計算托盤中，每盤8 顆LP30晶片。
單顆LPU配備500MB片上SRAM，雖然容量遠不及 Rubin，但其SRAM頻寬達到了150TB/s，接近Rubin HBM4的22TB/s的7倍。坦白講，解碼本就是頻寬受限的任務，小容量、高頻寬的 LPU是更合適的選擇。
整機架匯總為128GB片上SRAM、40PB/s的SRAM頻寬，另配12TB DDR5用於承載大模型。托盤之間通過背板的四條ETL 主幹互連，聚合出640TB/s的scale-up頻寬。
截取自：NVIDIA
藉助這一解耦方案，系統在維持高並發吞吐的基礎上，可實現每兆瓦推理吞吐量提升 35 倍。
而為支撐這一算力密度，NVL72在供電上引入了機架級能量儲存。當AI同步負載產生劇烈的微秒級瞬態功率峰值（Power Spikes）時，電容瞬間放電補充能量，將交流電源的波動大幅降低，配合動態 Max-Q 動力轉向技術，可釋放額外的GPU部署容量。
截取自：NVIDIA
03 Scale-Out：Spectrum-6 SPX CPO摒棄DSP與重定時器功耗
依託NVLink構建起機架內、跨機架的大規模GPU一致性互聯，和Groq 3 LPX 的異構推理流水線，讓算力硬體體系的內部通路難題得以解決。
但是，當 AI工廠的規模從單個POD擴展至包含十萬張 GPU的超大規模集群（Scale-out）時，外部物理網路便成為了最大的能效與延遲瓶頸。
而NVIDIA的Spectrum-6 SPX以太網機架及其背後的 CPO（光電一體化封裝）矽光技術，正是推動集群組網邁入高速光互聯的關鍵。
其實，在以往400G、800G網路中，交換機一般使用前面板可插拔光模組（如 OSFP 封裝的收發器）。而當網路通道（SerDes）速率提升至 200Gb/s時，交換機ASIC（專用集成電路）到前面板光模組之間的PCB銅線走線會產生嚴重的信道衰減和信號反射。
所以，為了補償信號完整性，工程師不得不引入功耗極高的重定時器（Retimer）和數字信號處理器（DSP）。這導致網路通信的功耗呈指數級飆升，極大地擠占了本應用於GPU計算的能源預算。
電信號自ASIC內部生成後，僅傳輸數毫米極短路徑，就能在封裝內部直接調製為光信號送入光纖。這一架構能摒棄長距離PCB走線，進而移除功耗高昂的外置DSP與重定時器晶片。
當然，帶來的改變也頗具顛覆性：CPO矽光技術令光網路能效提升5 倍；受熱損耗、複雜器件誘發的系統故障率下降10 倍，也就是可靠性提升10 倍，同時還能進一步打破限制 AI集群橫向擴容的功率天花板。
在物理層實現突破後，NVIDIA 針對AI流量的特性還設計了MGX ETL機架。該機架內部採用了獨特的 Spectrum-X多平面拓撲（Multi-plane Topology）結構。
截取自：NVIDIA
在1U的 MGX ETL交換機托盤中，內部通過短距離銅質Spine連接節點。通過在機架組內提供完全無阻塞的多對多（Any-to-Any）連接，並結合動態負載均衡算法，該架構能有效地打散並吸收 AI 訓練中產生的同步微突發流量（Micro-bursts）。
這種將光電硬體與自適應路由軟體極度融合的設計，使得標準以太網實現了媲美 InfiniBand的無損、零抖動（Zero Jitter）傳輸質量。
04 恪守信任邊界，BlueField-4接管記憶與安全
NVLink全域互聯架構與CPO光電組網，解決了超大規模AI集群的計算吞吐與橫向擴展瓶頸，但面向當前快速疊代的代理式AI場景，整套基礎設施仍面臨全新挑戰。
智能體持續、長周期的自主任務交互，對集群計算與網路資源形成持續壓力，更造成了傳統數據儲存體系的層級割裂，同時催生了AI系統前所未有的內生安全風險。
具體看，多智能體系統能夠連續數小時執行對話與自主任務，全程會產生海量上下文記憶數據（KV Cache），這類數據的存放與調度成為推理性能的關鍵制約點。
不過，若將全部上下文記憶託管在顯存中，那麼顯存資源會被快速占滿，大幅壓縮模型推理與並發空間；而如果將數據卸載至PCIe架構NVMe SSD，冗長的I/O軟體棧與PCIe總線延遲，又會直接阻塞推理流程，造成智能體任務卡頓、中斷。
於是，針對這一儲存架構矛盾，NVIDIA推出的BlueField-4 STX儲存機架與CMX上下文內儲存存平台，在高速HBM與低成本冷儲存之間，構建出一層大容量、高頻寬、AI原生的共享上下文儲存層，補齊了超長上下文推理的儲存短板。
截取自：NVIDIA
在具體的落地架構中，每一顆Vera CPU與儲存節點均直連800Gb/s的BlueField-4 DPU數據處理器，承擔全鏈路的數據調度與卸載工作。當模型需要調取歷史KV緩存數據時，DPU可依託RDMA遠程直接內存訪問協議，在網路底層則直接從STX儲存機架內存抓取數據，並以線速無損灌入GPU顯存。
整套數據調度流程徹底繞過了主機作業系統核心的TCP/IP協議棧，既不占用Vera CPU算力，也杜絕了核心態與用戶態之間的數據拷貝開銷，依靠硬體級旁路（Bypass）的極致優化，讓STX平台的內存頁處理數量實現翻倍，最終將集群整體Token處理性能與能效同步提升。
在突破儲存性能瓶頸之外，還要解決代理式AI自主規劃、自主代碼執行能力，帶來的安全機制失效問題。
傳統端點安全依託主機系統構建信任邊界，一旦智能體遭遇Prompt Injection等惡意誘導發生越權操作，攻擊者便可從內部突破信任體系，隱蔽滲透、竊取數據、橫向擴散。
為從根源解決代理式AI的內生安全漏洞，NVIDIA將安全防禦體系完全下沉至物理隔離的BlueField-4 DPU硬體層，依託DOCA軟體棧搭建起全新的晶片級零信任安全架構，實現獨立於主機、底層可控、硬體隔離的全域安全防護。
（NVIDIA BlueField-4 DPU 提供晶片內安全功能，運行速度與 AI 代理的速度相當。）
截取自：NVIDIA
作為核心底層安全能力，DOCA Argus實現了基於內存自省的運行時威脅檢測，該模組獨立運行在DPU內部ARM核心，完全脫離主機系統管控。藉助PCIe DMA直接內存訪問能力，以零拷貝（Zero-copy）、非侵入式的帶外方式，持續採集、分析主機物理內存鏡像，可精準識別Linux核心運行邏輯，通過重構虛擬內存映射（VMA）與系統頁表，在主機無感知的前提下，完整還原運行進程、Bash命令行參數與程序調用鏈路。即便攻擊者植入Rootkit隱藏惡意進程，其在物理內存中留下的執行痕跡也無法隱匿。
DOCA Argus 監控 AI 威脅檢測
截取自：NVIDIA developer
在此基礎上，NVIDIA的DOCA Vault與DOCA Flow也進一步形成儲存與網路層面的雙重安全閉環。
DOCA Vault依託DPU儲存仿真能力（DOCA SNAP），將遠端網路儲存虛擬為本地磁盤供主機調用，所有智能體的文件讀寫請求都會在數據抵達物理介質前被前置攔截，通過細粒度授權策略實時阻斷越權訪問與非法數據調取。
專為基於文件的 AI 原生儲存而設計的DOCA Vault數據安全框架
截取自：NVIDIA developer
DOCA Flow則將DPU轉化為高性能四層防火牆，具備精準的連接跟蹤能力，可實現機架內、跨節點的精細化微隔離（Micro-segmentation），切斷惡意負載在AI工廠集群內部的橫向移動路徑，從內存監測、儲存管控、網路隔離三層，構築起適配代理式AI時代的硬體級零信任安全體系。
NVIDIA 端到端AI和安全架構貫穿整個智能體 AI 工廠
截取自：NVIDIA developer
05 寫在最後：重構Token經濟學標尺
綜觀NVIDIA 的Vera Rubin及網路、儲存、安全等全棧子系統的架構演進，可以看到，當代理式AI的快速落地，單純依靠先進制程推動電晶體微縮、提升GPU峰值FLOPS，已經難以解決複雜AI系統在數據傳輸、任務調度、儲存訪問和集群擴展中的綜合瓶頸。以單顆晶片性能提升為核心的傳統優化路徑，正在逐漸觸及天花板。
NVIDIA 的核心思路，是打通計算、網路、儲存與安全之間長期存在的架構邊界，通過全棧協同設計釋放系統級性能。Vera CPU 通過空間多線程微架構降低複雜AI工作負載下的任務調度延遲；NVL72將整機櫃中的多顆計算晶片整合為統一邏輯計算單元，進一步提升大規模訓練與推理效率；Spectrum-6 CPO技術藉助矽光互連，緩解超大規模AI集群在頻寬、功耗和擴展能力上的壓力；BlueField-4 STX儲存系統結合DOCA 零信任安全架構重新定義了超長上下文數據的訪問機制，以及AI數據中心的安全邊界。
NVIDIA 覆蓋CPU微架構、先進封裝、光互連、儲存架構與安全體系的極致協同設計（Extreme Co-design），也反映出AI 基礎設施競爭邏輯的變化。行業衡量算力價值的尺度，正在從單一晶片的理論峰值性能，延伸到真實AI工作負載下的系統效率。每Token成本、每兆瓦吞吐量、集群利用率，以及端到端響應效率，正在成為衡量AI數據中心價值的關鍵指標。
未來十年，誰能以更低成本、更高能效持續生產Token，誰就能掌握AI基礎設施競爭的主動權。而NVIDIA 正通過這套全棧架構，加速建立Token的生產力「標尺」。
