在AI工廠中，高頻寬內存（HBM）是速度最快、成本最高、爭奪最激烈的內存層級。每一個用於儲存冗餘權重副本、閒置會話KV緩存或重複計算前綴的字節，都意味著少了一個用於生成Token的字節。如今的問題已不再是GPU擁有多少內存，而是每個字節能帶來多少有效工作量。
下面圖1中的代際數據說明了這一點。從GB300到NVIDIA Rubin，內存容量維持在288 GB不變，而頻寬則提升至19.2 TB/s。
智能體任務的單位功耗吞吐量增長遠超這一比例。在SemiAnalysis AgentX測試中（該測試會重放真實編程智能體會話記錄，包含真實的工具調用間隔和不斷增長的上下文），NVIDIA Vera Rubin NVL72在每用戶160 Token/秒的條件下，單位功耗吞吐量最高可達GB300 NVL72的30倍。
單憑容量無法解釋這30倍的性能提升——畢竟每個GPU的容量同樣是288 GB。真正的差異在於每個字節能產生多少有效工作量。
NVIDIA將這視為一項涵蓋GPU架構、擴展互連、服務端軟體、CPU及儲存的協同設計問題。本文將探討協同設計如何從五個方面提升每個內存字節的價值——從編碼單個權重的比特，到在智能體多輪交互與多節點間保存並復用上下文的共享儲存。
NVFP4如何用更少字節儲存更多智能？
提升字節價值最直接的方法，就是在不損失資訊的前提下縮小每個數值的大小。NVFP4通過4比特的E2M1元素和兩級縮放機制實現這一點：每16個數值組成的微塊共享一個FP8（E4M3）縮放因子，並在此基礎上疊加一個張量級的FP32縮放因子。最終形成的格式既足夠精簡以釋放大量HBM空間，又保持足夠的粒度以在原生4比特格式表現不佳的場景下維持精度。
應用於權重時，相比FP16，NVFP4可將模型體積縮減約3.5倍；相比FP8則縮減1.8倍，從而為智能體推理最需要的資源——更大的KV緩存容量、更大的批處理規模以及更高的並發能力——釋放出內存空間。NVFP4已成為AA-AgentPerf、SemiAnalysis AgentX和MLPerf Endpoints等具有嚴格精度要求的開放智能體基準測試的默認精度格式。在這些基準測試及主流混合專家（MoE）架構中，NVFP4在相同交互性條件下可實現FP8基線吞吐量的4倍（見下圖3）。
同樣的原理也適用於KV緩存本身。與FP8相比，NVFP4 KV緩存可將緩存占用空間減少最多50%，使設備上可駐留的上下文量提升約2倍。更少的驅逐意味著預填充階段更高的緩存命中率，而更小的緩存也意味著解碼階段消耗的頻寬更少。
NVFP4壓縮了字節本身。下一個問題是：這些字節儲存在哪裡，以及AI工廠需要保留多少份副本。
NVLink擴展域如何將72個GPU整合為一個內存池？
MoE模型每個Token只激活一部分參數，但每個專家的權重仍必須駐留在HBM某處。當專家被集中分配到少量GPU上時，每個GPU都要耗費大量內儲存存權重，並且每個解碼步驟都要為MoE分組矩陣乘法付出高昂的權重加載成本。字節雖然駐留在內存中，卻沒有發揮應有的效用。
NVIDIA TensorRT-LLM中的寬域專家並行（Wide-EP）技術通過將專家分散到8個或更多GPU上來改變這一比例。以DeepSeek-R1在EP64配置下為例，每個GPU每層只需儲存4個專家，在完整模型的14848個專家塊中僅承擔58個MoE層中的232個專家塊。每GPU專家權重的減少帶來以下好處：
容量方面：每個GPU上更多的HBM空間可用於KV緩存、更大批處理及更高並發。
計算密度方面：分組矩陣乘法核心能在更多Token間復用每個已加載的權重，提升每字節的浮點運算量。
負載均衡方面：專家並行負載均衡器（EPLB）在前向傳播之間重新分配熱點和冷門專家，確保不會出現某個GPU內存超載而另一個閒置的情況。
這一切之所以能夠實現，是因為擴展域使遠程字節幾乎與本地字節同樣可用。每個MoE層都會觸發全互聯的分發與合併通信，若沒有高頻寬互連結構，這些集合通信將抵消上述收益。在GB200 NVL72上，總計130 TB/s的NVLink聚合頻寬足以吸收這些通信流量，在每用戶100 Token/秒條件下，大規模專家並行（EP32）相比小規模專家並行（EP8）每GPU可多輸出最多1.8倍的Token。
Vera Rubin NVL72延續了相同的設計理念。每個Rubin GPU配備最高288 GB的HBM4內存和3.0 TB/s的NVLink 6頻寬，整機櫃HBM4總容量約達20.7 TB。Rubin還新增了內聯內存張量加速器（TMA）描述符更新功能，使單個共享描述符即可服務於所有採用通用布局的專家，從而降低隨專家數量增長而增加的元數據開銷。
寬域專家並行決定了權重字節的儲存位置。下一個關鍵在於：KV緩存字節一旦被計算出來，是否還需要被重複計算。
NVIDIA Dynamo如何讓每個緩存字節都物盡其用？
鍵值（KV）緩儲存存了先前處理過的Token的中間注意力計算結果，使模型能夠復用這些結果而非重新計算。這種推理狀態是短暫的，可以在需要時被驅逐並重新計算，但只有被復用時，KV緩存才有價值。智能體工作負載中充滿了復用機會：系統提示詞、工具模式定義、共享文檔以及多步驟任務不斷增長的歷史記錄。但是，如果某個請求被分配到不持有其前綴內容的GPU上，或者該前綴剛剛被驅逐，系統就必須再次為預填充付出代價。這些字節本來是存在的，只是出現在了錯誤的位置。
NVIDIA Dynamo是彌合這一差距的分布式服務層。它將KV緩存視為整個集群範圍內的資源，而非單個GPU的附帶產物，並通過三項協同設計的能力實現這一點：
KV感知路由：Dynamo路由器會追蹤KV塊所在的位置，在分配請求時綜合考慮緩存前綴的重疊程度與工作節點的負載情況。它在現有上下文與將任務發送至已占用GPU的成本之間進行權衡，將潛在的重複計算轉化為緩存命中。
分離式服務：預填充與解碼運行在各自獨立的GPU資源池中，每個資源池均按照自身的計算和內存特徵進行規劃配置。解碼GPU可以將HBM專門用於KV緩存和批處理規模，而不必為突發的預填充任務預留餘量。
KV緩存運行器（KVCR）：該組件追蹤每個數據塊在已配置的GPU、固定CPU內存及儲存層級（包括本地SSD和掛載的網路文件系統）中的位置。保存在HBM之外的前綴內容，可在後續請求需要時被恢復，使有用的上下文能夠在GPU驅逐後繼續存活，並持續節省預填充工作量。KVCR使用NVIDIA推理傳輸庫（NIXL）處理其儲存傳輸路徑，使緩存數據塊能夠在GPU處理其他任務的同時進行遷移。KVCR還支持分布式復用：路由器提供的提示資訊可幫助指定的工作節點從對等節點檢索緩存上下文，同時推理引擎仍保留對GPU內存和本地主機卸載的控制權。此外，KVCR-Guard功能可在引擎發生故障時，只要守護服務和主機保持可用，就能保留已提交的KVCR管理的主機內存緩存。
Dynamo的KV緩存卸載依賴於快速檢索：當加載前綴內容的速度快於重新執行預填充時，將其保存在HBM之外才有意義。NIXL將這一卸載路徑與外部儲存系統相連接。在各自獨立的驗證測試中，儲存供應商VAST Data通過GPUDirect Storage實現了對單個H100 GPU達35 GB/s的傳輸速率，而WEKA通過定製的NIXL插件在8個H100 GPU間實現了最高270 GB/s的聚合讀取吞吐量。這些測試表明，外部儲存能夠為所測試的GPU系統提供KV緩存，而不會成為傳輸瓶頸，從而支持超出HBM容量限制的緩存能力。另一項由VAST進行的測試則展示了響應時間方面的收益：在一台DGX H100系統上使用vLLM和LMCache，對於擁有13萬Token提示詞的Qwen3-32B模型，加載已儲存的KV緩存而非重新計算，縮短了生成首個Token所需的時間。
Dynamo協調著緩存字節的去向及其返回時機。接下來的兩項舉措則進一步擴展了可用於容納上下文的容量，首先從CPU內存說起。
NVIDIA Vera CPU如何避免閒置上下文浪費HBM資源？
智能體推理並非一次不間斷的連續過程。單次會話會在GPU模型執行步驟與CPU端工作（如工具調用、代碼執行、資訊檢索、資料庫查詢及沙盒環境評估）之間交替進行。在每一次間隔期間，任何保留在HBM中的會話KV緩存都會占用容量卻無法服務於正在進行的Token生成，而其他請求則在爭奪同樣的字節資源。
在一個滿負荷運行的AI工廠中，GPU不會閒置等待。它會在工具調用運行期間接納新的請求，而間隔時間越長，原始會話的KV緩存被驅逐以騰出空間的可能性就越大。當工具調用返回結果時，GPU可能必須通過完整的預填充過程重新構建該上下文，而無法從緩存狀態恢復。因此，一個緩慢的CPU會使HBM付出雙重代價：首先是閒置占用，其次是重新計算。
NVIDIA Vera CPU從兩個方面解決了這一問題：
縮短間隔時間：88個Olympus核心帶來1.8倍的單線程性能提升，峰值負載延遲相比x86 CPU降低40%，每核心內存頻寬最高可達14 GB/s。更快速、更可預測的工具調用縮短了KV緩存暴露於驅逐風險的時間窗口。
提供快速的上下文存放空間：每個Vera CPU提供最高1.5 TB的LPDDR5X內存，是單個Rubin GPU的HBM4容量的5倍以上。NVIDIA NVLink-C2C以1.8 TB/s的頻寬將其與Rubin相連，相當於x16 PCIe Gen 6鏈路256 GB/s頻寬的約7倍。
這些能力共同改變了閒置會話的運作方式。Dynamo的KV塊管理器不必將閒置會話的KV緩存保留在HBM中或直接丟棄，而是可以在工具調用期間將其暫存至Vera內存中，待智能體恢復運行時通過NVLink-C2C將其取回。HBM始終專注於服務正在主動生成Token的會話，而暫停的會話也無需為預填充付出兩次代價。
Vera內存是一個「溫層」級儲存，適用於會在同一輪交互內返回的上下文。而對於需要跨越多輪交互、多個智能體乃至多個節點持續存活的上下文，AI工廠還需要一個容量更大的儲存層級。
NVIDIA CMX如何在整個計算池範圍內擴展上下文內存？
將每個可復用的KV緩存字節都保留在GPU或主機內存中會限制活躍推理的可用容量，而將其丟棄則可能導致重複計算。多輪次會話、長周期任務以及共享工作內存的多智能體工作流，都會產生需要再次使用的KV緩存——這種需求往往在數分鐘後出現，且常常發生在不同的節點上。更長的上下文窗口和更多的並發會話，使KV緩存容量需求超出了GPU HBM（見下圖9中的G1）和主機內存（G2）的承載能力。傳統的儲存層級體系並非為此類數據而設計。本地SSD（G3）僅綁定於單個節點，而共享企業級儲存（G4）則專為持久化數據構建，承載著複製和元數據方面的開銷，而這些對於短暫存在的KV緩存而言並無必要。
NVIDIA CMX上下文內儲存存通過引入全新的G3.5層級彌補了這一空白：以太網連接的快閃記憶體儲存，在計算池級別共享，並專門針對KV緩存進行了優化。該方案基於NVIDIA STX參考設計構建，並在四個層面上進行了協同設計：
儲存處理：NVIDIA BlueField-4 STX儲存處理器負責管理NVMe SSD、運行儲存服務，並為KV緩存提供數據完整性與加密方面的卸載處理。
網路連接：NVIDIA Spectrum-X以太網為計算節點與CMX儲存節點之間提供低延遲、高頻寬的RDMA訪問能力。
KV感知服務：NVIDIA DOCA Memos在BlueField-4上提供KV感知服務及I/O控制能力，將上下文視為一種可被獨立調度和共享的一級資源。
服務集成：Dynamo與NIXL使CMX在整個計算池範圍內呈現為一個統一無縫的上下文層級，能夠預先部署上下文數據，並將請求路由至KV緩存已存在的位置。
正是這種計算池級別的設計，提升了每個字節的價值。某一節點計算出的前綴內容，可以在整個計算池內兼容的模型實例間復用，因此共享文檔、工具或工作內存的多個智能體能夠避免重複的預填充過程。在整個計算池範圍內匯聚上下文儲存，減少了各節點間的KV緩存重複和閒置容量，從而有效擴展了可用於推理的GPU內存。通過將可復用的上下文預先部署到GPU或主機內存中，CMX減少了推理過程中的停滯現象，而其針對KV緩存優化的儲存層級也降低了服務該上下文所需的功耗開銷。綜合這些能力，在長上下文推理場景下，CMX相比傳統儲存方案最高可實現5倍的Token處理速度提升和最高5倍的能效提升。
這五項舉措如何協同發揮作用？
每一項舉措都消除了不同類型的浪費：NVFP4消除了數值中不必要的比特位，寬域專家並行消除了冗餘的權重副本，Dynamo消除了重複計算，Vera消除了工具調用期間的閒置占用，而CMX則實現了跨節點的KV緩存共享與復用。由於這些舉措被作為一個統一的內存系統而非獨立部分進行設計，其收益能夠相互疊加：一個4比特的KV數據塊無論儲存在HBM、Vera內存還是CMX中，都能同樣節省空間。
最終呈現出的，是一個不再僅以容量衡量內存價值，而是以每個字節所產生的有效Token數量來衡量內存價值的AI工廠。Vera Rubin NVL72正體現了這一理念：在每GPU同樣288 GB容量的條件下，單位功耗吞吐量可達GB300 NVL72的30倍。隨著智能體工作負載不斷增長，每一個字節都至關重要。
