AI 推理模型和智能代理正在改變各個行業，但要充分發揮其潛力並實現規模化，需要海量的計算能力和優化的軟體支持。"推理"過程涉及多個模型，會生成大量額外的 Token，需要具備高速通信、內存和計算能力相結合的基礎設施，以確保實時、高質量的結果。
為滿足這一需求，CoreWeave 推出了基於 NVIDIA GB200 NVL72 的實例，成為首個將 NVIDIA Blackwell 平台推向市場的雲服務提供商。
藉助機架級 NVIDIA NVLink 連接的 72 個 NVIDIA Blackwell GPU 和 36 個 NVIDIA Grace CPU，以及可通過 NVIDIA Quantum-2 InfiniBand 網路擴展至 110,000 個 GPU，這些實例提供了構建和部署下一代 AI 推理模型和智能代理所需的規模和性能。
CoreWeave 上的 NVIDIA GB200 NVL72
NVIDIA GB200 NVL72 是一個液冷的機架級解決方案，具有 72 GPU NVLink 域，使這 72 個 GPU 能夠作為一個巨大的 GPU 協同工作。
NVIDIA Blackwell 具有多項技術突破，可加速推理 Token 的生成，提升性能的同時降低服務成本。例如，第五代 NVLink 在單個 72 GPU NVLink 域中提供 130TB/s 的 GPU 帶寬，第二代 Transformer 引擎支持 FP4，在保持高精度的同時實現更快的 AI 性能。
CoreWeave 的託管雲服務組合專為 Blackwell 打造。CoreWeave Kubernetes Service 通過公開 NVLink 域 ID 優化工作負載編排，確保在同一機架內高效調度。基於 Kubernetes 的 Slurm (SUNK) 支持拓撲塊插件，實現跨 GB200 NVL72 機架的智能工作負載分配。此外，CoreWeave 的可觀察性平台提供 NVLink 性能、GPU 利用率和溫度的實時洞察。
CoreWeave 的 GB200 NVL72 實例配備 NVIDIA Quantum-2 InfiniBand 網路，為最多 110,000 個 GPU 的集群提供每 GPU 400Gb/s 的帶寬。NVIDIA BlueField-3 DPU 還為這些實例提供加速的多租戶雲網路、高性能數據訪問和 GPU 計算彈性。
面向企業 AI 的全棧加速計算平台
NVIDIA 的全棧 AI 平台將尖端軟體與基於 Blackwell 的基礎設施相結合，幫助企業構建快速、準確且可擴展的 AI 智能代理。
NVIDIA Blueprints 提供預定義、可定製、即可部署的參考工作流，幫助開發人員創建實際應用。NVIDIA NIM 是一組易於使用的微服務，用於安全、可靠地部署高性能 AI 推理模型。NVIDIA NeMo 包含用於訓練、定製和持續改進現代企業用例 AI 模型的工具。企業可以使用 NVIDIA Blueprints、NIM 和 NeMo 為其專用 AI 智能代理構建和微調模型。
這些軟體組件都是 NVIDIA AI Enterprise 軟體平台的一部分，是大規模部署智能代理 AI 的關鍵推動力，可以在 CoreWeave 上輕鬆部署。
將下一代 AI 引入雲端
NVIDIA GB200 NVL72 實例在 CoreWeave 上的全面可用，標誌著兩家公司在將最新加速計算解決方案引入雲端方面合作的最新進展。隨著這些實例的推出，企業現在可以獲得支持下一波 AI 推理模型和智能代理所需的規模和性能。
客戶現在可以通過 CoreWeave Kubernetes Service 在 US-WEST-01 區域使用 gb200-4x 實例 ID 開始配置 GB200 NVL72 實例。
