NVIDIA 13日推出AI運算平台HGX H200，采Hopper架構，配備H200 Tensor Core GPU和高端內存，以處理AI和高性能計算產生的大量數據。NVIDIA對上一代H100進行升級，內存帶寬提高1.4倍、容量提高1.8倍，提升處理密集型生成式AI工作的能力。
H200對內置內存改變帶來有意義的升級，首次採用HBM3e內存規格，使GPU內存帶寬從H100的每秒3.35TB提高至4.8TB，內存總容量也從H100的80GB提高至141GB，與H100相比，對Llama 2模型的推理速度幾乎翻倍。
「集成更快、更廣泛的HBM內存有助於對運算要求較高的任務提升性能，包括生成式AI模型和高性能計算應用程序，同時優化GPU使用率和效率」，NVIDIA高性能計算產品副總裁Ian Buck表示。
H200還能與已支持H100的系統兼容，NVIDIA表示，雲計算服務商將H200添加到產品組合時不需要進行任何修改。首批H200預計2024年第二季出貨，NVIDIA伺服器製造夥伴（包括永擎、華碩、戴爾、Eviden、技嘉、HPE、鴻佰、聯想、雲達、美超微、緯創資通以及緯穎科技）可以使用H200更新現有系統，而亞馬遜、Google、微軟、甲骨文等將成為首批採用H200的雲計算服務商。
新晶片推出肯定很昂貴，NVIDIA沒有列出它的價格，國外媒體CNBC報道則稱，上一代H100價格估計為每個25,000美元至40,000美元。NVIDIA發言人Kristin Uchiyama指出，最終定價將由NVIDIA製造夥伴制定。
H200亮相後不會影響H100生產，「你會看到我們全年的整體供應量有所增加」，Kristin Uchiyama談道。
NVIDIA晶片被視為高效處理大量數據和訓練大型語言模型、AI生成工具最佳選擇，在發布H200之際，AI公司仍在市場上拼命尋求H100。於是市場關注焦點仍在於，企業客戶是否能夠順利獲得新晶片，還是會像H100一樣有供不應求的狀況，對此NVIDIA並沒有給出答案。
明年對GPU買家而言將是一個更有利時期，《金融時報》8月報道曾指出，NVIDIA計劃在2024年將H100產量增長三倍，產量目標將從2023年約50萬個增加至2024年200萬個。但生成式AI仍在蓬勃發展，需求可能只會更大。
隨著H200推出，NVIDIA 13日股價一度上漲1.5%，今年到目前為止，NVIDIA股價已經上漲超過200%，也成為費城半導體指數至今表現最好的公司。
（首圖來源：NVIDIA）
