NVIDIA與Amazon在多項大型語言模型、推薦系統等AI應用有著密切合作。GH200 NVL32在單一機櫃內集成32組GH200,AI運算性能高達128PFLOPS,具有4.5TB HBM3e高帶寬內存與20TB總內存。Project Ceiba超級電腦由16,384組GH200組成,總內存容量高達9.8PB,並具有65EFLOPS的AI運算性能。Amazon也將推出基於H200、L40S、L4等GPU的P5e、G6e、G6等執行實例。NeMo Retriever有助於企業加速生成式AI模型的構建、定製化和部署。舉例來說,企業可以快速為大型語言模型「插件」資料庫,提高回應的準確度。Isaac Sim機器人開發平台和L40S GPU能加速機器人開發、模擬與訓練。Alchemab Therapeutics、Basecamp Research、Character Biosciences、Evozyne、Etcembly和LabGenius等生物科技創業公司已經使用AWS,並藉由BioNeMo以生成式AI加速藥物開發。此次合作提供更多快速擴展雲計算計算資源的方暗,以便開發基於生物分子數據訓練的生成AI模型。
NVIDIA在Amazon AWS re:Invent大會宣布GH200 NVL32 GPU與Project Ceiba超級電腦,並與Amazon共同推出多款執行實例與雲計算服務。
NVIDIA將這次發布的GH200 NVL32針對生成式AI等應用設計,並定位為機櫃尺寸的GPU。它在單一機櫃內集成32組GH200Grace Hopper Super Chip,並通過NVLink和NVSwitch技術互聯,組成具有4.5TB HBM3e高帶寬內存,以及20TB內存總量的大型運算節點,並採用水冷散熱方案。
AWS(Amazon Web Services)將成為首間將全新多節點GH200導入雲計算的雲計算服務供應商,可將32組GH200組成單一Amazon Elastic Compute Cloud(Amazon EC2)執行實例,並推出採用GH200 NVL32的DGX Cloud人工智慧訓練即服務(Training as a Service,TaaS),讓開發者可以在單一執行實例中使用容易極大的共享內存,加速訓練生成式人工智慧和超過1兆組參數的大型語言模型(LLM)。
對於需要更高的用戶,還可進一步由AWS Nitro System高端虛擬化和Amazon EC2 UltraClusters超大規模集群等技術將運算能量進而擴展至上千組GH200,滿足不同量級的使用需求。
NVIDIA與Amazon也合作推動Project Ceiba超級電腦計劃,它將配備16,384組GH200,並由Amazon EFA技術互聯,提供高達65EFLOPS的AI運算性能,將成為全球最快、基於GPU的AI超級電腦。
在其它服務部分,Amazon也將推出基於H200的P5e執行實例,適用於大規模和尖端的生成式AI和HPC(高性能計算)等工作負載,以及基於L40S的G6e執行實例與基於L4的G6執行實例,適用於AI模型微調、推論以及多媒體創作等應用。其中G6e執行實例特別適合搭配NVIDIA Omniverse進行3D開發、數字孿生等應用。
NVIDIA也發布了多款軟體與服務,其中NeMo Retriever能用於構建、定製化和部署生成式AI模型,能夠藉由NVIDIA優化的算法讓生成式AI應用程序提供更準確的回應,協助開發人員可以創建定製化的生成式AI聊天機器人、Copilot助理和摘要工具,讓這些AI應用程序訪問企業資料庫,並準確通過生成式AI的智慧提高生產力。
AWS也即將提供Isaac Sim機器人開發平台和L40S GPU,將強大的AI運算與多媒體加速相結合,可在Omniverse帶來高於前代產品3.8倍的性能提升,加速工程和機器人團隊的工作流程。
此外用於藥物研發生成式AI平台BioNeMo也將登陸AWS,讓醫療研發人員能在雲計算靈活集成多種NVIDIA加速運算單元,加速雲計算伺服器擴大模型訓練和部署規模。
NVIDIA創辦人暨首席執行官黃仁勛表示,生成式AI正在改變雲計算工作負載,並將加速運算作為多樣化內容生成的基礎。在向每位客戶提供經濟高效、最先進生成式AI慧的共同使命驅動下,NVIDIA和AWS將在AI基礎設施、加速函數庫、基礎模型和生成式AI等完整運算堆棧持續。