當前,生成式AI已經成為最具時代性的變革性技術。而在COMPUTEX主題演講上,NVIDIA創始人兼首席執行官黃仁勛展示了多個新系統、軟體及服務,讓生成式AI革新廣告、製造、電信等行業。
在黃仁勛看來,加速計算和AI標誌著計算的革新。「我們現在正處於一個全新計算時代的轉折點,加速計算和AI已經被世界上幾乎所有的計算和雲公司所採用。」
01 DGX GH200 AI超級電腦
生成式AI、大型語言模型和推薦系統等推動算力系統的極致發展。NVIDIA DGX GH200 AI超級電腦就是這樣一款產品。
NVIDIA DGX GH200由NVIDIA GH200 Grace Hopper超級晶片和NVIDIA NVLink Switch System驅動,提供1exaflop的性能和144TB的共享內存——相較2020年推出的上一代NVIDIA DGX A100內存大了近500倍。
GH200超級晶片使用NVIDIA NVLink-C2C晶片互連,將基於Arm的NVIDIA Grace CPU與NVIDIA H100 Tensor Core GPU整合在一起,從而不再需要傳統的CPU至GPU PCIe連接。與最新的PCIe技術相比,這將GPU和CPU之間的帶寬提高了7倍,將互連功耗減少了5倍以上,並為DGX GH200超級電腦提供了一個600GB的Hopper架構GPU構建模塊。
DGX GH200是第一款將Grace Hopper超級晶片與NVIDIA NVLink Switch System配對使用的超級電腦,這種新的互連方式使DGX GH200系統中的所有GPU作為一個整體協同運行。上一代系統在不影響性能的前提下只能通過NVLink把8個GPU整合成一個GPU。
DGX GH200架構相比上一代將NVLink帶寬提升了48倍以上,實現在單個GPU上通過簡單編程即可提供大型AI超級電腦的能力。
在軟體堆棧方面,DGX GH200超級電腦支持NVIDIA軟體,包括NVIDIA Base Command、NVIDIA AI Enterprise等,可為最大的AI和數據分析工作負載提供一個交鑰匙式全棧解決方案。
據悉,谷歌雲、Meta和微軟是首批有望接入DGX GH200來探索其用於生成式AI工作負載的能力的公司。NVIDIA還打算將DGX GH200設計作為藍圖提供給雲服務提供商和其他超大規模企業,以便他們能夠進一步根據他們自己的基礎設施進行定製。
02 模塊化參考架構NVIDIA MGX
為了滿足各種規模數據中心的需求,NVIDIA發布了一個用於創建加速伺服器的模塊化參考架構NVIDIA MGX。系統製造商將使用該架構快速、經濟地構建100多種不同的伺服器配置,滿足各種AI、HPC和NVIDIA Omniverse應用的需求。
MGX與NVIDIA HGX的不同之處在於,它能夠靈活地兼容多代NVIDIA產品,確保系統製造商能夠重新利用現有設計,並輕鬆地採用下一代產品,而無需代價高昂的重新設計。相比之下,HGX基於一個通過NVLink連接的多GPU基板,為打造極致的AI和HPC系統而量身定製。
憑藉MGX,製造商能夠使用通用架構和模塊化組件構建CPU和加速伺服器。MGX支持NVIDIA全部GPU、CPU、DPU和網路適配器系列,以及各種風冷、液冷機箱的x86和Arm處理器。
ASRock Rack、ASUS、GIGABYTE、Pegatron、QCT和Supermicro將採用MGX,它可將開發成本削減四分之三,並將開發時間縮短三分之二至僅6個月。
比如NVIDIA正在與電信巨頭軟銀合作,在日本建立分布式數據中心網路,為提供新型服務奠定基礎。它將在通用雲平台上提供5G服務和生成式AI應用程序。
這些數據中心將使用模塊化MGX系統中的NVIDIA GH200超級晶片和NVIDIA BlueField-3 DPU以及NVIDIA Spectrum以太網交換機提供5G協議所需的高精度計時。該平台將通過提高頻譜效率來降低成本和能耗。
NVIDIA Grace Hopper和NVIDIA BlueField-3 DPU將加速軟體定義的5G vRAN以及生成式AI應用,而無需定製硬體加速器或專用5G CPU。此外,配備BlueField-3的NVIDIA Spectrum以太網交換機將為5G提供高精度時間同步協議。
該解決方案在NVIDIA加速的1U MGX伺服器設計上實現了突破性的5G速度,根據公開的5G加速器數據,它實現了業內吞吐量最高的36Gbps下行鏈路容量。
03 NVIDIA Spectrum-X網路平台
生成式 AI 等革命性技術對於數據中心的性能提出了更高的要求,特別是網路性能。NVIDIA Spectrum-X網路平台的目標是提高基於以太網AI雲的性能與效率,與現有以太網的堆棧實現互通。
NVIDIA Spectrum-X網路平台步於Spectrum-4 ,這是全球首款專為AI網路打造的51Tb/s以太網交換機。先進的RoCE擴展功能可以跨Spectrum-4交換機、BlueField-3 DPU和NVIDIA LinkX光纖相互協同,共同構建了一個專為AI雲優化的端到端400GbE網路。
NVIDIA Spectrum-X通過性能隔離增強了多租戶環境,確保租戶的AI工作負載能以最佳性能持續運行。NVIDIA Spectrum-X還提供了更好的AI性能可見性,它可以識別性能瓶頸,而且具有全自動網路驗證功能。
NVIDIA Spectrum-X將NVIDIA Spectrum-4以太網交換機與NVIDIA BlueField-3 DPU緊密結合,取得了1.7倍的整體AI性能和能效提升,同時可在多租戶環境中提供一致、可預測的性能。
Spectrum-X還提供NVIDIA加速軟體和軟體開發套件(SDK),使開發人員能夠構建軟體定義的雲原生AI應用。驅動Spectrum-X的加速軟體包括Cumulus Linux、純SONiC和NetQ等性能強大的NVIDIA SDK,共同助力該網路平台實現極致性能。另外,Spectrum-X還包括BlueField DPU的核心軟體——NVIDIA DOCA軟體框架。
NVIDIA Spectrum-X單台交換機即可實現突破性的256個200Gb/s埠的連接,使用兩層葉脊拓撲可以連接16000個埠,以支持AI雲的增長和擴展,同時保持極高的性能和極低的網路延時。
作為 NVIDIA Spectrum-X參考設計的藍圖和測試平台,NVIDIA正在構建一台超大規模生成式AI超級電腦,命名為Israel-1。它將被部署在NVIDIA以色列數據中心,由基於NVIDIA HGX平台的戴爾PowerEdge XE9680伺服器, BlueField-3 DPU和Spectrum-4交換機等打造而成。
04 NVIDIA ACE為遊戲引入生成式AI
生成式AI引入到遊戲中會產生怎樣的效應呢?生成式AI將徹底改變玩家與遊戲人物之間的互動方式,並極大地提高遊戲沉浸感。
NVIDIA ACE幫助遊戲開發者在他們的遊戲和應用中建立和部署定製的語音、對話及動畫AI模型。
在NVIDIA Omniverse的基礎上,「ACE遊戲開發版(ACE for Games)」為語音、對話和角色動畫提供優化的AI基礎模型,包括:NVIDIA NeMo、NVIDIA Riva、NVIDIA Omniverse Audio2Face等。
目前遊戲開發者與初創公司已在其工作流上使用NVIDIA生成式AI技術,比如獨立遊戲開發者Fallen Leaf 用 Audio2Face 來製作《索利斯堡》(FORT SOLIS)中角色的臉部動畫。
「ACE 遊戲開發版(ACE for Games)」代工服務支持本地或雲端部署,協助開發者微調遊戲模型,然後通過 NVIDIA DGX Cloud,GeForce RTX PC 或現場加以部署,以實時進行推理。
在客戶端側,NVIDIA和微軟緊密合作,使用全新的和經過強化的工具、框架和驅動程序,PC開發者可以更加輕鬆地開發和部署AI。例如用於優化和部署GPU加速AI模型的Microsoft Olive工具鏈,以及新的圖形驅動程序,將大幅提升配備NVIDIA GPU的Windows PC上的DirectML性能。
這項合作將加強1億台配備RTX GPU的PC性能,並繼續擴大設備數量。這些GPU中的Tensor Core可大幅提升400多個AI加速Windows應用和遊戲的性能。
05 NVIDIA Omniverse的虛實融合
生成式AI的影響不光表現在遊戲內容方面,也在為價值7000億美元的數字廣告行業帶來新的機遇。
全球最大的營銷服務機構WPP正與NVIDIA一起在Omniverse Cloud上構建首個生成式AI內容引擎。WPP客戶可以使用製作完畢的場景生成大量廣告、影片和3D體驗,供全球市場和用戶在任何網路設備上使用。
除了數字廣告,工業製造企業通過Omniverse和生成式AI 的API接口,以連接他們的設計和製造工具,從而構建工廠數字孿生。他們還使用NVIDIA Isaac Sim模擬和測試機器人,並使用視覺AI框架NVIDIA Metropolis實現光學檢測的自動化。
最新組件NVIDIA Metropolis for Factories可以創建定製化的質控系統,為製造商帶來競爭優勢。該組件正在幫助企業開發先進的AI應用。
例如,在全球生產筆記本電腦、智慧型手機等300種產品的和碩,正在使用Omniverse、Isaac Sim和Metropolis創建虛擬工廠。該公司能夠在虛擬工廠中的模擬環境測試各種流程,為其節省了時間和成本。
和碩還使用NVIDIA DeepStream軟體開發套件開發智能影片應用,將吞吐量提高了10倍。
富士康工業網際網路是這家全球超大技術製造商的服務部門,該部門攜手NVIDIA Metropolis合作夥伴,一起實現其電路板質控檢查點重要環節的自動化。
廣達的子公司Techman Robot使用NVIDIA Isaac Sim優化其生產線上的檢測。實際上,這是在使用模擬機器人,來訓練機器人製造出更好的機器人。
此外,NVIDIA還發布了一個新平台,以支持下一代自主移動機器人 (AMR) 車隊。 Isaac AMR可以幫助模擬、部署和管理自主移動機器人車隊。
06 結語
從AI超級電腦到參考架構、網路平台,NVIDIA為生成式AI構建了堅實的底座,同時在遊戲、元宇宙等應用領域開展創新工作。新的一輪計算變革箭在弦上。