英偉達的首席執行官黃仁勛（Jensen Huang）在本周於拉斯維加斯舉行的Siggraph電腦圖形大會的主題演講中詳細介紹了這款晶片。黃仁勛表示，GH200（如圖）目前正在生產中。英偉達計劃在今年年底開始提供該晶片的樣品，並預計在2024年下半年開始在伺服器上使用。
英偉達表示，新版GH200是全球首款包含HBM3e內存的處理器。這是一種高速內存，用於存儲晶片正在處理的數據。它比HBM3（原版GH200使用的技術）快50%。
HBM3e是SK hynix公司採用10納米工藝製造的。英偉達採用該技術不算意外。今年6月，有報道稱該晶片巨頭曾向SK hynix購買HBM3e樣品。
為晶片配備HBM3e之類更快的內存能使其以更高的性能運行大型語言模型。這與語言模型和一般神經網路的架構方式有關。
人工智慧由許多稱為層的軟體構件組成。每個構件執行用戶分配給人工智慧的一小部分任務。
人工智慧的第一層將原始數據作為輸入，對其進行分析並生成一系列中間結果。然後，這些結果被傳送到第二層，由第二層進行進一步處理。然後，進一步處理的結果會被發送到第三層進行新一輪計算，同樣的過程會重複多次。
每當人工智慧的某一層產生中間處理結果時，運行人工智慧的晶片就必須將這些結果保存到內存中。然後，這些數據必須從內存中取出，進入下一個人工智慧層進行進一步分析。這意味著數據要在晶片的邏輯電路和內存之間不斷移動。
英偉達升級版GH200晶片中的HBM3e內存讓數據能夠以比以往更快的速度進出邏輯電路，從而加快了處理速度。據英偉達表示，這種性能提升將使企業能夠運行更先進的人工智慧模型。這家晶片製造商表示，一台配備兩塊新GH200晶片的伺服器可運行的人工智慧模型比使用原版GH200類似配置系統的規模大3.5倍。
新型GH200可在兩個板載計算模塊上運行人工智慧模型。第一個是基於Arm的Neoverse晶片設計的中央處理單元，擁有72個核心。GH200的另一個計算模塊則是一個圖形處理單元，可提供4 PB的AI性能。
在今天的Siggraph大會上，黃仁勛介紹稱GH200的設計是內存和高速緩存一致。這意味著板載GPU和CPU可以在相同的數據上進行計算，而不是像通常要求的那樣使用單獨的數據副本。據英偉達稱，這種做法提高了處理效率。
黃仁勛表示：「你可以將任何大型語言模型放入GPU，它就會瘋狂地進行推理。」「大型語言模型的推理成本將大幅下降。」
GH200兼容英偉達的MGX參考架構，後者是一種設計伺服器的藍圖。因此，硬體製造商將該晶片集成到基於MXP的伺服器中應該比較簡單。
黃仁勛表示，升級之後配備HBM3的GH200還構成了名為Grace Hopper Compute Tray的數據中心系統的基礎。該系統都將單個GH200與英偉達的BlueField-3和ConnectX-7晶片結合在一起。後兩種晶片的設計目標都是為了加快伺服器之間的網路流量，但是BlueField-3也可以加速某些其他計算任務。
單個集群最多可連接256個Grace Hopper Compute Trays。據黃仁勛表示，這樣一個集群可以提供1 exaflop的人工智慧性能。1 exaflop相當於每秒百億億次計算。
