宅中地 - 每日更新
宅中地 - 每日更新

贊助商廣告

X

英偉達推出H100 NVL:用於大語言模型訓練

2023年03月22日 首頁 » 熱門科技

今年以ChatGPT為首的大語言模型突然在網上爆紅,引起了人們對於AI的極度追求。而大語言模型的訓練則需要大量的計算卡,這便是英偉達的優勢。去年英偉達正式推出了H100計算卡,讓計算卡的性能達到新的高度,而這一次英偉達又推出了H100 NVL,專門為大語言模型而打造。

英偉達推出H100 NVL:用於大語言模型訓練

英偉達表示H100 NVL是為大型語言模型所準備的產品,由2 H100計算卡通過PCIe橋接在一起,相比較單張H100計算卡,這套系統可以提供188GB的HBM 3顯存。而英偉達稱目前ChatGPT所採用的訓練電腦搭載的是英偉達HGX A100,而如果說使用H100 NVL計算卡的話,基於四對H100以及雙NVLINK的伺服器可以讓處理與計算速度提升10倍,從而讓大語言模型的處理效率大幅提升,進而降低使用成本。甚至通過軟硬體的優化,大語言模型的建模與訓練速度最高可以提升30倍。預計H100 NVL計算卡將會在今年下半年和大家正式見面。

英偉達推出H100 NVL:用於大語言模型訓練

除此之外英偉達也推出了L4,專門為AI影片解碼與轉碼打造,英偉達表示相比較傳統的CPU轉碼,通過L4這樣的專屬晶片可以實現最高120倍的AI影片性能提升,並且能效比提升99%,英偉達稱基於8塊L4 GPU的影片解碼伺服器可以替代原有100多台的影片解碼伺服器,同樣也是大幅提升工作效率,增加企業的生產力。可以說無論是H100 NVL還是L4,都是英偉達為專屬領域所推出的計算設備,相比較過去的通用性晶片,這種專屬晶片擁有更加出色的優化,能夠為特定任務起到事半功倍的效果。

宅中地 - Facebook 分享 宅中地 - Twitter 分享 宅中地 - Whatsapp 分享 宅中地 - Line 分享
相關內容
Copyright ©2025 | 服務條款 | DMCA | 聯絡我們
宅中地 - 每日更新