宅中地 - 每日更新
宅中地 - 每日更新

贊助商廣告

X

訓練Grok 3模型恐要10萬顆H100 GPU,耗掉一座小城市用電量

2024年04月11日 首頁 » 熱門科技

訓練Grok 3模型恐要10萬顆H100 GPU,耗掉一座小城市用電量


特斯拉、xAI創辦人暨首席執行官馬斯克(Elon Musk)對AGI(Artificial General Intelligence,通用人工智慧)發展做出大膽預測,並討論AI產業面臨的兩大挑戰。

馬斯克日前通過X平台(前身為Twitter)與挪威央行投資管理公司(Norges Bank Investment Management)首席執行官坦根(Nicolai Tangen)線上對談,預測AGI最快2025年或2026年超越人類智能,但需要大量GPU訓練,同時需要大量電力供應GPU運算。

隨著Grok 1.5發布,xAI正在訓練下一代大型語言模型Grok 2,預計可在5月完成訓練。馬斯克透露,訓練Grok 2需要多達20,000顆NVIDIA H100 GPU,到了Grok 3以後模型需要100,000顆H100 GPU。

進一步看,H100 GPU充分利用時功耗約700W,因此100,000顆GPU用於AI和HPC工作負載,可能消耗高達70兆瓦。由於這些GPU需要伺服器和冷卻系統來運行,可以肯定地是,擁有100,000顆H100 GPU的數據中心消耗約100兆瓦的電力,相當於一座小城市的用電量。

馬斯克強調,目前GPU供應短缺已是重大障礙,但電力供應在未來一兩年內將變得越來越棘手,這樣的雙重限制凸顯出AI技術演進、運算需求激增所面臨的挑戰。

(首圖來源:shutterstock)

宅中地 - Facebook 分享 宅中地 - Twitter 分享 宅中地 - Whatsapp 分享 宅中地 - Line 分享
相關內容
Copyright ©2025 | 服務條款 | DMCA | 聯絡我們
宅中地 - 每日更新