ChatGPT僅推出2個月,月活躍用戶就已達1億,半年時間ChatGPT就成為了生成式AI的現象級產品。
在生成式AI的發展中,算力的存在可以說舉足輕重。可以看到大模型正在帶動AI算力需求超越摩爾定律增長,據統計AI訓練任務中的算力增長,每 3.5個月就會翻一倍。
以GhatGPT為例,在預訓練算力上,訓練一次1,746億參數的GPT-3模型需要的算力約為 3,640 PFlop/s-day,對應的單次訓練成本高達460萬美元;日常運營算力上,GhatGPT根據訪問量與內容量測算,單月運營算力約4,800PFlop/s-day;調優疊代算力上,每月模型調優帶來的算力需求為82.5~137.5 PFlop/s-day。
現階段,算力作為數字經濟時代新的生產力,已成為經濟社會高質量發展的重要支撐。工業和資訊化部數據顯示,我國近年來算力產業年增長率近30%,算力總規模位居全球第二。截至2022年底,我國算力總規模達到180EFLOPS(每秒18000京次浮點運算),算力核心產業規模達到1.8萬億元。
工業和資訊化部新聞發言人、總工程師趙志國近日表示,近期通用人工智慧的發展對算力提出了更高要求,工業和資訊化部將重點從三方面著手:一是持續推動算力基礎設施建設;二是聚力推進關鍵核心技術攻關和產業升級;三是激發算力應用賦能價值。
而且在「百模」大賽下,全球算力需求呈指數級增加,帶動了國內AI伺服器市場快速增長。本期《數字化轉型方略》將和大家聊聊什麼樣的算力,才能滿足大模型千億數量級的訓練需求?AI算力還有哪些發展方向?
總的來說,AI算力的發展已經成為數字經濟時代的重要驅動力,無論是晶片廠商、伺服器廠商、還是雲廠商,他們都在不斷地滿足著AI算力的需求,推動著AI技術的發展。而對於我們來說,未來是如何用好AI算力,產生創新洞見。