2 月 19 日消息，ChatGPT 風靡全球後，科技巨頭們紛紛入局，生成式 AI 其背後以大模型為基礎的人工智慧成為業界投入的方向。
了解到，所謂「大模型」，通常是在無標註的大數據集上，採用自監督學習的方法進行訓練。之後在其他場景的應用中，開發者只需要對模型進行微調，或採用少量數據進行二次訓練，就可以滿足新應用場景的需要。
然而，訓練通用大模型非常「燒錢」。據國盛證券報告《ChatGPT 需要多少算力》估算，GPT-3 訓練一次的成本約為 140 萬美元，對於一些更大的 LLM（大型語言模型），訓練成本介於 200 萬美元至 1200 萬美元之間。以 ChatGPT 在 1 月的獨立訪客平均數 1300 萬計算，其對應晶片需求為 3 萬多片英偉達 A100 GPU，初始投入成本約為 8 億美元，每日電費在 5 萬美元左右。
如果將當前的 ChatGPT 部署到谷歌進行的每次搜索中，需要 512820.51 台 A100 HGX 伺服器和總共 4102568 個 A100 GPU，這些伺服器和網路的總成本僅資本支出就超過 1000 億美元。
國盛證券認為，在公有雲上，對於以谷歌等全球科技大企業而言，百萬至千萬美元級別的訓練成本並不便宜，但尚在可接受範圍內、並非昂貴。
