宅中地 - 每日更新
宅中地 - 每日更新

贊助商廣告

X

Llama 3模型開發中,祖克柏:Meta AI藍圖需要更多NVIDIA GPU

2024年01月19日 首頁 » 熱門科技

Llama 3模型開發中,祖克柏:Meta AI藍圖需要更多NVIDIA GPU


祖克柏18日通過Reels短影音分享Meta AI藍圖,計劃構建大規模的運算基礎設施,到2024年底,運算基礎設施將包含35萬個NVIDIA H100 GPU。

如果加上NVIDIA A100以及其他AI晶片,到2024年底Meta GPU庫存量將達將近60萬個,值得一提的是,AMD去年12月發布Instinct MI300X AI晶片時,就曾透露包括Meta、OpenAI、微軟等公司將採用。Meta也有自研AI晶片計劃,但最快2025年才會投入運算行列。

祖克柏未透露Meta已經採購多少GPU,由於NVIDIA H100是2022年底才上市,且供應量有限,外部研究推測Meta的H100到貨量在2023年達到15萬個,這個數字也與微軟到貨量持平。券商Raymond James的分析師估算,H100價格落在25,000美元至30,000美元之間,在eBay上拍賣價格甚至超過40,000美元。如果Meta以價格範圍底標進行採購,也得付出將近90億美元。

祖克柏還透露,Meta正在訓練大型語言模型Llama 3,由基礎AI研究團隊(Fundamental AI Research,FAIR)和GenAI研究團隊緊密合作開發。Llama 3將具有產生程序代碼的能力,與Google Gemini一樣,另一重點將是更先進的推理和規劃能力。

祖克柏上傳Reels後不久,Meta首席AI科學家楊立昆(Yann LeCun)也談道「為了加速進展,FAIR現在是AI產品部門GenAI的姐妹組織。」

祖克柏分享Meta AI藍圖。

為了進行AGI(Artificial General Intelligence,通用人工智慧)研究,Meta急需AI晶片創建運算基礎,祖克柏強調這是Meta長期願景。AGI是一種媲美人類智能水準的未來AI形式,包括OpenAI、Google DeepMind等也大力投入研發。

楊立昆上個月在一場座談活動分享GPU對AI發展重要性,「你認為AGI已經流行時,就必須採購更多GPU」。同場活動提及NVIDIA和首席執行官黃仁勛(Jensen Huang),由於AI熱潮下NVIDIA獲益匪淺,「這是一場AI戰爭,而Jensen正在提供武器」,楊立昆談道。

從Meta第三季財報顯示,2024資本支出將在940億美元至990億美元之間,一部分將用來擴張運算基礎設施。「就投資重點而言,AI成為我們2024年最大投資領域,無論是在工程還是計算資源上」,祖克柏通過財報電話會議表示。

祖克柏公開了他謀劃已久的AI藍圖,如今AI人才和計算資源的競爭從未如此激烈,各家科技公司都在爭奪少數的研究人員和工程師,更願意砸錢添購AI晶片,只希望在全球AI競賽不落人後。

(首圖來源:Meta)

宅中地 - Facebook 分享 宅中地 - Twitter 分享 宅中地 - Whatsapp 分享 宅中地 - Line 分享
相關內容
Copyright ©2025 | 服務條款 | DMCA | 聯絡我們
宅中地 - 每日更新