Meta公司開發了最大的基礎開源大型語言模型之一Llama，該公司認為未來將需要更強的運算能力來訓練模型。
祖克柏（Mark Zuckerberg）在Meta第二季度財報電話會議上表示，為了訓練Llama 4，公司需要比訓練Llama 3多10倍的運算能力。但他仍然希望Meta能夠提高訓練模型的能力，而不是落後於競爭對手。
祖克柏說：「訓練Llama 4所需的運算量很可能是我們訓練Llama 3所需的計算量的近10倍，而且未來的模型還將繼續增長。很難預測未來幾代的發展趨勢。但在這一點上，考慮到啟動新推理項目的籌備時間較長，我寧願冒險在需要之前建設能力，而不是為時已晚。」
Meta於今年4月發布了擁有800億個參數的Llama 3。該公司上周發布了該模型的升級版，名為Llama 3.1 405B，擁有4050億個參數，成為Meta最大的開源模型。
Meta公司首席財務官蘇珊-李（Susan Li）也表示，公司正在考慮不同的數據中心項目，並建設能力來訓練未來的人工智慧模型。她說，Meta預計這項投資將在2025年增加資本支出。
訓練大型語言模型是一項成本高昂的工作。在伺服器、數據中心和網路基礎設施投資的推動下，Meta的資本支出從去年同期的64億美元增至2024年第二季度的85億美元，增長了近33%。
根據The Information的報道，OpenAI在訓練模型上花費了30億美元，另外還以折扣價從微軟租用了40億美元的伺服器。
「隨著我們擴大生成式人工智慧的訓練能力，以推進我們的基礎模型，我們將繼續以靈活的方式建設我們的基礎設施。這將使我們能夠將訓練能力用於基因人工智慧推理或我們的核心排名和推薦工作，當我們預計這樣做會更有價值時，我們就會這樣做，」李在電話會議上說。
在電話會議上，Meta還談到了面向消費者的Meta AI的使用情況，並表示印度是其聊天機器人的最大市場。但李指出，公司並不指望Gen AI產品能對收入做出重大貢獻。
