Meta推出全新模型Llama 3.1 405B引發熱議，這可能是第一次任何人都能免費下載GPT-4等級的大型語言模型，在特定規格硬體上運行。
Meta 23日發布新模型Llama 3.1 405B（4,050億參數），以及經過改善的Llama 3.1 70B（700億參數）和Llama 3.1 8B（80億參數）。Meta首席執行官祖克柏（Mark Zuckerberg）將Llama 3.1 405B稱為Meta第一個先進「開源」AI模型，定位於業界先進模型之列，媲美OpenAI GPT-4o、Claude 3.5 Sonnet及Google Gemini 1.5 Pro。
Meta使用超過16,000個NVIDIA H100 GPU，並從網路上抓取超過15兆token的訓練數據（由Llama 2進行解析、過濾及注釋）來訓練Llama 3.1 405B。
Meta公布的圖表顯示，Llama 3.1 405B在MMLU、GSM8K及HumanEval等基準測試中的性能非常接近GPT-4、GPT-4o及Claude 3.5 Sonnet。
Llama 3.1 405B基準測試結果與其他AI模型進行比較。
相對於封閉模型，祖克柏認為Llama 3.1 405B不僅具有更好的成本效益，具開放性其成為微調和提煉較小模型的最佳選擇。開發者可在自己的基礎設施以Llama 3.1 405B運行推理，在面對用戶的推理任務、甚至是脫機任務，成本約是使用GPT-4o等封閉模型的一半。
相較於前幾款，Meta稱Llama 3.1 405B是一款「開源」模型。開源將確保世界各地的人能夠獲得AI的好處和機會，權力不會集中在少數人手中，而且技術能夠均勻部署、安全跨越整個社會。
祖克柏強調，Llama需要發展成為一個包含工具、效率改進、晶片優化及集成其他的完整生態系，如果Meta是唯一一家使用Llama的公司，整個生態系統將無法順利擴張。與此同時，出售AI模型的訪問權限並非Meta獲利的商業模式之一。
不過，業界對於祖克柏所說的模型「開源」抱持懷疑態度，認為Llama 3.1 405B只是「開放權重」的模型，這意味著任何人都能下載經過訓練的神經網路文件加以運行，微調成自己的模型；開源應有更嚴謹的定義，認為祖克柏濫用「開源」二字。
祖克柏發布長文談開源AI，期望Llama成為產業標準。
自從Meta 4月透露正在訓練一款超過4,000億參數的新模型，外界一直期待Llama 3新產品的到來。這次不僅是Llama 3系列參數最大的新成員，並且對外開放下載至自己的訓練硬體加以運行，進一步挑戰OpenAI、Anthropic等封閉AI模型的開發商。
（首圖來源：AI at Meta）
