國外媒體《The Information》報道指出,微軟正在訓練一款新的大型語言模型,內部稱為MAI-1,足以與Google、OpenAI等開發的模型競爭。
MAI-1由近期加入微軟的Inflection AI首席執行官蘇萊曼(Mustafa Suleyman)負責監督開發,可能會在本月下旬的Build開發者大會公開預覽新模型,對此微軟拒絕發布任何評論。
微軟上個月發布一款Phi-3-mini模型,以相對較小的數據集進行訓練,希望成為具成本效益的新選擇以吸引開發者採用。
《The Information》報道稱,MAI-1將比微軟先前訓練的模型更大,擁有約5,000億參數,遠勝過Phi-3-mini的38億參數,也高於Meta和Mistral AI的700億參數開源模型,至於OpenAI GPT-4據悉多達1兆參數。
MAI-1確切用途在微軟內部尚未定案,將取決於性能表現。為了訓練新模型,微軟已經預留配備NVIDIA GPU集群的伺服器,並收集來自各種來源的訓練數據,包括GPT-4生成的文本和公開的網路數據。
隨著Build開發者大會即將到來,預期微軟將以AI為核心推出新產品,也讓外界對微軟AI藍圖越是期待。
(首圖來源:shutterstock)