摩爾線程聯合無問芯穹宣布,雙方已在本周正式完成基於國產全功能GPU千卡集群的3B規模大模型實訓。該模型名為「MT-infini-3B」,在摩爾線程夸娥(KUAE)千卡智算集群與無問芯穹AIStudio PaaS平台上完成了高效穩定的訓練。
本次實訓充分驗證了夸娥千卡智算集群在大模型訓練場景下的可靠性,同時也在行業內率先開啟了國產大語言模型與國產GPU千卡智算集群深度合作的新範式。
MT-infini-3B模型訓練總用時13.2天,經過精度調試,實現全程穩定訓練不中斷,集群訓練穩定性達到100%,千卡訓練和單機相比擴展效率超過90%。目前,實訓出來的MT-infini-3B性能在同規模模型中躋身前列,相比在國際主流硬體上訓練而成的其他模型,在C-Eval,MMLU,CMMLU等3個測試集上均實現性能領先。
無問芯穹聯合創始人兼CEO夏立雪表示:「國內大模型與國產晶片的軟硬體協同發展,最終目標是構建一個成熟的生態系統。無問芯穹正在打造『M種模型』和『N種晶片』間的『M×N』中間層產品,實現多種大模型算法在多元晶片上的高效、統一部署。摩爾線程是第一家接入無問芯穹並進行千卡級別大模型訓練的國產GPU公司,而『MT-infini-3B』的訓練是行業內首次實現基於國產GPU晶片從0到1的端到端大模型實訓案例。」
摩爾線程創始人兼CEO張建中表示:「無問芯穹在夸娥千卡智算集群上實現的從零開始的大模型訓練,不僅是對摩爾線程技術實力的有力認證,更是實現了國內大模型訓練的國產化閉環。摩爾線程夸娥千卡智算集群以全功能GPU為底座,提供軟硬一體化的全棧解決方案,具備高兼容性、高穩定性、高擴展性等綜合優勢,我們致力於成為AGI時代大模型訓練堅實可靠的先進基礎設施。」
此前,摩爾線程與無問芯穹已達成深度戰略合作。無問芯穹大模型開發與服務平台「無穹Infini-AI」和摩爾線程大模型智算千卡集群夸娥已完成系統級融合適配,該平台可以靈活調用夸娥的集群能力以完成大模型的訓練、微調與推理任務。未來,雙方還將開展更多適配與測試,推動國產大模型技術的快速發展與應用普及,為中國人工智慧產業的蓬勃發展貢獻力量。