AI晶片霸主NVIDIA（英偉達）與其投資的法國AI創業公司Mistral AI合作開發新模型，對AI產業的企業客戶解決方案帶來重大轉變。
Mistral AI與NVIDIA 18日發布最新語言模型Mistral NeMo，擁有120億參數、支持128K token上下文長度，通過NVIDIA DGX Cloud AI平台進行訓練。開發者運用Mistral NeMo能夠輕鬆自訂和部署AI聊天機器人，開發多語言任務、編碼和摘要的企業應用程序。
「我們推出一款與Mistral AI共同訓練的模型，這是一款120億參數的模型，我們在Apache 2.0授權條款下啟動它。」NVIDIA應用深度學習研究部門主管Bryan Catanzaro告訴外媒VentureBeat，「我們對這款模型在許多任務的準確性感到非常興奮。」
「它更容易運行，商業模式可以不同，因為人們可在家中電腦執行它。事實上，這款模型可在許多人擁有的RTX GPU上運行」，Bryan Catanzaro表示，較小的模型更容易使用。
對處理冗長文件、複雜分析或編碼任務的企業而言，Mistral NeMo這種可擴展的上下文長度特別有價值。
儘管人們許多注意力集中在像是GPT-4o這類擁有數千億參數的大型語言模型，但對可在商用硬體運行的模型越來越感興趣。這種轉變來自人們對數據隱私的擔憂、對更低延遲的需求、以及渴望更具成本效益的AI解決方案。
Very happy to release our new small model, Mistral NeMo, a 12B model trained in collaboration with@nvidia. Mistral NeMo supports a context window of 128k tokens, comes with a FP8 aligned checkpoint, and performs extremely well on all benchmarks. Check it out!…pic.twitter.com/BokevEFrIr— Guillaume Lample @ ICLR 2024 (@GuillaumeLample)July 18, 2024
Mistral AI首席科學家Guillaume Lample分享新模型Mistral NeMo。
對尋求AI解決方案而沒有大量雲計算資源的企業而言，Mistral NeMo將是一項強大工具。Mistral NeMo打包成NVIDIA NIM推論微服務，通過NVIDIA TensorRT-LLM引擎提供性能優化的推論，NVIDIA也承諾不久的將來會提供可下載版本。
（首圖來源：NVIDIA）
