就在剛剛，馬斯克旗下的 xAI 團隊突然發布了 Grok-1.5 大模型。
一周前，在眾多質疑聲中，馬斯克如約開源了 GroK-1。今天發布的 Grok-1.5 則在推理和上下文理解能力上有了顯著提升。
從基準測試結果來看，Grok-1.5 的能力迎來了巨大的飛躍，全然碾壓了此前熱門的開源模型 Mistral Large、Claude 2 等，即使面對「宿敵」GPT-4，也互有勝負。
Grok-1.5 在編碼和數學領域任務處理能力上邁上了一個比較大的台階。
從基準測試的結果來看，Grok-1.5 在 MATH 基準測試中取得了 50.6% 的得分，在 GSM8K 基準上，Grok-1.5 獲得了 90% 的得分，這兩個測試都涵蓋了從基礎算術到高級數學的廣泛領域。
此外，Grok-1.5 在評估代碼生成和解決問題能力的 HumanEval 基準測試中得分為 74.1%，超越了 GPT-4。
對此，xAI 團隊核心成員也為 Grok-1.5 搖旗吶喊：「我們最新的推理能力升級。在從 Grok 1 版本升級到 1.5 版本的過程中，數學推理能力從 24 %提升至 50%。」
Grok-1.5 另一個比較大的升級是其上下文窗口擴展至 128K，飆升 16 倍，提升到了與 GPT-4 Turbo 相同的檔次，能夠處理相當於 300 頁的文本，相當於可以塞進一部中篇小說。
看起來強得可怕
在處理的文本量大幅提升之餘，Grok-1.5 的能力也沒落下。在大海撈針（NIAH）的測試中，Grok-1.5 展現了強大的檢索能力，瞧瞧這清一水的藍色，看起來強得可怕。
據 xAI 官方介紹，Grok-1.5 建立在基於 JAX、Rust 和 Kubernetes 構建的自定義分布式訓練框架之上。
在大型計算集群上訓練 LLMs 時，確保訓練作業的高可靠性和長時間的正常運行是一項主要挑戰。xAI 團隊的自定義訓練協調器能夠自動檢測並排除訓練過程中的問題節點。
此外，xAI 團隊還優化了檢查點創建、數據加載和訓練作業重啟流程，以減少任何故障導致的停機時間。
Grok-1.5 未來幾天內將會向一部分群體開放，後續也將逐步向公眾開放。
作為對比，開源的 Grok 1.0 是擁有 314B 參數的先進混合專家模型，也是截至目前參數量最大的開源大型語言模型，其規模相當於 Meta LlaMA 2 70B 的 4.4 倍。
根據 Apache 2.0 許可協議， 現在公眾可以自由訪問模型的權重和架構。以下是關於 Grok 1.0 的一些關鍵資訊：
模型參數數量高達 314B
混合專家模型(MoE 架構)
每一個數據單元由 2 位專家處理
嵌入向量的維度為 6144
採用旋轉式嵌入表示
在 MMLU、GSM8K 等一系列的基準測試中，Grok 1 的表現遠勝於 LLaMA 2 70B，但和 Claude 2 以及 GPT-4 仍有不小的差距。
臥虎藏龍的 xAI
去年初，The Infomation 就曾報道馬斯克正在積極「招兵買馬」，意圖籌建一個新的研究實驗室，以推出 ChatGPT 的勁敵。
xAI 的官網曾詳細介紹了擁有 12 名核心成員的初創團隊。除了馬斯克之外，其他 11 名成員的背景如下：
Igor Babuchkin:
人工智慧研究者，在 DeepMind 和 OpenAI 工作時累積過豐富的經驗。參與過 AlphaStar 項目（用 AI 在星際爭霸上擊敗人類冠軍）。
Manuel Kroiss:
軟體工程師。曾在 Google 和 DeepMind 等科技巨頭工作，在強化學習和人工智慧領域作出過重要貢獻。論文「Reverb: A Framework for Experience Replay」的聯合作者。
Yuhuai（Tony）Wu ：
人工智慧研究者、電腦科學家。因其在 Google N2Formal 團隊和一家秘密初創公司作為自動化數學家和形式推理方面的工作而聞名。
Christian Szegedy：
在深度學習、人工智慧、電腦視覺、影像分析和形式推理方面擁有專業知識。曾就職於 Google， 擔任研究科學家。擁有波恩大學應用數學博士學位。
Jimmy Ba：
多倫多大學助理教授。正在領導一項有關深度神經網路高效學習算法的開發研究。CIFAR-AI（加拿大高等研究院人工智慧與社會項目）主席，2016 年 Facebook 機器學習研究生獎學金獲得者。
Toby Pohlen：
曾任 DeepMind 研究工程師，在機器學習、強化學習領域擁有豐富經驗。參與 AlphaStar League 和 Ape-X DQfD 等項目。以全班第一名的成績畢業於德國亞琛工業大學電腦科學專業。
Ross Nordeen：
曾任特斯拉的技術項目經理，將幫助團隊構造過濾器。
Kyle Kosic：
曾就職於 OpenAI 等 AI 公司。擁有豐富的機器學習、物理學和應用數學的學術背景。
Greg Yang：
曾就職於微軟研究院，於 2018 年榮獲摩根獎 (Morgan Prize) 榮譽獎。
Guodong Zhang：
機器學習和人工智慧領域的研究者，曾就職於多倫多大學和矢量研究所（Vector Institute），因研究大語言模型的訓練、調整、對齊而聞名，撰寫過多篇相關領域的論文。他是 2022 年 Apple 博士獎學金，2020 年 Borealis 人工智慧獎學金的獲得者。
Zihang Dai：
曾任 Google 研究員，擁有清華大學和卡內基梅隆大學的學位，在百度美國分公司和蒙特婁大學的 mILA 進行過研究實習。
當然，僅靠這 11 個核心成員就想推出 Grok AI 助手顯然是不切實際的，所以 xAI 也同步開啟了招人計劃，招攬 AI 相關的技術人才加入。
現在，xAI 的技術團隊也迎來了極速壯大，甚至光從名字的甄別上，你就能從中發現不少華人活躍的身影。
對於即將到來的 Grok-1.5 ，前 OpenAI 開發者關係主管直接在線按讚。
玩梗這種事，還是得看網友。
前不久，伊隆·馬斯克在 X 發文稱，本周晚些時候，Grok 將向 X 平台所有訂閱高級服務的賬戶開放。
但這一次，比起免費的開放使用，我們更關心地是，Grok-1.5 短時間內還會開源嗎？
