這項由中國人民大學高瓴人工智慧學院與螞蟻集團聯合開展的研究，以預印本形式於2026年8月發布在arXiv平台，論文編號為arXiv:2608.03457。研究團隊系統性地探索了一類名為"混合專家擴散語言模型
"的新型人工智慧架構，並據此訓練出一個名為LLaDA MoE v2的大型語言模型。對於關心AI技術發展的普通讀者而言，這項研究回答了一個極為實際的問題：在有限的計算資源下，怎樣才能把AI模型做得又聰明又省錢？
一、為什麼AI界需要"專家分工制"
假設你經營一家全科診所，所有病人無論是骨折還是感冒，都由同一位醫生處理。這位醫生需要掌握所有知識，每次看診都要動用全部腦力。這種模式在病人很少時沒問題，但當診所規模擴大、病人類型越來越多，這位全科醫生就會越來越吃力。於是，聰明的管理者想到了一個解決方案：建立一支專科醫生團隊，每次來了病人，先由導診台判斷病情，再把病人送到最合適的專科醫生那裡，其他專科醫生此刻可以休息。這樣一來，診所整體的醫療水平大幅提升，但每次看診實際消耗的醫療資源並沒有成比例增加。
當前的主流大型語言模型（就是ChatGPT那類能對話的AI）中，有一種架構正是遵循了這種"專科醫生團隊"的邏輯，被稱為"混合專家"架構，英文縮寫MoE（Mixture-of-Experts）。在這種架構里，模型擁有大量"專家"模組，每次處理一段文字時，只有少數幾位專家被調用工作，其餘專家待命。這樣，模型的總體知識儲量（參數量）可以做得很大，但每次實際運算所需的計算量卻保持相對較小。
然而，現有的MoE模型絕大多數都基於一種叫做"自回歸"的生成方式，簡單說就是像接龍遊戲一樣，一個字一個字地從左往右生成文本。這種方式有一個天然短板：每生成一個字，都必須等上一個字生成完畢，難以並行加速。另一條技術路線叫做"擴散語言模型"（Diffusion Language Model，簡稱dLLM），它的工作方式更像是用橡皮擦把一段完整的文字逐漸抹掉，再訓練模型把模糊的、殘缺的文字還原出來。推理時，模型從一段全是空白或亂碼的序列出發，經過多步"去噪"，同時恢復多個位置的文字，天然具備並行生成的潛力。
這項研究的出發點正在於此：把MoE的"專科醫生團隊"優勢和擴散語言模型的"並行去噪"能力結合起來，並系統地研究這種組合在規模擴大時應當遵循哪些設計原則。
二、研究的核心問題：如何正確地"擴大規模"
對於任何大型模型的研究者來說，"擴大規模"並不是簡單地把模型做大、數據做多就完事了。這裡存在一套被稱為"擴展定律"（Scaling Laws）的規律，它試圖用數學公式預測：給定一筆計算預算，應該怎麼分配才能讓模型表現最好。自回歸模型領域已經積累了大量這方面的經驗，比如著名的Chinchilla擴展定律指出，模型參數量和訓練數據量應當大致均衡增長。但這些規律能否直接套用到擴散語言模型，尤其是擴散語言模型和MoE架構的組合上，此前幾乎無人深入研究。
這項研究把問題拆解成三個層次來逐一解答。第一個層次是"調參規律"：當計算預算增大時，訓練時的批量大小和學習率應該怎麼調整？第二個層次是"資源分配規律"：在固定的計算預算下，應該把錢花在更大的模型上，還是花在更多的訓練數據上？第三個層次是"專家架構規律"：在MoE架構內部，專家的數量、大小、以及哪些專家應該是"公共專家"（每個輸入都會經過），應該怎麼設計？
整個研究的核心洞察是：自回歸模型的經驗可以作為參考出發點，但擴散語言模型有自己獨特的"脾氣"，需要專門校準。
三、調參的藝術：批量大小和學習率的擴展規律
訓練一個神經網路，有兩個最基礎的調節旋鈕：一個是每次餵給模型多少數據（批量大小，Batch Size），另一個是每次根據錯誤信號調整模型的步子邁多大（學習率，Learning Rate）。這兩個參數對訓練效果影響極大，而且隨著模型和計算量的變化，它們的最佳取值也在變化。
研究團隊在158M、1B、3.6B參數量的模型上進行了大量實驗，覆蓋從10的18次方到3乘以10的20次方FLOPs的計算預算範圍（FLOPs是衡量計算量的單位，可以理解成"做了多少次加減乘除運算"）。通過系統性地枚舉不同的批量大小和學習率組合，找出每個預算下表現最好的設置，再用數學曲線擬合這些最優點，他們得出了擴散語言模型專屬的調參公式。
具體結果是：最佳批量大小約等於0.374乘以計算預算的0.3481次方，最佳學習率約等於64.8乘以計算預算的負0.2447次方。這些數字本身並不重要，關鍵在於它們與此前自回歸模型（如DeepSeek LLM）的規律有系統性差異。在同等計算預算下，擴散語言模型需要的批量大小要大得多。以10的20次方FLOPs為例，自回歸模型的最優批量大小約為102萬個詞元，而擴散語言模型則需要約343萬個詞元，相差三倍多。
為什麼會出現這種差異？原因在於擴散語言模型的訓練方式。回到之前的診所比喻：自回歸模型每次看診（處理一個詞元），都能得到明確的診斷反饋（這個詞預測對了還是錯了）。而擴散語言模型每次只對被"橡皮擦"遮住的那些位置進行學習——平均而言，在均勻噪聲採樣下，大約只有一半的詞元被遮住並參與學習。換句話說，名義上處理了100個詞，但只有大約50個詞的學習信號是有效的。這種"信號密度降低"的效應，使得模型需要更大的批量來保持學習的穩定性和效率。
研究團隊還在6乘以10的20次方FLOPs的規模上驗證了這套公式的預測精度，發現公式推薦的設置非常接近實驗中找到的最優點，證明了這套規律的實用性。
四、錢該怎麼花：模型大小與數據量的最優分配
在確定了調參規律之後，研究團隊轉向了更核心的資源分配問題。這個問題可以用一個直白的類比來理解：假設你有一筆固定的教育經費，你是應該花在培養更多才能的學生（增大模型）上，還是花在購買更多教材和習題（增加訓練數據）上？
研究團隊用的方法叫做"等算力曲線分析"（IsoFLOP analysis）。具體做法是：固定總計算量，然後嘗試不同的"模型大/數據少"與"模型小/數據多"組合，看哪種組合的最終表現最好。這就像在同樣的錢包里，嘗試用不同比例分配給"買好廚具"和"買好食材"，找出做出最美味料理的黃金比例。
實驗在從10的17次方到10的20次方FLOPs的多個預算檔位上進行，每個預算檔位都測試了從"模型極小數據極多"到"模型極大數據極少"的一系列組合。繪製出來的曲線呈現出典型的U形：在曲線的左側，模型太小，即使數據再多也學不到足夠的知識；在曲線的右側，數據太少，模型的潛力沒有被充分挖掘。每個預算檔位都有一個最低點，即最優分配比例。
把不同預算檔位的最優點連起來，就得到了兩條"前沿線"：一條是最優模型算力隨總預算的增長趨勢（M*約等於0.5152乘以C的0.475次方），另一條是最優訓練詞元數隨總預算的增長趨勢（D*約等於1.9411乘以C的0.525次方）。這兩條公式傳遞出一個清晰的信號：數據量的最優增速（指數0.525）略快於模型算力的最優增速（指數0.475）。換句話說，在MoE擴散語言模型里，隨著計算預算增大，應該把相對更多的新增資源投入到訓練更多數據上，而非僅僅擴大模型。
研究團隊進一步把這一發現與領域內其他模型的公開結論做了橫向比較。這裡的比較非常有意思：從自回歸密集模型到自回歸MoE模型，數據側的指數會略微上升；從自回歸密集模型到擴散密集模型，數據側的指數也會略微上升。而當MoE架構與擴散目標同時疊加（本研究的設置），數據側指數達到了0.525，是所有對比研究中數據傾斜最明顯的一個，與上述兩種單獨效應的疊加方向一致。這背後的邏輯是：擴散模型處理的是被隨機遮蓋的序列，路由器（分配輸入給不同專家的決策模組）每次面對的輸入都因噪聲水平和遮蓋模式不同而有所變化，比自回歸模型的因果前綴更為多樣，額外的數據能更好地覆蓋這種多樣性。
五、專家該怎麼設計：三個關鍵架構維度的擴展規律
明確了模型算力預算應如何分配之後，還有一個更細節的問題尚待解答：在MoE架構內部，固定的激活算力應該怎麼分配給不同的專家設計方案？研究團隊圍繞三個維度展開了系統實驗。
第一個維度是激活比例，也就是每次處理一個詞元時，總專家池裡有多大比例的專家被調用。這個參數決定了專家池的總大小：在固定激活計算量的前提下，激活比例越低，意味著專家池越大，但每次只有更小比例的專家被使用。實驗結果顯示出明顯的規模依賴趨勢：在小計算預算下，激活比例略高的設置（選用第二低而非最低）效果最好；但隨著計算預算增大，越來越稀疏的激活（即更低的激活比例、更大的專家池）表現越來越好，這種優勢在大預算下尤為顯著。直覺上可以理解為：維護一支規模更大但平時大多數人待命的專科醫生團隊，需要足夠多的"病例"來讓每位醫生得到充分的訓練機會；預算小時專家們訓練不足，預算大時則能充分發揮各自的專長。
第二個維度是專家粒度，即每位"專科醫生"的專業範圍有多細。粒度越粗，每位專家負責的領域越寬，個人能力越強，但可供選擇的專家數量越少；粒度越細，專家數量越多，可以做出更精細的路由選擇，但每位專家的單獨能力相對較弱。實驗結果表明，專家粒度並沒有表現出隨計算預算單調變化的趨勢，而是在一個中等範圍內（研究中定義為G=8到G=16，G代表粒度指數）表現穩健。這說明專家粒度不是隨規模擴展的核心設計方向，取中等粒度即可，不必在每次擴大規模時重新精細調整。
第三個維度是共享專家比例，即激活算力中有多大比例分配給一個所有輸入都必須經過的"公共專家"，其餘部分分配給按需路由的"專科專家"。公共專家可以理解為一位每個病人都必須先經過的全科醫生，負責處理所有病例都需要的基礎工作，然後再分流到專科。實驗結果呈現出清晰的U形曲線：公共專家比例為零（完全沒有公共專家）和比例過高（幾乎全是公共專家）時效果都差，而33.3%的公共專家比例在所有計算預算檔位下都取得了最低損失值。這個結論與已有自回歸MoE模型的設計慣例有所不同——DeepSeekMoE用的是25%，Qwen3乾脆不用共享專家，另有研究報告稱最優共享專家比例隨規模增大而縮小。擴散語言模型的實驗則表明，應該維持大約"每兩份路由專家算力配一份公共專家算力"的比例，且這一比例在所研究的全部規模範圍內保持穩定。
六、把理論變成現實：LLaDA MoE v2的訓練與表現
依託上述三類擴展規律，研究團隊從零開始訓練了LLaDA MoE v2，一個總參數量為300億、每次推理激活約30億參數的擴散語言模型。按照擴展定律推薦的激活比例和共享專家比例（33.3%），每一層的專家配置為128個路由專家（每次激活其中8個）加上一個寬度為路由專家四倍的共享專家。
整個預訓練過程分五個階段完成，總計處理了23.5萬億個詞元。前兩個階段各處理10萬億詞元，完成基礎知識積累；第三階段用2萬億詞元的精選數據進行退火，提升質量；第四階段將上下文長度從4千詞元擴展到3.2萬詞元，並將位置編碼的基礎頻率從10000調整到500000，以支持長文本處理；第五階段再用1萬億詞元的長文檔數據收尾。整個訓練過程消耗了約46萬NVIDIA B200 GPU小時。
在多達15個基準測試上，LLaDA MoE v2與同等規模的其他模型進行了橫向比較。對比對象包括另一個同樣30B-A3B規模的擴散語言模型SDAR Sci（它是在Qwen3基礎上繼續訓練的，訓練詞元總量約38.1萬億）、更小規模的擴散模型（LLaDA MoE 7B-A1B、Dream 7B、LLaDA 8B），以及代表當前自回歸頂尖水平的Qwen3 30B-A3B（訓練了36萬億詞元）。
評測結果表明，LLaDA MoE v2在所有對比的擴散語言模型中平均得分最高（58.60分），比SDAR Sci高出3.78分，比小模型基準線至少高出12.44分。尤其在代碼類測試上，LLaDA MoE v2表現出色——在HumanEval（代碼生成測試）上比SDAR Sci高出16.46個百分點，在BigCodeBench上高出7.98個百分點，這一點頗為值得關注，因為LLaDA MoE v2是從零開始訓練的，而SDAR Sci是在已經具備強大代碼能力的Qwen3基礎上繼續訓練的。
與Qwen3相比，LLaDA MoE v2使用了約65%的訓練詞元量，在數學推理（OlympiadBench僅落後2.22分）、代碼生成（HumanEval僅落後2.44分）等多項測試上保持了較近的差距，但在中文知識類測試（CEval、CMMLU）上差距較為明顯，這很可能與訓練數據構成有關。
研究團隊還專門把LLaDA MoE v2與上一代沒有擴展定律指導的LLaDA MoE 7B-A1B做了計算效率對比。在相同的訓練計算量下，新模型在MMLU、GSM8K和KorBench等多項測試上僅用約50%的訓練計算量就超越了7B-A1B，在HellaSwag上甚至僅用不到10%的計算量就實現了超越。這從側面印證了擴展定律指導的價值：同樣的錢，花得更聰明，能買到更好的效果。
七、指令微調：讓基礎模型學會聽話做事
預訓練完成的模型相當於一個知識廣博但不善於溝通的學者，還需要經過額外訓練才能回答用戶的具體問題、完成具體任務。研究團隊對LLaDA MoE v2進行了監督微調（SFT），在700萬條指令-回答樣本上訓練了三輪，這些樣本主要來自數學推理和代碼生成類任務。微調方式遵循擴散模型的邏輯：用戶的問題部分保持不變，只對模型應當生成的回答部分施加隨機遮蓋，然後訓練模型恢復被遮蓋的回答內容。微調使用了5乘以10的負6次方的峰值學習率，訓練後未進行任何強化學習階段。
微調後的LLaDA MoE v2與Qwen3 30B-A3B（無思維鏈模式）和SDAR Chat 30B-A3B（SDAR的指令微調版本）進行了對比。在八項推理和代碼類測試中，LLaDA MoE v2在七項上超過了SDAR Chat，包括全部四項推理測試（數學、奧林匹克題、AIME 2024、AIME 2025）以及三項代碼測試（MBPP、LiveCodeBench、MultiPL-E）。與Qwen3相比，考慮到Qwen3額外經歷了強化學習階段而LLaDA MoE v2沒有，兩者在AIME 2024（LLaDA MoE v2得30分，Qwen3得32.8分）、AIME 2025（LLaDA MoE v2得20分，Qwen3得21.6分）、MBPP（81.03 vs 85.48）等測試上非常接近，在MultiPL-E（多編程語言代碼生成）上LLaDA MoE v2甚至以67.52分反超Qwen3的66.60分。
說到底，這項研究做的事情有點像是為建築行業繪製了一套精準的施工規範手冊：以前大家憑經驗和直覺蓋樓，現在有了經過測量驗證的數據來指導每一道工序。對於擴散語言模型和MoE架構的結合，研究團隊給出了三套有據可查的定量規律，並用一個真實訓練的大型模型驗證了這些規律的實際價值。
當然，這套規律並非萬能。研究本身也承認，三個架構維度的實驗是分別獨立進行的，它們之間的相互作用尚未被系統研究，在極端大規模（遠超當前研究範圍）下是否依然成立也需要未來進一步驗證。
對於普通用戶而言，這項研究的直接意義可能並不立竿見影——畢竟大多數人不會親自訓練大模型。但它所推動的趨勢是真實可感的：隨著擴散語言模型的效率和能力不斷提升，未來我們日常使用的AI工具或許能夠以更低的計算成本提供更快的響應速度和更強的並行生成能力，無論是代碼補全、長文本寫作還是複雜推理任務，都可能因此受益。有興趣深入了解這項研究全部技術細節的讀者，可以通過arXiv編號2608.03457查閱完整論文。
Q&A
Q1：擴散語言模型和自回歸語言模型有什麼區別？
A：自回歸語言模型（如GPT）是一個字一個字從左往右生成文字，每步只生成一個詞。擴散語言模型則是從一段全部被遮蓋的序列出發，經過多步去噪同時恢復多個位置的詞，因此天然支持並行生成，理論上速度潛力更大。
Q2：混合專家架構（MoE）為什麼能在不大幅增加計算量的情況下擴大模型知識容量？
A：MoE架構把模型的前饋網路換成多個"專家"模組，每次處理一個詞元時，只激活其中少數幾個專家，其他專家待命不參與計算。這樣模型的總參數量（儲存知識的容量）隨專家數量增加，但每次實際運算量只由被激活的那幾個專家決定，兩者可以分別控制。
Q3：LLaDA MoE v2的擴展定律研究結論和以前的自回歸模型有哪些具體不同？
A：主要有三點不同：訓練時需要更大的批量大小（在同等計算預算下約為自回歸模型的三倍多）；學習率隨計算量增大衰減得更快；模型-數據的最優分配比例中，數據側更為重要，建議隨預算增大相對多投入數據而非模型規模。
