你可能沒想過這樣一個問題：訓練一個幾百億參數的大模型，最貴的部分到底是什麼？
不是買顯卡，不是標註數據，而是試錯。
想找到一個合適的學習率，工程師往往要把同一個模型用不同的學習率各跑一遍,看哪個效果最好。這個過程如果放在幾億參數的小模型上，代價還能承受。可一旦模型規模衝到千億參數、訓練數據衝到十萬億token這個量級，每一次"試一下"都是幾百萬美元的電費和幾周的等待。你不可能像調收音機旋鈕一樣,擰一下試試,不行再擰一下。
這就是Kakao公司（對，就是那家做韓國國民聊天軟體KakaoTalk的公司）和Upstage AI的研究者們在2026年這篇論文裡要解決的問題。他們最後訓出了一個總參數155B（1550億）、激活參數17B（170億）的混合專家大模型,而且是從零開始訓練了10萬億token。更值得說道的是,他們幾乎沒有在這個巨大的目標模型上做任何學習率試錯,卻讓整個訓練過程穩如老狗,沒有一次損失爆炸(loss spike)。
這是怎麼做到的？
先搞清楚,為什麼MoE模型的學習率問題特別棘手
這裡要先講清楚一個背景。
混合專家模型（Mixture-of-Experts，簡稱MoE）：一種模型架構，把原本一個大而全的神經網路拆成很多個"專家"子網路，每次處理一個詞的時候，只激活其中一小部分專家，而不是全部啟動。
這麼設計的好處很直白。假設你有一個全科醫生和一個專家門診系統，全科醫生什麼病都得懂一點，腦子裡塞滿了各種知識，看一個感冒也要動用全部腦力。專家門診系統里可能有心內科、皮膚科、骨科幾十個專家，但你掛號看感冒的時候只需要呼叫內科醫生出診，其他科室的專家全部閒置。這樣一來，整個醫院（模型）的知識儲備（總參數量）可以做得非常龐大，但看一次病（推理一次）實際消耗的資源卻很小。DeepSeek-V3
、Qwen3、Kimi-K2.5這些當紅的開源大模型，都在用這套思路。
問題來了。專家門診系統比全科診所多了一件事：分診。你得決定這個病人該掛哪個科，這個決策過程本身也需要參數去學習，也就是所謂的"路由"機制。路由怎麼設計、專家之間的負載怎麼平衡，這些都是MoE模型獨有的、密集模型不需要操心的超參數。超參數一多，需要搜索的空間就指數級膨脹，調參的難度和成本也跟著往上翻。
而在所有超參數裡，學習率是那個最關鍵、也最難伺候的一個。學習率定高了，模型訓練會震盪甚至直接崩掉；定低了，模型收斂得慢，浪費算力和時間。更麻煩的是，最優學習率這個數字，不是一個放之四海而皆準的常數,它會隨著模型變大、訓練數據變多而漂移。你在小模型上試出來的"最佳學習率"，直接套用到大模型上，大概率是錯的。
這就是論文標題里"Compute-Efficient"（計算高效）幾個字背後真正的焦慮：模型越大，試錯的代價越大，但傳統的調參方法恰恰要求你在目標規模上反覆試錯。這是一個死循環。
μP：讓小模型幫大模型探路
要打破這個死循環，研究者們借用了一個已經有些年頭的思路，叫做Maximal Update Parameterization，簡稱μP（讀作mu-P）。
μP（Maximal Update Parameterization）：一種模型參數初始化和學習率設置的數學框架，它的效果是讓不同寬度（比如隱藏層維度）的模型，共享同一個最優學習率。換句話說，你在一個很小的模型上找到的最佳學習率，理論上可以直接"零成本"地搬到一個寬得多的模型上使用，不需要重新搜索。
這套方法最早是給標準的密集模型設計的。它的數學原理這裡不細說，但可以類比成這樣一件事：假設你在設計一棟房子，房間越大，家具的擺放比例、燈光的強度、冷氣的功率都得按比例調整，否則房間會顯得空曠或者悶熱。μP做的事情，本質上是給"模型變寬"這件事定義了一套"按比例縮放"的規則，包括參數怎麼初始化、學習率怎麼根據網路的寬度打折扣。只要這套比例關係找對了，那麼無論房子造多大，最舒適的那個"冷氣功率比例"都是同一個數字。
論文的第一個核心貢獻,就是把這套μP規則,重新推導並落地到了MoE架構上，而且加了兩個此前研究沒怎麼碰過的變量：多頭潛在注意力（MLA）和Muon優化器。
MLA（Multi-head Latent Attention，多頭潛在注意力）：DeepSeek系列模型提出的一種注意力機制改進，核心是把原本占用大量顯存的鍵值緩存（KV Cache）壓縮到一個低維的"潛在空間"里，從而大幅降低推理時的顯存開銷，同時不怎麼犧牲效果。
Muon優化器：一種較新的模型優化器，相比傳統的AdamW，它在收斂速度上表現出明顯優勢，訓練同樣的效果所需要的步數更少。
研究者們做的實驗很直接。他們先搭了一個很小的MoE基準模型，總參數0.6B（6億）、激活參數0.3B（3億），隱藏維度只有256，專家總數16個。然後把這個模型的寬度分別放大2倍、4倍、8倍,一路放到總參數30.7B、激活參數3.6B的規模，同時按比例增加專家總數（從16個一路擴到128個）和注意力頭數。每個規模都跑1.3B token，掃描一批候選學習率，看哪個學習率能把訓練損失壓得最低。
如果不用μP，會發生什麼？
論文裡的圖3給出了答案,而且答案相當扎眼。在標準參數化（論文裡叫SP，也就是沒有用μP這套縮放規則的普通設置）下，最優學習率會隨著模型變寬而系統性地漂移。基礎模型上表現最好的學習率，放到8倍寬的模型上就完全不是最優的了，損失曲線的最低點明明白白地偏移了位置。這意味著，如果沒有μP，你在小模型上做的所有調參工作，對大模型來說基本白費。
而用了μP之後，四個不同寬度的模型（從0.6B一路到30.7B），損失曲線的最低點幾乎重合在同一個學習率上。基礎代理模型（論文裡管這個最小的模型叫base proxy，也就是用來打前站探路的那個模型）找到的最優學習率，直接原封不動地用在8倍寬的模型上，依然是最優的。研究者們同時驗證了密集模型（沒有MoE結構）在同樣條件下的表現，結論是一致的：μP在結合了MLA和Muon優化器的設定下依然成立。
這裡有一個值得多說一句的設計細節。MoE模型在擴大規模時，通常有兩條路可以走：一條是把每個專家做得更"寬"，另一條是保持每個專家的大小不變，但增加專家的總數量（也就是提高"稀疏度"）。論文選擇的是第二條路,固定每個token激活的專家數量和每個專家內部的中間維度，只增加專家總數和主幹網路的寬度。這麼選是有現實考量的：如果一味把模型做寬，推理成本會跟著線性增長；但如果只增加專家總數、保持激活數不變，模型的"知識容量"能上去，可每次推理實際調用的參數量卻幾乎不變。這就像一家連鎖餐廳決定擴張，與其把每家店都裝修得更大更豪華（成本線性上升），不如多開幾家分店、但每家店的服務生數量不變（顧客體驗沒變差，運營成本卻沒有跟著門店數量等比例暴漲）。
論文還特別提到一個工程上的取捨：故意在低稀疏度（專家總數少）的代理模型上做搜索，再把結果遷移到高稀疏度（專家總數多）的目標模型上。原因是專家總數太多的小模型，在實際硬體上跑起來效率很低,矩陣運算的"算術強度"不夠，GPU很多時候在空轉。用低稀疏度探路，既保證了搜索階段的硬體效率，又不妨礙最終瞄準的是一個高稀疏度的目標模型。
學習率不只是要跨模型規模遷移，還得跨時間遷移
μP解決的是"模型變寬"這個維度上的遷移問題。但還有另一個更麻煩的維度沒解決,訓練的token數量。
一個模型訓練10億token和訓練10萬億token，最優學習率是不一樣的。前面提到的寬度遷移，只能保證"在同樣的訓練時長下，小模型和大模型共享最優學習率"，但沒法回答"訓練時間拉長一萬倍之後，這個最優學習率該怎麼變"。
這就是論文的第二個核心貢獻要解決的問題：如何用短時間、小規模的訓練結果，預測長達10萬億token訓練的最優學習率。
這裡有個非常現實的困難。正常大模型訓練用的學習率調度策略叫WSD（Warmup-Stable-Decay，預熱-穩定-衰減）,前期慢慢把學習率拉高，中期維持穩定，快訓練完時再慢慢降下來。
WSD調度器（Warmup-Stable-Decay）：一種學習率隨訓練進程變化的策略，分三個階段：先"預熱"，學習率從很小的值逐漸爬升；然後進入"穩定"期，學習率保持不變，占據訓練的大部分時間；最後進入"衰減"期，學習率逐漸降低到接近零，幫助模型收斂到更精細的狀態。
問題是,你要想知道某個學習率訓練到某個token數時效果最好，理論上得讓它完整走完衰減階段才能看到真實效果。但衰減階段一旦開始，這次訓練就相當於"用完了",你沒法從半路上拿出一個中間結果當作"如果訓練在這裡提前結束會怎樣"的答案，因為提前衰減會給損失估計帶來偏差。這就好比你想知道一場馬拉松跑到第30公里、第35公里、第40公里分別應該用什麼配速最優，但真實的比賽只能衝刺一次終點，你沒法把同一場比賽拆成好幾場分別衝刺。
研究者們的解法很巧妙：乾脆不做衰減，讓代理模型一直保持在"穩定"階段跑，然後對模型權重做指數移動平均（EMA）。
指數移動平均（EMA，Exponential Moving Average）：一種給模型權重"做平滑"的技術。它不是直接使用某一步訓練完的原始權重，而是把當前權重和過去若干步的權重加權平均，讓參數變化更平滑、更少受到某一步訓練波動的干擾。論文裡設置的平滑係數α=0.6，意味著最近的更新權重更大，同時保留一部分歷史資訊。
這個操作巧妙在哪裡？它相當於用"平滑"去模擬"衰減"的效果,論文裡引用了此前的研究，證明在大批量訓練的場景下，恆定學習率配合EMA的效果，和標準的餘弦衰減訓練效果相當。這樣一來，同一次訓練跑下來，你可以每隔一段token數就"抽取"一個EMA平滑後的檢查點，相當於憑空得到了很多個"如果訓練在這裡提前結束"的高質量近似答案，而不需要真的把訓練拆成很多次獨立跑衰減階段的實驗。
論文裡實際的做法是，每2B token更新一次EMA權重，每10B token抽取一個檢查點用於分析。有了這些檢查點，接下來要做的事情就很直白：在每個token規模下，用一批候選學習率分別跑出損失值，然後擬合一條開口向上的拋物線（學習率的對數值和損失之間的二次函數關係），拋物線最低點對應的學習率，就是這個token規模下的"最優學習率"。
有了不同token規模下各自的最優學習率之後，研究者們做了一件很直接的事：把這些點在對數-對數坐標系裡畫出來，擬合一條直線。這條直線就是從短期訓練結果外推到長期訓練結果的"橋樑"。
論文裡給出的實證結果相當亮眼。他們用一個總參數10.8B、激活參數3.3B的代理模型（大概是最終目標模型四分之一寬度）訓練了大約500B token，每10B token估計一次最優學習率,拿到手的數據點做線性回歸，擬合優度R?高達0.95。這意味著，這條直線幾乎完美地穿過了所有觀測點，用它去外推10萬億token時的最優學習率3.85×10??，可信度相當高。
如果這套推斷是錯的會怎樣？論文附錄里專門做了一次"留一驗證",拿255B到350B token區間的11個數據點去擬合直線，然後用這條線去預測462B到502B token區間的最優學習率，再和這些token規模下獨立算出來的真實最優學習率做對比。結果顯示,預測值和真實值之間的平均誤差只有大約4.4%，比此前同類研究報告的外推誤差要小得多。這相當於告訴你，這條外推直線不是碰巧畫對了一次，而是在沒見過的區間裡依然可靠。
這裡要多提一句論文裡特意撇清的一個變量,批量大小（batch size）。你可能會問，學習率之外，批量大小不也是個重要的超參數嗎？為什麼這篇論文不管它？研究者們的解釋是，批量大小這個東西比較特殊，它不只是一個純粹的建模選擇，還牽扯到硬體吞吐效率，工程師往往會根據顯卡配置直接調整批量大小來榨乾GPU性能。而且學術界對"批量大小該怎麼隨規模變化"這件事本身就沒有共識，有的研究認為它該跟著算力走，有的認為該跟著token預算走，互相打架。與其捲入這場爭論，論文選擇固定批量大小，專心把學習率這一個變量的遷移規律做紮實。這是個務實的取捨,少管一個變量，才能把另一個變量的結論做得更穩。
兩步走：從"二維地毯式搜索"到"一維外推"
把前面兩塊拼起來，就是論文標題里"兩步"框架的完整樣子。
傳統的做法是什麼樣？如果你既不知道模型該多寬最合適，又不知道學習率該隨token數怎麼變，最樸素的辦法就是在"模型規模"和"token規模"這兩個維度上同時做地毯式搜索,橫著掃一遍寬度，豎著掃一遍訓練時長，交叉點全部試一遍，才能拼湊出目標規模下大概率可靠的超參數組合。這就是論文圖1里畫的"二維聯合縮放"，代價是兩個維度的搜索空間是相乘的關係，規模越大，格子數越多，成本爆炸式增長。
論文提出的兩步框架，本質上是把這兩個維度"解耦"了。第一步靠μP解決模型寬度這個維度,不需要在不同寬度上分別搜索學習率，因為一旦μP成立，寬度維度上的搜索就直接被"免掉"了。第二步靠token維度的線性外推規律解決訓練時長這個維度,只需要幾個小規模代理模型的短程訓練，就能預測極長訓練下的最優學習率。原本的二維網格搜索，被拆解成了"一次性驗證μP成立"加上"一維方向上的外推"，成本量級完全不同。
論文裡給出了具體的算力對比數字，相當直觀。他們做了5次代理規模的訓練，總計消耗64.8 ZFLOPs（十萬億億次浮點運算）。如果換成傳統的模型規模網格搜索,把寬度擴到1.5倍和2倍分別再搜一遍，需要額外多花240.3 ZFLOPs的算力，是原本代理訓練成本的將近4倍。而最終真正拿去訓練155B總參數、17B激活參數目標模型的總算力，大約是這幾次代理實驗總和的98倍。換句話說，如果按傳統方法在目標規模附近做哪怕一次完整的二維網格搜索，那筆額外開銷可能就相當於再造一次目標模型的訓練成本，這在工程上是完全無法承受的。
真刀真槍：把方法用在自己的大模型上
理論說得再漂亮，最後還是要看這套方法能不能扛住真實世界的壓力測試。
研究者們把這套兩步框架，用在了自己從零開始訓練的基礎大模型上,總參數155B，激活參數17B，訓練目標是10萬億token。他們先用一個總參數10.8B、激活參數3.3B的代理模型(大概是目標模型四分之一寬度)訓練了約500B token，通過前面講的EMA檢查點方法估計不同token規模下的最優學習率，再線性外推到10萬億token，得到最終採用的學習率3.85×10??。
這個數字有沒有經過任何在目標規模上的直接驗證？論文很坦誠地承認沒有,在155B這個規模上做完整的學習率掃描，需要的算力大到不現實。但間接證據擺在那裡。整個10萬億token的訓練損失曲線走得異常平穩，論文裡的圖6顯示損失從大約1.75一路平滑下降到1.3左右，中間沒有出現任何明顯的損失飆升（loss spike）,這在大模型訓練圈子裡是相當難得的成績，很多大模型訓練日誌里都能看到損失突然爆表又慢慢恢復的"毛刺"，那往往意味著學習率或者其他超參數沒調對。
評測結果同樣能說明問題。論文裡用四個方向的基準測試考察了這個模型第一階段訓練完成後的水平：英語通用知識（MMLU、MMLU-Pro、BBH）、多語言理解（覆蓋韓語、日語、越南語、中文的Global-MMLU）、數學（MATH、GSM8K）和代碼（MBPP、HumanEval）。論文還把自己的模型和幾個同等激活參數規模的開源MoE模型放在一起比較,包括dots.llm1、GLM-4.5-Air、Hunyuan-A13B和DeepSeek-V4-Flash,用統一的評測框架和"6ND"算力估算方法（N是激活參數量，D是訓練token數）做橫向對比。結果顯示,他們的模型落在了"算力效率前沿"（Pareto frontier）上，用比dots.llm1和GLM-4.5-Air更低或相當的估算訓練算力，拿到了更高的MMLU-Pro準確率。
值得一提的是，這個數據集在訓練過程中還調整過配比。第一階段起初是45%英語、12.5%數學與理工科、27.5%代碼、15%多語言，訓練到6萬億token的節點上，配比調整為22.5%英語、27.5%數學與理工科、25%代碼、25%多語言，加大了此前占比偏低的領域的比重。這也從側面說明，學習率外推的穩健性並不依賴於數據分布一成不變,即便訓練中途換了"菜譜"，損失曲線依然沒有失控。
意外收穫：專家路由在換數據集時會發生什麼
論文附錄里還藏著一個挺有意思的"副產品"發現，值得單獨說一說。
完成第一階段的大規模預訓練之後，研究者們又用一個更小、質量更高的數據集做了第二階段訓練（這是大模型訓練圈子裡常見的做法,先在海量通用數據上打底，再用精挑細選的數據"拋光"）。問題來了：換數據集的時候，MoE模型里負責"分診"的專家路由機制會不會出問題？
MoE模型為了防止某些專家被閒置、某些專家被過度使用（這種失衡叫做負載不均衡），通常會引入一個可學習的偏置項（expert bias）,持續跟蹤每個專家最近被調用的頻率，動態調整路由傾向，讓整體負載趨於平衡。
專家偏置（expert bias）：MoE模型里用來動態平衡各專家負載的一個可調節參數，如果某個專家最近被過度使用，偏置就會調低它被選中的概率，反之則調高，從而讓"分診"結果儘量均勻分布到所有專家身上。
研究者們試了三種設定：一種是延續第一階段訓練結束時的偏置值，並在第二階段繼續更新；一種是延續第一階段的偏置值，但在第二階段凍結不再更新；還有一種是乾脆把偏置清零，也不更新。他們用一個叫MaxVio的指標衡量專家負載失衡的程度,數值越大，說明某些專家被過度使用的情況越嚴重。
結果顯示，繼續更新偏置的設定，負載最均衡；而如果凍結偏置不更新，用零初始化反而比延續第一階段的偏置值更均衡。這暗示了一件事：第一階段數據分布下學出來的"分診經驗"，未必適合第二階段換了口味的數據。這就像一個原本熟悉快餐店客流規律的調度員，突然被調去管理一家高端餐廳，他腦子裡那套"周五晚上漢堡窗口最忙"的經驗，在新環境裡可能反而添亂。
但更讓人意外的是，儘管三種設定下專家負載的均衡程度差異不小，最終的訓練損失曲線卻幾乎完全重合。這說明專家偏置這個東西對模型最終效果的影響，比想像中要小得多,即便路由沒那麼均衡，也不代表模型會"學崩"。
研究者們後來又做了一層更細緻的分析，去看專家的路由行為到底有沒有"專業化"傾向,也就是說，同一個專家是不是更傾向於處理某一類特定內容（比如代碼或者某種語言），而不是完全隨機分診。他們用三個指標交叉驗證：整體負載不均衡程度（MaxVio）、專家選擇和數據領域之間的"歸一化互資訊"（數值越高說明看專家選擇能猜出多少領域資訊）、以及不同領域路由分布之間的"詹森-香農散度"（數值越高說明不同領域被路由到的專家組合差異越大）。
結果相當有層次感。整體負載均衡程度在模型深度方向上比較穩定，只在淺到中層有局部波動;但專業化程度卻隨著層數加深持續上升，在最後幾層的MoE層達到峰值。代碼類內容在淺層就明顯偏離"平均路由模式"，而多語言內容一直到最後幾層才突然出現強烈的專業化傾向。這告訴我們一件挺反直覺的事:一個MoE模型可以同時做到"整體負載均衡"和"內部高度專業化",這兩者並不矛盾。均衡說的是每個專家被調用的總次數差不多，專業化說的是不同類型的內容會被系統性地導向不同的專家組合。就像一家管理良好的連鎖餐廳,每家分店的營業額可能差不多（負載均衡），但靠近寫字樓的分店主打快餐外賣，靠近學校的分店主打親子套餐（內容專業化），兩件事完全可以並存。
這套方法留下的空白
論文在結尾也很坦率地列出了幾個還沒解決的問題。
其一，目前的框架里，所有專家共享同一個學習率。但由於路由機制的"擇優選擇"（top-k routing）特性，不同專家實際接收到的token數量本來就參差不齊,有的專家很忙，有的很閒。這意味著不同專家實際感受到的"有效批量大小"和梯度噪聲水平可能天差地別，理論上講，每個專家或許應該配一個自己的學習率。但要把這個想法落地，得先搞清楚訓練過程中路由模式是怎麼演變的、數據配比又是怎麼影響每個專家實際拿到的樣本量的,工程複雜度不低，論文把這個方向留給了未來。
其二，論文裡"擴大模型規模"這件事，本質上是把"變寬"和"變稀疏（專家數增多）"這兩個維度綁在一起同時縮放的，並沒有單獨驗證"只增加專家總數、不改變寬度"這條路徑下μP是否依然成立。換句話說,稀疏度這個維度本身的遷移規律，還沒有被徹底和寬度維度剝離開來做過乾淨的對照實驗。
寫在後面
讀完這篇論文，最讓我意外的其實是那個EMA代替衰減的設計。這是個挺聰明的繞開硬約束的辦法,原本"必須完整跑完一次衰減才能拿到一個可信數據點"這條硬性限制，被EMA的平滑效果給巧妙地軟化了，一次訓練能憑空多出十幾個近似的"提前結束點"。這種思路在其他需要反覆模擬"如果提前結束會怎樣"的場景里，應該也有借鑑價值,不只是學習率調參，任何需要用"截斷的過程"去推斷"完整的結果"的地方，或許都值得想想能不能用類似的平滑手法。
附錄里那個專家路由的發現也挺讓人意外。均衡負載和專業化路由居然可以互不干擾地同時存在，這多少打破了我原本以為的一種直覺,總覺得"專家越專業化"應該意味著"路由越不均衡"。但深層網路里發生的事情提醒你，這兩件事其實衡量的是完全不同的維度，一個是"用得勤不勤"，一個是"用得準不準"。
論文裡沒細說的一點是，如果代理模型和目標模型之間的架構差異更大（比如不只是寬度不同，連專家的內部結構、路由函數的設計都變了），這套外推方法還能不能這麼穩。這大概是留給後來者繼續驗證的一道題。
Q&A
Q1：μP（Maximal Update Parameterization）到底解決了什麼問題？
A：μP讓不同寬度的模型能共享同一個最優學習率，你在小模型上找到的學習率，可以直接搬到寬得多的大模型上使用，不用重新搜索，大幅降低了調參成本。
Q2：這篇論文裡的兩步超參數遷移框架具體指什麼？
A：第一步用μP解決模型寬度的遷移問題，第二步用小規模代理模型的短期訓練結果，通過線性回歸外推出長時間訓練（比如10萬億token）下的最優學習率，把原本的二維網格搜索簡化成一維外推。
Q3：這套方法最終應用在什麼樣的模型上，效果如何？
A：應用在一個總參數155B、激活參數17B的MoE基礎模型上，訓練了10萬億token，全程損失曲線平穩無爆炸，且在MMLU-Pro等評測上處於同規模開源模型的算力效率前沿。
