這項由俄羅斯Yandex公司、BRAIn Lab（基礎人工智慧研究實驗室）、俄羅斯因諾波利斯大學以及阿聯穆罕默德·本·扎耶德人工智慧大學聯合開展的研究，發表於2026年第43屆國際機器學習大會（ICML），論文編號為arXiv:2606.30634，於2026年6月29日公開。
訓練一個大型語言模型，本質上就像在運營一條超級複雜的工廠流水線。原材料（數據）進來，經過一道道工序（神經網路的各個層），最後輸出一個會寫文章、能回答問題的AI系統。這條流水線分布在成百上千塊GPU晶片上，每塊晶片負責其中一段工序。
問題就出在這條流水線的協調機制上。
一、當流水線陷入"等待困境"：同步訓練的隱痛
現實中的工廠流水線有一個常見難題：如果某道工序特別慢，後面所有工序都得停下來等。AI訓練也是一樣。傳統的"同步"訓練方式要求所有GPU在完成各自的計算後，必須等大家都完成，再統一更新模型參數，然後才能開始下一輪計算。
這段等待的時間，在專業上叫做"流水線氣泡"（Pipeline Bubble）。就像流水線上突然出現了一段空白的傳送帶，什麼東西都沒傳，純粹在浪費時間。研究團隊計算發現，在實際大規模訓練中，這種等待可能造成相當可觀的計算資源浪費——以16個流水線階段為例，依據不同的計算假設，同步方案比完全消除氣泡的理想狀態慢7%到94%不等。
既然等待這麼浪費，為什麼不讓每段流水線都自己算完就自己更新，不等別人呢？這就是"異步"訓練的核心思路。異步訓練確實徹底消滅了流水線氣泡，讓每塊GPU隨時都在滿負荷工作。但代價是，每塊GPU在更新模型時用的"參考資訊"（梯度）可能已經過時了——這個現象被稱為"梯度陳舊"（Gradient Staleness）。
可以用一個更日常的比喻來理解這件事。假設你和幾個朋友合寫一本書，每個人負責不同章節。同步方式是每個人寫完一段後，所有人都暫停，把彼此的修改匯總，統一更新全書風格，然後再繼續寫。異步方式則是每個人寫完就立刻按自己當時看到的版本繼續寫，不等別人。後者效率更高，但每個人參考的"全書現狀"可能已經落後了一步。
這個"落後一步"，就是梯度陳舊問題，也是異步訓練長期以來沒有被大規模採用的主要障礙。
二、並非所有"過時資訊"都同樣糟糕：兩種流水線方案的對比
在異步訓練的歷史上，有一個經典方案叫做PipeDream，它的做法是讓每塊GPU完成一次局部反向傳播（即計算"這道工序該如何改進"的過程）之後，就立刻更新自己那段流水線的參數。這個方案的問題在於，不同階段的GPU等待時間不同，離流水線入口近的GPU等待的時間短，資訊更新更頻繁；離出口近的GPU等待時間長，參數更新更滯後。結果就是整條流水線里，每道工序用的都是"新舊程度不一"的陳舊資訊。流水線越長，最嚴重的那道工序的資訊就越陳舊，性能下降就越厲害。
有研究發現，當流水線達到16個階段時，原始PipeDream方案相比同步訓練，驗證損失（衡量模型好壞的指標，越低越好）上升超過0.2，這是一個相當嚴重的退步。
這項研究的核心選擇是採用另一個改進方案：PipeDream-2BW。這個方案的聰明之處在於，它不讓每道工序算完就立刻更新，而是等整批數據（由多個微批次組成）全部跑完一遍前向和反向傳播之後，所有工序才統一更新一次參數。只要每批數據包含的微批次數量M大於等於流水線階段數P減一，流水線上每道工序等到的更新資訊的"陳舊程度"就完全相同，都恰好落後一步。
這就把"每道工序陳舊程度參差不齊"的複雜問題，簡化成了一個乾淨利落的問題：用落後一步的資訊來更新模型，會有多大的影響？
從數學上看，這個"固定一步延遲"的訓練過程可以寫成這樣一個更新規則：新參數等於舊參數減去用上一步梯度計算出的優化器更新量。流水線深度不再影響陳舊程度，這是PipeDream-2BW的關鍵保證。此外，這個方案只需要額外保存一份模型參數的副本，在實際的大規模訓練場景中，內存開銷可以忽略不計。
三、真正的問題所在：不是陳舊本身，而是用什麼"工具"來應對陳舊
這項研究最出人意料的發現，或許就是這一點：長期以來人們認為異步訓練天然不穩定、性能下降嚴重，其實這個鍋不該完全由"資訊陳舊"來背。真正決定陳舊資訊有多大危害的，是你用哪種優化器（即決定"如何根據梯度更新參數"的算法）。
研究團隊在135M參數和360M參數的語言模型上，對當前主流的多種優化器進行了系統評測。評測的核心規則很簡單：每個優化器都同時跑同步版本（無延遲）和異步版本（固定一步延遲），然後比較兩者最終驗證損失的差距。
結果令人震驚。AdamW，這個自異步流水線技術誕生以來就占據主導地位的優化器，表現極為糟糕。在360M模型上，異步訓練的驗證損失比同步版本高出整整0.278，訓練曲線早早就偏離了正常軌道。研究人員還嘗試了一種"安慰策略"——先用同步模式訓練一段時間再切換到異步模式，這確實讓AdamW稍微好了一點，但最終差距仍有0.046，而且在切換的瞬間，訓練損失會出現一個明顯的尖峰，情況相當不穩定。
與此形成鮮明對比的是Muon這個優化器。Muon是近年來新興的一種優化器，已被多個知名大規模訓練項目採用，比如Kimi K2和GLM-4.5的訓練。在同步訓練中，Muon的表現與AdamW旗鼓相當；但在異步訓練中，Muon的損失差距只有0.012，而且無需任何特殊處理。
除了Muon，研究團隊還測試了Adan、NorMuon、AdaMuon、SOAP、Lion等優化器，以及MARS和NAdam。測試結果顯示，嚴重退步的優化器只有AdamW和MARS，其餘大多數現代優化器都表現出相當強的陳舊魯棒性，最終損失差距普遍在0.03以內。
Adan在控制損失差距方面表現最佳，這與它使用了極高的一階動量係數（β?=0.98）密切相關。SOAP能夠保持較好表現，研究人員認為可能與它使用了矩陣基變換有關——這一發現與同期另一項來自首爾大學的獨立研究結論相互印證。
四、動量：抵抗陳舊的秘密武器
研究團隊沒有滿足於記錄哪些優化器表現好、哪些表現差，他們深挖背後的原因，進行了大量超參數敏感性實驗。他們一次調整一個參數，觀察它對"同步與異步之間的損失差距"有什麼影響，覆蓋了學習率、權重衰減、動量衰減係數、二階矩係數、預熱步數、梯度裁剪閾值和學習率調度器等眾多設置。
在所有超參數中，有一個表現出了跨優化器一致的、清晰的規律：動量衰減係數。
在像AdamW這樣的優化器里，這個係數通常叫β?；在Muon類優化器里，通常叫μ。它控制的是"歷史梯度資訊"在當前更新中占多大比重。用物理比喻來說，動量就像一個滑行中的球，它不會因為突然遇到一塊小石頭就立刻改變方向，而是繼續沿著大致方向滑行，只是稍微受到影響。動量係數越大，球越"重"，越不容易被當前時刻的單次梯度影響。
研究發現，對所有測試的優化器而言，提高動量係數都能一致地縮小同步與異步之間的損失差距。這背後有一個直覺上很合理的解釋：當你使用的梯度資訊已經落後一步時，你對"當前這一步的資訊"的依賴越少越好。高動量讓優化器更多地依賴歷史積累的方向感，而不是單次的、可能已經不再準確的梯度方向，從而自然地抵消了陳舊帶來的噪聲。
這也解釋了為什麼AdamW特別脆弱：AdamW在正常情況下最優的β?值是0.9，但這個值對於應對陳舊來說遠遠不夠高。如果強行把β?調到0.99，AdamW的異步性能確實會改善，但它的同步性能也會跟著崩掉——在同步訓練中，β?=0.99的AdamW表現遠差於β?=0.9的版本（損失從2.877變成了2.939）。這意味著AdamW沒有足夠寬的"最優動量區間"來同時兼顧同步穩定性和異步魯棒性。
相比之下，Muon的工作原理使得它天然就處在一個高動量的運作模式下，而且這個模式既適合同步訓練，也適合異步訓練，兩者兼得。
其他超參數方面，學習率、權重衰減和預熱長度的效果與人們的直覺基本一致：更激進的設置（大學習率、短預熱、極端的權重衰減）會放大不穩定性，而延遲進一步放大了這種不穩定性，因此適度保守的超參數設置通常能縮小異步差距。梯度裁剪和學習率調度器的選擇則幾乎沒有系統性影響。批量大小是個特殊情況：減小批量大小可以大幅縮小差距，但這與硬體利用率直接掛鉤，在實際大規模訓練中往往不是自由變量，且極小的批量大小對同步訓練本身也不是最優選擇。
五、進一步彌補差距：誤差反饋校正機制
即便Muon在異步場景下已經相當穩健，研究團隊仍然希望把那剩餘的0.012差距進一步壓縮。他們嘗試了幾種策略。
先從失敗的嘗試說起。基於Taylor展開的延遲補償方法（DC-ASGD）在理論上很優雅，思路是用當前梯度和參數變化量來近似估計"如果用新梯度會得到什麼結果"，然後補償這個差值。但在實際的大型語言模型訓練中，梯度的量級約為10??，參數更新量約為10??，兩者的乘積實在太小，校正項幾乎可以忽略不計。研究團隊把補償係數從10?一路擴大到10?，小值完全沒有效果，大值反而破壞訓練。同步冷卻策略（訓練快結束時切換回同步模式）只帶來了可以忽略不計的微小改善。
真正有效的方案是一種受"誤差反饋"（Error Feedback）思想啟發的更新級別校正機制。
誤差反饋最早是在數據壓縮領域被提出的：當你必須傳輸一個有損壓縮的信號時，把"這次壓縮損失了多少資訊"記錄下來，下次傳輸時把這個欠賬補上，這樣積累的誤差就不會越來越大。
研究團隊將這個思路遷移到延遲梯度場景中，推導過程如下：在第t步，標準異步訓練使用的是第t-1步的舊更新量。但換個角度看，這個舊更新量恰好是第t-1步缺失的資訊——在第t-1步，算法實際用的是第t-2步的更新量，而本應該用第t-1步的更新量。兩者之差，就是上一步欠下的"債"。把這筆債加到當前步的更新里，就得到了校正後的更新公式：
新參數 = 舊參數 - 2×（當前舊更新量）+（上上步舊更新量）
這個公式實現起來非常簡單，只需要額外儲存一份模型大小的緩衝區（在分布式訓練中，這是每塊GPU上的局部模型分片，實際內存開銷很小）。
實驗結果顯示，這個校正方法對大多數優化器都有一致的幫助。對於Muon，它把0.012的差距進一步壓縮到了0.005，恢復了約71%的剩餘差距。SOAP的差距從0.027降到了0.009，恢復了約67%。即便是表現最差的AdamW，校正後也恢復了約90%的損失差距，從2.890降到了2.640（同步基線是2.612）。唯一有輕微負面效果的是Adan和NAdam，但幅度很小。
研究團隊還測試了把這個校正係數設為不同數值（從0到3）的效果，發現存在一個U形關係，默認值1附近就是大多數優化器的最優區間，因此在所有實驗中統一使用默認值1，不引入額外的調優負擔。
值得一提的是，研究團隊後來發現這個方法與另一篇來自數據並行領域的工作SAPipe-WP在數學上有深度關聯。SAPipe-WP從"預測下一步參數位置"的角度出發，推導出了本質上相同的參數位移量。兩個來自不同系統背景的研究殊途同歸，這從側面印證了這個校正方法的合理性。
六、理論保障：為什麼這套方法不只是"碰巧有效"
除了實驗驗證，研究團隊還為這套方法提供了理論收斂性保證，這是針對LMO（線性最小化預言機）類算法在梯度延遲下的首個理論分析。
Muon優化器的工作方式可以被納入"非歐幾里得信賴域"框架來理解。具體來說，它在每步求解一個約束優化問題：在當前參數的某個"鄰域"內，找到最能降低目標函數的方向。這個過程使用的是算子範數和核範數，而不是普通的歐幾里得距離，這就是它與普通梯度下降最根本的區別。
研究團隊證明了，在這個框架下，帶有一步梯度延遲的Muon仍然會收斂。與無延遲版本相比，收斂保證中多出來的代價項與延遲相關，但只要選擇適當的學習率和動量參數，這個額外代價可以保持在可控範圍內。帶有誤差反饋校正的版本同樣有收斂保證，校正版本的代價項包含一個與延遲步數成比例增長的因子，但這符合直覺：校正操作引入了更多的參數歷史資訊，需要更寬鬆的條件來保證收斂。
這些理論結果的意義在於，它們告訴研究者和工程師：使用Muon加上誤差反饋進行異步訓練，不是在賭運氣，而是有嚴格數學保證的穩健方案。
七、真正的考驗：在百億參數模型上的實戰驗證
從理論和小模型實驗走向大規模實戰，是完全不同的挑戰。研究團隊首先在一個20億參數（其中5億活躍參數）的MoE（混合專家）模型上進行了驗證，訓練規模從500億到2000億個token不等。
MoE模型是一種特殊的大模型架構，每次處理數據時只激活模型中的一小部分"專家"模組，其餘部分處於休眠狀態。這種架構在降低計算量的同時，維持了超大規模的參數量，是當前最先進大模型（如DeepSeek-V3
）的核心技術之一。由於MoE層大幅增加了各GPU之間的通信開銷，流水線並行對MoE模型的價值比對普通模型更大，消除流水線氣泡的收益也更為顯著。
在2B模型的實驗中，研究團隊關注了一個關鍵問題：隨著訓練時間越來越長、模型越來越接近收斂，梯度陳舊帶來的危害會不會越來越大？一步之差在訓練初期可能無所謂，但在模型已經相當優秀、每一步都需要非常精確的梯度資訊時，這一步延遲會不會成為致命傷？
實驗結果令人寬心：從500億到2000億token，同步訓練曲線和異步訓練曲線始終保持近乎平行的走勢，兩者之間的差距沒有隨訓練深入而擴大。誤差反饋在每個訓練階段都穩定地恢復了大部分剩餘差距。
隨後，研究團隊將挑戰推進到了100億參數的MoE模型，這是他們實驗條件下最大的驗證規模。這個模型採用了受Qwen3啟發的混合架構，結合了標準注意力機制和一種叫做"門控Delta網路"的線性注意力機制，規模達到512個專家、top-10路由，在2000億token上訓練，批量大小400萬token。
最終結果如圖1所示（即文章開頭提到的那張圖）：標準異步訓練的驗證損失為1.911，而同步基線為1.906，差距只有0.005。加上誤差反饋之後，異步訓練的驗證損失降至1.906，與同步基線完全持平，且使用了完全相同的超參數，無需任何針對異步模式的特殊調整。
研究團隊還在八個下游任務基準上（包括常識推理、問答、語言理解等）對三個版本的模型進行了評估，結果同樣顯示異步+誤差反饋版本與同步版本的表現幾乎無法區分，驗證了相同的驗證損失確實對應相同的實際能力，而不只是數字上的巧合。
研究團隊指出，100億參數規模的實驗使用的批量大小略大於理論最優值，這理論上對異步訓練不利（因為每個token預算內的優化步數更少，從梯度陳舊中恢復的機會也更少）。換言之，真實場景中的效果很可能比實驗數字顯示的還要好一些。
八、與原始PipeDream方案的正面對比
既然已經證明了PipeDream-2BW加上合適的優化器可以近乎無損地進行異步訓練，研究團隊還做了一個很有價值的對比實驗：用找到的這些魯棒優化器去跑原始PipeDream方案（即每道工序各自更新、延遲程度參差不齊），看看是優化器的改進能彌補可變延遲的問題，還是固定延遲的調度方案本身更重要。
實驗在4個、8個、16個流水線階段下分別測試了Muon（兩種動量設置）、SOAP和NAdam。結果非常清晰：在淺層流水線（4個階段）時，Muon加上μ=0.99和誤差反饋，可以把損失差距壓縮到2.840，與同步基線2.841幾乎持平，SOAP也能達到與基線相差無幾的水平。然而當流水線加深到16個階段時，所有方案都顯著退步，即便是表現最好的組合（Muon，μ=0.99，加誤差反饋），損失差距也超過了0.03。
這個結果給出了一個清晰的結論：魯棒優化器和誤差反饋可以讓原始PipeDream在淺層流水線下勉強可用，但無法從根本上解決其可變延遲隨流水線深度擴大的內在問題。在深層流水線場景下，固定延遲的PipeDream-2BW調度方案本身就是必要條件，不是可以用更好的優化器繞開的。
附錄中還討論了另一種叫WPipe的混合調度方案。這種方案適用於一塊GPU上可以運行多個邏輯流水線階段的場景，它讓模型後半部分完全無延遲，只有前半部分承受一步延遲，相當於把延遲壓力對半減輕。實驗顯示，WPipe在Muon和SOAP上都能進一步小幅改善異步性能，且同樣受益於誤差反饋。研究團隊認為，在系統條件允許的情況下，WPipe是比PipeDream-2BW更優的實踐選擇，但兩者在優化器層面的結論完全一致。
歸根結底，這項研究講述的是一個關於"用對工具"的故事。流水線並行異步訓練的性能問題，長期以來被歸咎於"梯度陳舊本身是個無法克服的物理障礙"。但當研究團隊換掉那個在異步場景下天然脆弱的AdamW，選用Muon這類動量特性更強的優化器，再配合一個簡單的誤差累積補償機制，一步延遲帶來的性能損失就幾乎消失了。在一個百億參數的實際大模型訓練中，這套方案讓異步訓練和同步訓練達到了完全相同的最終效果，同時徹底消除了流水線等待氣泡。
這對AI基礎設施的意義不難理解：消除氣泡意味著同樣的硬體能在相同時間內完成更多有效計算，或者說用更少的時間訓練出同樣好的模型。在當前大型模型訓練動輒耗費數百到數千萬美元的背景下，這不是一個可以忽視的改進空間。
當然，這項研究也留下了一些尚未解開的謎題。高動量為什麼能抵禦梯度陳舊，目前只有直覺上的解釋，缺乏嚴格的機理分析。批量大小與延遲的交互關係只在135M模型上做了細緻測試，在更大規模模型上的規律還有待探索。WPipe調度方案也只在有限的附錄實驗中出現，其完整潛力尚未充分發掘。對萬億token訓練規模下的行為驗證，同樣是未來研究的重要方向。
對普通的AI研究愛好者而言，這項工作傳遞的資訊是：訓練AI的效率問題，很大程度上是一個"工具與方法匹配"的問題，而不是一個純粹的物理限制問題。有興趣深入了解的讀者可以通過arXiv編號2606.30634檢索到完整論文，或者在ICML 2026的論文集（PMLR 306）中找到這篇研究。
Q&A
Q1：PipeDream-2BW與原始PipeDream在異步訓練中的核心區別是什麼？
A：原始PipeDream讓每道流水線工序算完就各自更新參數，導致不同工序的梯度陳舊程度參差不齊，流水線越深問題越嚴重。PipeDream-2BW則要求等整批數據全部完成前向和反向傳播後，所有工序才統一更新一次，這樣無論流水線多深，每道工序的參數都只落後整整一步，陳舊程度完全相同。這個"固定一步延遲"的特性，是讓異步訓練在深層流水線下保持穩定的關鍵前提。
Q2：Muon優化器為什麼比AdamW更能抵抗梯度陳舊？
A：核心原因在於動量特性。Muon天然工作在高動量模式下，讓每步更新更多依賴歷史積累的方向感，而不是單次可能已經過時的梯度。AdamW的最優動量係數約為0.9，這個值在正常訓練中效果很好，但面對延遲梯度時抵禦能力不足；如果強行把AdamW的動量調高，它在同步訓練中的性能反而會大幅下降。Muon沒有這個兩難困境，它的高動量模式對同步和異步訓練都是最優的。
Q3：誤差反饋校正方法在實際使用中有什麼額外的代價？
A：誤差反饋方法需要額外儲存一份與模型大小相當的緩衝區，用於記錄上一步的更新量。在分布式訓練中，這個緩衝區只儲存在每塊GPU負責的局部模型分片上，而不是整個模型，實際內存開銷非常小。研究團隊在實際的100億參數實驗中測量，誤差反饋帶來的總額外內存消耗不超過1.5GB，不到單塊80GB GPU顯存的2%。計算方面幾乎沒有額外開銷，只需多保存和引用一個之前已經計算過的更新量。
