這項由上海人工智慧實驗室、上海大學、西湖大學、上海交通大學、中國科學院大學、浙江大學、南方科技大學等多家機構聯合開展的研究，於2026年7月以預印本形式發布，論文編號為arXiv:2607.04033。感興趣的讀者可以通過這個編號在arXiv平台找到完整論文。
**一場關於"如何訓練AI"的大混戰**
每一個AI模型的背後，都藏著一個不起眼卻至關重要的角色——優化器。如果把訓練AI比作攀登一座布滿迷霧的山峰，那優化器就是那個每步決定腳往哪兒邁的嚮導。它的核心任務是：根據當前的錯誤信號，計算出下一步參數應該怎麼調整，從而讓模型越來越準確。
問題在於，現在這個"嚮導"的種類已經超過了一百種。有的嚮導擅長快速找到大致方向，有的嚮導更省力氣（占用更少內存），有的嚮導在崎嶇地形（長序列、複雜架構）上表現更穩，有的嚮導對初始方向的選擇非常敏感。這些嚮導各有脾氣，研究者們每隔一段時間就會推出新的嚮導，聲稱自己在某些測試中打敗了前輩，但換一個測試場景，結論又可能完全相反。
面對這種混亂局面，研究團隊決定做一件耗時耗力卻極有價值的事：給這一百多種優化器建立一套統一的語言體系，讓人們能夠清晰地看懂每種方法究竟在幹什麼，然後在真實的訓練場景中系統地測一測它們到底表現如何。這項工作被命名為OmniOpt，意為"全面的優化器研究"。
**一、優化器到底在做什麼：一條五步流水線**
要理解這場混戰的根源，得先搞清楚優化器的工作流程。研究團隊發現，儘管一百多種方法看上去五花八門，但它們本質上都在執行一套相同的五步動作，只是每種方法在其中某一步或兩步上做了不同的改動，其餘步驟照舊。
研究團隊將這五步稱為"通用元流水線"。第一步叫做"參數分組與路由"，簡單說就是決定哪些參數按矩陣方式處理，哪些按普通向量方式處理。一個Transformer模型里有各種各樣的參數，注意力層的權重矩陣、歸一化層的縮放係數、偏置項，它們的形狀和性質完全不同，有的優化器會把這些參數分成不同的組別分別對待，有的則一視同仁。
第二步叫做"梯度變換"，這是整個流水線里最核心的創新戰場。梯度是模型告訴優化器"我在哪個方向出了錯"的信號，而"變換"就是對這個信號進行加工處理。有的方法直接用原始梯度，有的把梯度變換成一個正交化的矩陣方向，有的把梯度投影到一個低維子空間裡再使用。
第三步叫做"狀態演化"，也就是維護優化器自己的記憶。最經典的例子是AdamW所做的：它同時維護兩個移動平均，一個追蹤梯度的方向（動量），一個追蹤梯度的大小波動（二階矩估計），用來為每個參數定製一個個性化的學習步長。這兩個"記憶"需要占用額外的內存，對於一個70億參數的模型而言，僅這兩個狀態就需要約56GB儲存空間。
第四步叫做"更新重建"，當梯度經過變換被壓縮進了一個低維空間時，最終要寫回參數之前，需要把它"還原"回原本的形狀。這是第二步的鏡像操作，就像壓縮文件之後需要解壓才能使用一樣。
第五步叫做"更新最終化"，負責把計算好的更新方向真正寫入參數，同時處理學習率縮放、權重衰減（一種防止過擬合的正則化手段）、梯度裁剪等收尾工作。
研究團隊指出，一百多種優化器中，絕大多數只在這五步中的某一步或兩步上做了非平凡的改動，其餘步驟都按默認方式執行。這個發現非常重要，因為它意味著兩件事：第一，可以用一套統一的語言描述所有優化器；第二，兩個處於不同步驟的方法原則上可以疊加使用，而兩個爭奪同一步驟的方法疊加時就需要仔細考慮先後順序。
**二、用數學語言統一一百多種方法：四軸坐標系**
流水線解決了"在哪兒改"的問題，但還需要解決"怎麼改"的數學本質。研究團隊在這裡引入了一個優雅的幾何工具：線性最小化預言機，簡稱LMO。
LMO的直覺其實非常簡單。每一步梯度更新，本質上是在問："在我能走的範圍內，哪個方向的下降最陡？"而"我能走的範圍"由一個約束球的形狀決定。不同形狀的約束球，給出不同的"最陡下降方向"。
以最常見的情形為例：如果約束球是一個普通的圓形（數學上叫l2球），那最陡下降方向就是梯度本身除以梯度長度，也就是歸一化梯度。如果約束球是一個正方體（數學上叫l∞球，也就是每個維度的最大位移固定），那最陡下降方向就是梯度每個分量的符號，即正的方向走一步，負的方向走一步，這正是Lion、SignSGD這類方法的本質。如果約束球是一個由矩陣譜範數定義的空間，那最陡下降方向就是矩陣的極因子，也就是Muon所做的事情。
這個洞察把看起來差異很大的三類方法統一進了同一個幾何框架：它們的區別只在於用了哪種形狀的"約束球"。AdamW可以理解為一種動態變形的正方體——由二階矩統計決定每個維度的邊界長度；Muon對應譜範數球；Lion對應固定正方體。
基於這個幾何視角，研究團隊建立了一個四軸坐標系來描述任意優化器的完整特徵。
第一軸是"更新域"，描述更新發生在哪個空間裡。大多數方法在原始參數空間操作，GaLore這類方法則把更新限制在一個低秩子空間裡，相當於只在山峰的某幾個主要方向上移動，而忽略其他方向的微小變化。
第二軸是"狀態估計器"，描述優化器維護什麼樣的歷史記憶。什麼都不記的是SGD；記一階動量（方向平均）的是帶動量的SGD；同時記一階和二階矩（方向平均加大小方差）的是Adam家族；MARS方法在這一軸上做了改進，它先對梯度進行方差縮減校正（修正因隨機採樣帶來的噪聲），再維護Adam的兩個矩，從而讓記憶的原材料更準確。
第三軸是"幾何與預條件算子"，也就是LMO所在的位置，決定狀態被轉化成什麼形狀的更新方向。這一軸有LMO的約束球解讀，同時也可以用預條件的語言理解：Hessian矩陣的逆（或近似）乘以梯度，就是牛頓法的思路。AdamW用對角線二階矩作為Hessian近似；Shampoo和SOAP用Kronecker因子近似；Muon用Gram矩陣的負半方根。
第四軸是"最終化包裝器"，包含學習率、權重衰減、投影還原、路由規則和刷新計劃等所有發生在方向確定之後的操作。
通過這四個軸，可以給任何一個優化器標註一個坐標，就像用經緯度定位地球上的任意一點。兩個方法的坐標差異越大，它們通常越容易疊加組合；兩個方法在同一軸上都有強烈的非默認操作，疊加時就需要仔細規定順序。
**三、一百零八位"嚮導"的家譜：五大家族**
統一了描述語言之後，研究團隊將所有收錄的108個優化器按照主要機制分成了五大家族，同時用效果目標（收斂效率、計算成本、內存占用、訓練穩定性、超參數魯棒性、泛化能力）從另一個維度給每個方法打標籤。
第一家族（T1）叫做"逐元素自適應矩與標量控制"。這是以AdamW為核心的最大家族，共43個成員。這個家族的共同特徵是：對每個參數獨立進行縮放，不跨行列交換資訊，參數永遠一個接一個地被更新，絕不成批處理。家族內部按照改動位置分成三個支系：直接修改AdamW某個環節（如方差估計、偏差校正、權重衰減方式）的是T1.1，代表是AdamW本身及RAdam、AdaBelief、Adan、ADOPT等；在信號質量上做文章（添加多時間尺度動量或方差縮減）的是T1.2，代表是AdEMAMix和MARS-AdamW；在外層控制邏輯上做文章（無調度疊代平均或自動學習率推斷）的是T1.3，代表是Schedule-Free AdamW和Prodigy。
第二家族（T2）叫做"矩陣級結構方法"，共16個成員。這個家族認為Transformer里的權重矩陣不應該被拆成獨立的坐標處理，而應當被作為一個整體對待。家族分三支：用譜正交化處理梯度的T2.1（代表是Muon和RMNP）、用Kronecker因子近似曲率的T2.2（代表是Shampoo和SOAP）、把梯度投影到低秩子空間再更新的T2.3（代表是GaLore）。
第三家族（T3）叫做"離散化與方向量化"，共7個成員。這個家族幹了一件極端的事情：把梯度的連續數值方向直接變成±1的符號方向，丟棄幅度資訊只保留方向。核心代表是Lion，它對動量和當前梯度的插值取符號，更新的最大步長直接由學習率控制，不受梯度幅度影響。這讓T3方法的每一步計算都非常便宜，同時也不需要儲存二階矩，內存比AdamW少一個狀態緩衝區。
第四家族（T4）叫做"狀態壓縮與結構聚合"，共11個成員。這個家族專注於解決內存壓力問題，通過各種方式壓縮或精簡優化器狀態。按照壓縮方式分四支：用行列統計近似完整二階矩矩陣的T4.1（代表AdaFactor和CAME）、用低精度整數儲存狀態的T4.2（代表8-bit Adam）、在參數塊或層級共享統計量的T4.3（代表Adam-mini和APOLLO）、以及在反向傳播過程中邊算邊寫立刻釋放梯度的T4.4（代表LOMO）。
第五家族（T5）叫做"曲率感知與幾何正則化"，共25個成員。這個家族不改變基礎方向計算，而是在方向已經確定之後，從幾何角度對更新施加約束或修正。分四支：通過對參數加擾動後重新計算梯度來尋找更平坦極小值的T5.1（代表SAM家族）；用對角線Hessian估計替換二階矩估計的T5.2（代表Sophia）；對更新方向進行中心化、投影、掩碼或穩定化處理的T5.3（代表Cautious Optimizers、SPAM等）；按層或參數組的範數比例縮放更新步長的T5.4（代表LAMB）。
**四、真刀真槍的測試：兩階段大規模基準實驗**
分類體系建立起來之後，研究團隊做了這項工作中最耗時也最有價值的部分：真實訓練實驗。實驗設計非常嚴謹，採用"控制變量"原則：在每個實驗裡，只有優化器相關的超參數可以調整，所有的架構設置、數據集、訓練時間表都保持完全相同，以確保觀察到的差異真的來自優化器本身，而不是其他因素。
實驗分兩個階段展開，覆蓋24個代表性優化器。
第一階段叫做"廣泛篩查"，在C4數據集（一個大規模英文網頁文本數據集）上，使用LLaMA架構，在60M、130M、350M、1B四個參數規模上各訓練一輪，用最終的驗證集困惑度（PPL，越低越好）、優化器狀態內存占用和每步運行時間來評估。評估目標對應前三個效果目標：收斂質量O1、計算成本O2、內存成本O3。
第二階段叫做"泛化能力測試"，把第一階段表現較好的優化器放到更苛刻的條件下：更高質量的數據集FineWeb-Edu、32k長序列、340M和1B兩個規模，以及四種架構——標準Transformer++，加上三種線性注意力變體（Gated DeltaNet、DeltaNet、GLA）。除了PPL，還要測WikiText困惑度和十個常識推理下游任務的平均準確率（CS Avg.）。
在第一階段中，最值得關注的發現是APOLLO的驚人表現。這個屬於T4狀態壓縮家族的方法，在1B規模上達到了所有24個方法中最低的PPL（13.53），而且它的優化器狀態內存極小（僅0.79GB，AdamW需要約5GB）。它幾乎同時站上了質量和內存效率的最優前沿。
不過，Pareto前沿分析（找出沒有任何方法在所有指標上都優於它的方法集合）揭示了一個更複雜的圖景：在PPL對運行時間的前沿上，RMNP表現得非常均衡，它以接近AdamW的運行時間代價獲得了接近Muon水平的質量；SOAP以極高的運行時間代價換來了極好的PPL；Lion則是最快的方法，但質量最差。不同的家族占據了效率空間的不同位置，不存在一個在所有指標上全面碾壓的方法。
進入第二階段，事情變得更加戲劇性。在長序列（32k）和多架構的測試中，優化器的排名發生了顯著的重新洗牌。
SOAP成為了跨場景最穩定的高質量優化器，在八個場景（兩個規模乘以四種架構）中的七個里拿到了PPL最優或次優，表現出極強的架構泛化能力。MARS-AdamW是T1家族中最穩定的提升版本，在多個場景中領先於普通AdamW，尤其在常識推理任務上表現突出。Muon則表現出明顯的架構依賴性：在標準Transformer上處於中游，但在GLA架構上一躍成為最優，這說明它的譜正交化更新方向與GLA架構的參數拓撲存在某種深層的契合。
最戲劇性的反轉是APOLLO的故事。在256個token的短序列設置下，它是排名第一的優化器。但當序列長度拉長到32k時，它的PPL比短序列時足足差了+21.87，而AdamW同樣條件下只差了+7.39，APOLLO的劣化程度是AdamW的約三倍，成為所有測試方法中泛化最差的一個。
研究團隊用四軸框架精準地解釋了這個現象。APOLLO的本質是第二軸（狀態估計器）上的激進壓縮：它通過隨機投影將梯度壓到一個低維子空間中維護統計量。在短序列場景下，梯度的有效秩比較低，這個低維近似幾乎不損失資訊。但當序列變長時，模型需要捕捉更長距離的依賴關係，梯度的有效秩隨之升高，固定維度的投影就會開始丟失越來越多的關鍵資訊，導致更新質量急劇下降。這個發現總結成一個非常實用的警示：T4家族的優勢受到梯度有效秩的約束，短序列下看起來極好的表現，不能代表長序列下的可靠性。
在CIFAR-100圖像分類的視覺領域測試中，跨架構的不穩定性再次得到驗證。在CNN（ResNet50）上，AdaBelief達到最優；在Vision Transformer（DeiT-S）上，Muon大幅領先（比AdamW高出超過五個百分點）；在MetaFormer（CAFormer-S12）上，Adan拿到最優。沒有任何一個優化器在三種視覺架構上都是最優的，這和語言模型測試中的結論相互印證：優化器的表現與目標架構的梯度結構深度綁定。
**五、訓練穩定性與超參數魯棒性：兩個經常被忽視的維度**
研究團隊還針對穩定性（O4）和超參數魯棒性（O5）進行了專門的輔助分析，這兩個維度在通常的優化器論文中往往只是一筆帶過。
穩定性分析通過計算梯度範數的變異係數（GNormCV，梯度範數的標準差除以均值，越低越穩）來衡量。一個重要發現是：所有測試的運行都正常結束，沒有出現數值溢出（NaN/Inf），但GNormCV的差異卻跨越了超過兩個數量級，從約0.3到超過160不等。這意味著傳統的"是否收斂"判斷標準完全無法區分這些方法的穩定性差異，而GNormCV才能暴露出訓練軌跡中隱藏的軟性不穩定性。
Muon在穩定性上表現最好，在所有架構的測試場景中幾乎總是排名前兩位，這與它的譜正交化將更新的幅度從梯度幅度中解耦有關——每一步更新的大小由學習率決定，而不會被梯度的突然變化所放大。SOAP和Conda在某些架構上出現了極高的GNormCV，但診斷顯示這是偶發的單步脈衝，並非持續性的振盪，本質上是罕見的極端步驟被平均值放大了統計結果。GLA架構是所有方法的穩定性壓力測試，幾乎所有優化器在GLA上的GNormCV都顯著升高，說明這是架構本身的特性導致的，而非優化器的問題。
超參數魯棒性測試的設計是：對每個優化器的調好學習率，分別測試將學習率縮小到五分之一和放大到五倍時，PPL的相對惡化程度有多大。Lion和MARS-Lion在這個測試中最魯棒（靈敏度分別只有0.7%和7.7%），原因正是T3家族的機制特性：因為更新的每個坐標幅度都被固定為±1乘以學習率，學習率的中等程度變化對方向沒有影響，只影響步長大小，所以有一定的容忍空間。然而，研究團隊特別指出，這種"魯棒性"部分來自於Lion的質量並不出色——質量在一個較寬的學習率範圍內都平平無奇，當然不容易變差太多。APOLLO的魯棒性最差，靈敏度高達63.3%，與它在長序列測試中的脆弱性形成了一致的側寫。
**六、拆解Muon：一台矩陣優化器的內部構造**
Muon被選為深度機制消融研究的對象，因為它的機制相對清晰而又有足夠深度。研究團隊把Muon的各個組成操作拆開逐一測試，目的是搞清楚：哪個操作是不可或缺的核心，哪些操作只是錦上添花，操作的順序是否可以隨意調換。
消融實驗在C4-LLaMA 350M規模上進行。基準是普通AdamW（PPL 17.78）。
第一個實驗揭示了核心所在：把AdamW的二階矩去掉，保留一階動量但不加任何補償（退化為帶動量的SGD），PPL直接跳到70.74，訓練實際上已經崩潰。但只要加回Newton-Schulz（NS）正交化，PPL就立刻恢復到16.86，已經優於AdamW，這明確確立了NS正交化是Muon能工作的關鍵核心。
第二個實驗測試了錦上添花的操作。在NS正交化的基礎上，對矩陣的行列維度分別施加不同的學習率縮放（對稱雙向縮放，考慮矩陣是否更寬或更高）能將PPL進一步降到16.52；在NS正交化之後再施加Nesterov動量校正能達到16.57；二者同時使用達到16.51。這兩個改進各自獨立地提供了額外收益，而且在C4上它們的效果可以疊加。
第三個實驗測試了操作順序的約束。如果把動量在正交化空間裡累積（而不是在原始梯度空間累積動量再正交化），PPL會劣化到23.01，與AdamW相比毫無優勢。如果先做學習率縮放再做NS正交化（而不是先正交化再縮放），PPL會劣化到16.70。這說明Muon的這些組件不是可以隨意排列的積木，它們在流水線中有嚴格的拓撲順序。
在多架構驗證中，這兩個增益操作在標準Transformer的350M和1B規模上都能穩定遷移且可以疊加。但在Gated DeltaNet架構上，兩個增益各自單獨使用仍然有效，合併使用時的改善卻不再超過最好的單一增益。這說明增益操作之間的協同作用是架構依賴的，在線性注意力機制的參數拓撲下，這兩個操作之間存在某種干擾，無法像在標準Transformer上那樣自由疊加。
**七、重要結論：沒有萬能嚮導，選擇需匹配約束**
經過所有這些實驗，研究團隊得出了一系列清晰而實用的結論，將這些結論組織成一個三層的"推薦嚮導"排名。
第一層推薦（Tier I）是在當前基準協議下最普遍可靠的方法：AdamW作為默認參考基準，任何其他方法都應以AdamW為起點來衡量額外價值；RMNP作為在質量和效率之間最均衡的矩陣結構方法，在不需要過高運行時間代價的前提下能獲得接近Muon的質量；Muon作為機制透明、適合進一步研究的矩陣結構方法，需要對目標架構有所了解才能用好。
第二層推薦（Tier II）是在特定場景下有明確優勢但不適合作為通用默認選項的方法：SOAP是追求極致長序列質量時的上限參考，代價是極高的運行時間和內存；APOLLO是短序列內存受限場景下的高收益方案，但必須額外驗證長序列性能；MARS-AdamW、AdamP等在特定設置下穩定，但不能主導第一階段的質量-效率前沿。
第三層（Tier III）是在當前協議下表現較弱或過於場景特定的方法，包括RAdam、NAdam、AdaBelief、Prodigy、GaLore、Shampoo、8-bit Adam、CAME、AdaFactor、Adam-mini、LAMB、Sophia。這不意味著它們永遠無用，而是在本次測試協議下，它們沒有展現出足夠顯著的綜合價值。
研究團隊特別強調：這份排名不是一個靜態的全局最優答案，而是一個基於約束的決策框架。當你的主要約束是訓練穩定性時，T1是最安全的家族；當約束是追求極致長序列質量且不在乎成本時，T2（尤其SOAP）是上限；當約束是短序列的內存極限時，T4有優勢但需要長序列驗證；當約束是最低的每步成本時，T3（Lion）是選項但質量要打折扣。
研究團隊還提煉了幾個關於"疊加原則"的技術經驗。不同軸或不同流水線步驟的機制通常可以自由疊加：方差縮減（第二軸）可以疊加到任何方向構造方法上，低秩投影（T2.3）和狀態量化（T4.2）可以疊加，後處理濾波器（T5.3）可以包裝任何基礎優化器，層級信任比例（T5.4）可以包裝逐元素自適應更新。爭用同一步驟的機制則需要規定順序：兩個強S2矩陣約束（譜正交化和低秩投影）不能自由組合，必須指定誰先誰後，二者的不同順序導致不同的更新方向和內存占用。
說到底，這項研究的核心貢獻不是告訴你"用哪個優化器最好"，而是建立了一套坐標系，讓你能夠清晰地描述每個方法改變了什麼，預測兩個方法疊加時會發生什麼，以及理解為什麼某個方法在某種場景下成功而在另一個場景下失敗。優化器的選擇本質上是一道"用有限的計算和內存預算，在你的架構和數據上爬上那座迷霧山峰"的工程題，而OmniOpt提供的，是一張前所未有詳細的地形圖。
有興趣深入了解完整推導、公式和實驗細節的讀者，可以通過arXiv:2607.04033找到原論文，所有實驗代碼和模型權重也在論文附帶的代碼倉庫和Hugging Face頁面上開放。
Q&A
Q1：OmniOpt研究中，為什麼APOLLO在短序列訓練中表現最好，在長序列訓練中卻最差？
A：APOLLO通過隨機投影把梯度壓縮到低維子空間來節省內存。短序列時，梯度的有效資訊維度本身就低，這種壓縮幾乎不損失資訊，所以效果很好。長序列時，模型要捕捉更長距離的依賴關係，梯度的有效秩隨之升高，固定維度的投影就開始丟失越來越多關鍵資訊，導致更新質量急劇下降。這是T4狀態壓縮家族的共性限制，壓縮帶來的收益本質上受梯度有效秩約束。
Q2：訓練大模型時應該優先選擇哪種優化器？
A：沒有普遍最優的選擇，應匹配訓練的主要約束。如果沒有特殊需求，AdamW是最穩定的默認基準。追求質量且內存和時間不是瓶頸，可以考慮SOAP。內存極度緊張但序列不長，APOLLO值得嘗試但需驗證長序列性能。想要比AdamW更好的質量同時不付出過高代價，RMNP是本研究中最均衡的選擇。
Q3：Muon優化器的核心是什麼，為什麼在某些架構上比AdamW好很多？
A：Muon的核心是Newton-Schulz譜正交化，它把梯度動量變換成一個所有奇異值都等於1的正交矩陣方向，相當於只保留方向資訊而抹平大小差異，從幾何上說是在譜範數球內做最陡下降。這在標準Transformer的注意力矩陣上效果好，因為這些矩陣的梯度具有清晰的行列相關結構。但在GLA等線性注意力架構上效果更好，而在CNN等非矩陣主導架構上優勢不明顯，說明它的有效性深度依賴目標架構的參數拓撲。
