這項由伊利諾伊大學厄巴納-香檳分校研究人員開展的研究，以預印本形式發布於2026年6月30日，論文編號為arXiv:2607.00152，有興趣深入了解的讀者可通過該編號查詢完整論文。
**一個你可能沒意識到的問題**
當今最強大的AI推理系統——比如能解複雜數學題、能寫代碼、能做邏輯推理的那些模型——背後有一套訓練機制，大多數人從未聽說過，即便是AI從業者也往往對其中的細節一知半解。過去幾年裡，研究界相繼提出了三種訓練方法，每一種都被包裝成獨立的"技術創新"，擁有各自的名字、各自的論文、各自的改進邏輯。然而這兩位研究者做了一件看似簡單卻頗具價值的事：他們把這三種方法的數學推導徹底拆開來看，結果發現——這三種方法根本不是三種不同的東西，它們只是對同一個數字進行了三種不同的操作。
這個數字，就是"標準差"。更準確地說，是一道題目的多次作答中，正確與錯誤答案之間的分歧程度。
**一、AI學習的底層機制：為什麼要讓模型反覆做同一道題**
要理解這個發現的意義，需要先弄清楚這類AI是怎麼被訓練出來的。
現代AI推理模型的訓練方式，與我們平常理解的"刷題練習"有一個根本差異。在訓練階段，系統會把同一道題目交給模型做很多遍——比如八遍、十六遍。這些重複作答並不是給用戶看的，而是給訓練系統自己用的。每一次回答完畢，會有一個自動檢驗程序（可以理解成一個不知疲倦的閱卷老師）給出評分：答對了得1分，答錯了得0分。
為什麼要這樣做？原因藏在一個樸素的邏輯里：如果模型八次都答錯了，那說明它完全不懂這道題，沒有任何成功經驗可以模仿；如果八次都答對了，那說明它已經完全掌握了，沒有任何失敗案例可以警示。只有當某幾次答對、某幾次答錯的時候，訓練系統才能真正做點有意義的事——它可以比較"做對時的思維路徑"和"做錯時的思維路徑"有什麼不同，然後告訴模型：往正確的那條路走，遠離錯誤的那條路。
這種分歧，就是"組內標準差
"。當答案一半對一半錯時，分歧最大，標準差最高；當答案全對或全錯時，毫無分歧，標準差為零。
**二、三種方法的真實面目：同一個旋鈕，三種撥法**
現在來看這三種方法。
第一種叫GRPO（群體相對策略優化），是目前最廣泛使用的方法，由DeepSeek團隊在訓練數學推理模型時推廣開來。它的核心操作是：計算出這道題目的"分歧程度"（也就是那個標準差σ），然後把訓練信號**除以**這個數。這麼做的效果，相當於對所有題目的訓練強度做了一種特殊的均衡化——那些特別難或特別簡單的題目，會獲得更多的訓練權重。
第二種叫Dr. GRPO（正確版GRPO），是另一個團隊對GRPO的"糾錯"版本。他們認為GRPO有一個問題——極難或極簡單的題目被過度關注了——於是他們的解決方案是：**把那個除法去掉**。不再除以標準差，直接用原始的訓練信號。這樣一來，每道題目得到的關注程度，只和"這道題有多大比例答對了"成正比，不會特別偏向某個難度區間。
第三種叫DAPO（解耦裁剪動態採樣策略優化），它關注的是另一個問題：如果一道題八次全答對了，或者八次全答錯了，那個標準差就是零，根本沒有任何有效的訓練信號。DAPO的解決方案是：**直接丟掉這種全對或全錯的題目組**，額外多採樣一些有分歧的題目來頂替。
把這三種方法並排放在一起，研究者注意到一件事：它們全都在處理同一個數——那個標準差σ。GRPO把它當分母用，Dr. GRPO把這個分母去掉了，DAPO把讓它等於零的情況過濾掉了。這就是論文標題所說的"三種操作"——不是三個獨立的發明，而是同一個旋鈕撥向了三個不同位置。
**三、那個精妙的等式：學習信號恰好等於分歧程度本身**
研究者接下來證明了一個在數學上出乎意料整潔的結論，也是這篇論文的核心定理。
用一個通俗的描述：假設對同一道題採樣了G次，其中k次答對、G-k次答錯。那麼GRPO對這道題產生的實際訓練更新，恰好等於√(k×(G-k)/G)——也就是那道題的"組內標準差"——乘以"正確答案的平均特徵與錯誤答案的平均特徵之差"。
這個等式成立，不管你用什麼基準線（baseline）來減，不管模型有多少參數，不管你在什麼維度的參數空間裡操作，它永遠成立。這就是論文所稱的"群體標準差恆等式"。
這個等式的意義在於：那個標準差，不只是一個被用來做除法的分母，它本身就是訓練信號的"大小"。一道答案五成五敗的題目，產生最強的學習信號；一道答案清一色全對或全錯的題目，產生零學習信號。分歧程度，就是學習量。
用一個生活中的類比：這就好比一個學生在一套測試題里，只有那些"有時候做對、有時候做錯"的題目，才是真正值得反覆練習的題目。每次都做對的，不用再練；每次都做錯的，現階段也無從練起——因為你連一個可以參照的正確版本都沒有。只有那些處於"搖擺狀態"的題目，才是當下最有價值的練習材料。
**四、這個發現帶出了三個具體的實用結論**
從這個核心等式出發，研究者推導出了三個可以直接用於實踐的結論，每一個都能回答訓練AI時經常遇到的實際問題。
第一個是關於"每道題該採樣幾次"的問題。採樣越多，自然能更準確地感知這道題的真實難度，但計算資源是有限的。研究者推導出了一個簡潔的公式：如果想讓一道題的訓練信號達到"理論最大值"的至少(1-ε)倍，需要的採樣次數G大約是1/(8εp(1-p))，其中p是這道題被答對的概率。
這個公式揭示了一個有趣的規律：難度越極端的題目，需要的採樣次數越多。一道被答對概率恰好是50%的"中等難度"題，大約採樣10到11次就夠了；而一道被答對概率只有5%的"超難題"，要達到同樣的精度，需要採樣接近70次。換句話說，固定的採樣數量（比如通常使用的G=8），對中等難度題目來說已經很充分，但對極難題目來說嚴重不足——在G=8時，超難題只能實現大約54%的理論最大學習信號，而中等難度題能實現93%。
這不是一個泛泛的定性結論，而是一張可以查表的數字。研究者提供了一張詳細的對照表：在不同難度、不同目標精度（90%、95%、99%）下，各自需要多少次採樣。需要99%精度、題目答對率為5%時，需要273次採樣；而同樣精度、答對率50%時，只需要51次。
第二個結論是關於"有多少訓練資源被白白浪費了"的問題。當一道題全部答對或全部答錯時，那個標準差為零，整組訓練數據產生零學習信號——這種情況被稱為"沉默組"。沉默組的概率精確地等於p的G次方加(1-p)的G次方，其中p是這道題的答對概率。
研究者把這個公式應用到了真實數據上。他們使用了一個名為Big-Math的大型數學題數據集，包含215,608道數學題，每道題都有Llama-3.1-8B模型做了64次嘗試的實際答對率。在這份數據里，當採樣次數G=8時，有44%的題目組會成為沉默組，產生零學習信號；即使把採樣次數增加到64，仍有17%的題目組保持沉默。更麻煩的是，其中11.2%的題目在任何採樣次數下都永遠沉默——因為這些題目要麼每次都答對（太簡單），要麼每次都答錯（太難），無論抽多少次樣，都不會出現"有對有錯"的分歧局面。這就是DAPO需要額外動態替換採樣的原因：它實際上是在系統性地消除這些沉默組。
第三個結論是關於"GRPO和Dr. GRPO到底優化的是什麼目標"的問題。當採樣次數趨向無窮大時，GRPO的訓練方向等價於優化一個叫做"反正弦變換"的數學函數：2×arcsin(√p)，而Dr. GRPO優化的是原始的答對率p本身。這兩個目標在數學形狀上有本質區別：反正弦變換對極端難度的題目賦予了更高的邊際權重，而原始答對率對所有難度的題目一視同仁。
具體來說，GRPO給每道題賦予的"邊際學習權重"等於1/√(p(1-p))。當題目難度恰好是50%時，這個權重等於2；當題目難度是5%時，這個權重約等於4.6——是中等難度題的兩倍多。這就是Dr. GRPO論文中所說的"難度偏差"：GRPO會自動過度關注極難和極簡單的題目。而Dr. GRPO去掉除法之後，每道題的權重變成了固定的1，沒有任何難度偏向。
這個發現的重要性在於：這種"難度偏差"並非GRPO的一個意外副作用或設計失誤，而是它在數學上必然帶來的結果——只要你用了標準差做除法，你就是在隱式地優化那個反正弦變換，就必然會得到這個難度偏向的權重分配。理解了這一點，你才能有意識地選擇：我是要GRPO的偏向極端難度的優化方式，還是Dr. GRPO的均等對待所有難度的優化方式？
**五、在真實數據上的驗證：理論預測與現實高度吻合**
研究者在Big-Math數據集上驗證了上述所有理論預測，並進行了一次受控的模擬訓練實驗。
在數據集分析部分，他們首先描述了Big-Math的難度分布：這份數據集呈明顯的雙峰分布，有4%的題目從未被答對（答對率為0），有7.2%的題目每次都被答對（答對率為1），中間區域則有相當廣泛的分布。這說明極端難度的題目在現實數據中占有真實比例，絕非理論上的邊角案例。
在梯度預算分配方面，對比GRPO和Dr. GRPO在這份數據集上的實際差異：GRPO把24.7%的有效訓練梯度分配給了極端難度題目（答對率低於10%或高於90%），而Dr. GRPO只分配了13.9%——差距將近1.8倍。相應地，GRPO給中等難度題目分配的梯度比例（17.5%）低於Dr. GRPO（22.8%）。這一差異不是微小的數位遊戲，而是訓練信號分布的實質性改變。
在模擬訓練實驗中，研究者構造了6,000個簡化版"模型"，每個模型對應一道題，初始難度從Big-Math的真實分布中抽取，然後分別用GRPO、Dr. GRPO和DAPO三種規則訓練150步。
實驗結果與理論預測的吻合程度令人印象深刻。沉默組比率的變化曲線與理論公式的預測值達到了R?=0.999的契合度——幾乎完美。梯度質量分布也與有限採樣下的理論修正公式精確匹配。在學習軌跡方面，對於初始最難的那25%題目，GRPO在150步後將平均答對率提升到了0.99，Dr. GRPO只達到了0.88，而DAPO（動態替換沉默組）則最快達到了高答對率，但代價是需要3.5倍的額外採樣開銷。
這個實驗不只是驗證了數學公式，它還展示了三種方法在實際訓練動態上的差異：GRPO因為給極端難度題目更高權重，所以在那些最難掌握的題目上進步更快；Dr. GRPO進步更均勻但對極難題目的推進較慢；DAPO通過避免在沉默組上浪費計算，把所有資源都花在有實際學習信號的題目上，速度最快，但需要持續檢測和替換採樣。
**六、這個發現對AI訓練實踐意味著什麼**
研究者在論文中非常謹慎地指出：這項研究的結論並不是"哪種方法最好"，而是揭示了這三種方法的實質差異，讓從業者能夠有意識地做出選擇。
選擇GRPO意味著你認為對極端難度的題目施加更多訓練壓力是值得的——這樣做可以更有效地"救活"那些極難題目，但代價是你的隱式目標變成了那個反正弦變換，而非原始的答對率。選擇Dr. GRPO意味著你更希望模型在整體答對率上均勻提升，不偏不倚地對待每個難度層級。選擇DAPO的動態採樣策略意味著你重視計算效率——寧願多花幾次採樣來確保每次更新都有實際意義，而不是把更新浪費在全對或全錯的無效題目組上。
論文還有一個更深層的啟示：這種單組精確核算的分析框架，可以被推廣到其他訓練設計選擇上。基於排名的優勢函數、基於分位數的獎勵、獎勵裁剪、長度歸一化——每一種都可以用同樣的方式，從"一道題、一組採樣、一次精確更新"出發做分析，把各種看似神秘的工程選擇還原為可理解的數學操作。
這項研究的局限性同樣值得一提：論文中的核心等式專門針對二元獎勵（答對得1，答錯得0）和單次在線更新的情況。對於獎勵裁剪、KL懲罰項、離策略更新、非二元獎勵等情況，同樣的分析框架需要額外的處理。受控實驗是在一個大幅簡化的標量模型上進行的，真實語言模型的訓練動態會更複雜。不過研究者指出，核心等式本身在數學上對任意維度的策略都成立，真實語言模型的訓練日誌中理應能觀察到同樣的現象。
歸根結底，這項研究做了一件很樸素的事：把三個被分開討論的東西，找到了它們共同的根。那個根，是一個你可以直接從採樣數據里算出來的數字——組內標準差。它不只是一個做除法用的分母，它就是這道題當前能產生的學習量本身。分歧越大，學習越多；完全沒有分歧，就什麼都學不到。
有興趣深入了解完整數學推導和實驗細節的讀者，可以通過arXiv編號2607.00152查閱原論文，研究團隊還在GitHub上開放了全部代碼，供任何人復現驗證。
---
Q&A
Q1：GRPO和Dr. GRPO到底有什麼實質區別，哪個效果更好？
A：GRPO在計算訓練信號時多了一個"除以組內標準差"的步驟，這讓它在數學上等價於優化反正弦變換目標，會給極難和極簡單的題目賦予更高的訓練權重；Dr. GRPO去掉了這個除法，優化的是原始答對率，對所有難度一視同仁。沒有絕對更好的說法，取決於訓練目標：想要更用力攻克極難題目就選GRPO，想要整體均勻提升就選Dr. GRPO。
Q2：GRPO訓練時為什麼要讓AI對同一道題做很多遍，不是很浪費資源嗎？
A：這些重複作答不是真正的"浪費"，而是測量AI當前在這道題上的不確定性。只有當部分嘗試答對、部分答錯時，才能比較兩種路徑的差異，產生有效學習信號。如果全答對或全答錯，根本沒有對比可做，重複多少遍都是零學習信號。重複採樣的目的，正是為了找到這種"有分歧"的狀態。
Q3：DAPO的動態採樣是什麼意思，它解決的是什麼問題？
A：DAPO發現，當AI對某道題的所有嘗試結果完全一致（全對或全錯）時，組內標準差為零，這組數據完全無法產生任何訓練更新。DAPO的解決方案是檢測到這種"沉默組"後直接丟棄，換一道有對有錯分歧的題目頂替。在包含215,608道題的Big-Math數據集裡，G=8時有44%的題目組會出現這種沉默情況，DAPO通過動態替換把這部分計算資源用到了刀刃上。
