有一件事說出來你可能會覺得反常識：訓練一個更強的模型，居然要靠一個更弱的模型來幫忙加速。
這不是玩笑。假設你手裡有一個4B參數的小模型，已經在某個任務上練得不錯了。現在你想訓練一個8B參數的大模型，理論上它的天花板應該比小模型高得多。但問題來了，從零開始訓練這個大模型，要花多少時間和算力？如果小模型已經"知道"一些有用的東西，能不能讓大模型站在小模型的肩膀上,更快地學會,還能超過它?
這個問題在AI行業里正變得越來越現實。模型一代一代往前疊代,每一代都要重新做一遍高成本的後訓練;各個團隊又喜歡先在小規模上打磨某個專項能力,比如數學、邏輯推理、寫代碼,然後想把這些專項能力揉合到一個大模型里。兩種場景都指向同一件事:怎麼把小模型身上的訓練成果,轉移到一個更強的模型身上,而且不能讓大模型的能力被小模型的天花板卡住。
這篇論文要解決的,就是這個問題。研究者們把這個方向叫做"弱到強泛化
",而他們提出的方法,叫做**On-Policy Reverse Distillation**,簡稱OPRD。
先說清楚,這事到底難在哪
**知識蒸餾**：一種讓"學生模型"模仿"老師模型"輸出的訓練方法，最早由Hinton等人在2015年提出，目的是把大模型的能力壓縮進小模型。
傳統的知識蒸餾,思路是反過來的:用一個強模型教一個弱模型,弱模型努力去模仿強模型的輸出分布,學得越像,效果越好。這套邏輯很自然,因為你希望學生最終達到老師的水平。
但現在的問題反過來了。你的"老師"是弱的,你的"學生"是強的。如果還用老傳統的思路,讓學生去模仿老師的每一個輸出,那學生能達到的上限,就是老師的水平,頂多再高一點點。這就好比一個已經能考985的學生,非要跟著一個只會中考真題的輔導老師亦步亦趨地刷題,你說他最後能超過老師多少?
**在線蒸餾（On-Policy Distillation, OPD）**：一種改進的蒸餾方式，不是讓學生模仿老師生成的固定文本，而是讓學生自己生成回答，再讓老師在學生走過的每一步上評分糾偏，這樣能避免訓練時看到的場景和實際使用時不一致的問題。
在線蒸餾已經算是個進步了，它解決了"訓練看到的和考試碰到的不一樣"這個老問題。但它沒解決核心矛盾：只要目標還是讓學生的每一步輸出都儘量貼近老師的分布，學生就永遠被老師的能力半徑框住。論文裡做了個實驗，讓在線蒸餾訓練的學生模型和一個純粹靠強化學習自己摸索的學生模型對比，結果很扎心：在線蒸餾一開始進步飛快，很快追上甚至短暫超過弱老師，但接下來就停滯了，趴在老師水平線附近不再往前走。而純強化學習雖然起步慢，但會穩步超過老師，只是要花更長時間。
這就是研究者們面對的真實困境：老師的指導確實有用，能讓學生少走彎路，加速前期學習；但如果把老師的整個策略當成優化目標，學生遲早會撞到天花板。
那要怎麼辦？既要用上老師的經驗，又不能讓老師的經驗變成學生的緊箍咒。
**核心思路：只借"變化的方向"，不借"最終答案"**
論文裡有一個特別關鍵的洞察，值得慢慢講。
一個弱模型，從最初的"參考策略"（也就是它做後訓練之前的狀態）經過強化學習訓練，最終變成了一個"老師策略"。這中間發生了什麼變化？
**參考策略（Reference Policy）**：模型在做強化學習訓練之前的初始狀態，通常就是原始的預訓練或指令微調模型，沒有經過針對特定任務的強化學習優化。
這個從參考策略到老師策略的轉變過程，包含了三樣東西混在一起：一是訓練過程中真正學到的、對完成任務有用的策略調整；二是從參考策略那裡繼承下來的一些習慣性偏好，跟任務本身沒什麽關係；三是因為弱模型本身參數少、能力有限，被迫做出的一些將就性選擇。
傳統的蒸餾方法，不管是老到新還是新到老的方向，都是讓學生去匹配老師最終這個"三合一"的策略。可這三樣東西里，只有第一樣，也就是訓練過程中真正學到的調整，是值得強模型學習的。第二樣是老師自己的口味，第三樣是老師能力不夠導致的妥協，這兩樣東西如果也被強模型學去了，那不是幫忙，是拖累。
OPRD的做法是：不去匹配老師最終的策略，而是去提取"老師從參考策略到最終策略，這一路發生了什麼變化"，把這個變化方向單獨摳出來，然後只用這個方向去給學生自己的策略梯度做一次"加速"，而不是替換。
具體怎麼做的？拿學生自己生成的回答，在每一個生成的位置上，把老師訓練前後的對數概率做個差值，這個差值經過居中處理後，就代表了老師這一路學到的"相對偏好變化"。這個方向，論文裡叫它
**教師策略偏移方向**：老師模型在訓練前後，對下一個詞的相對偏好發生了怎樣的改變，用這個變化的方向來代表老師"學到了什麼"，而不是老師"最終變成了什麼樣"。
拿到這個方向之後，OPRD做的事情很巧妙：把學生自己基於驗證器反饋算出來的策略梯度，分解成兩部分，一部分是沿著這個教師偏移方向的分量，另一部分是跟這個方向垂直、不相關的分量。然後只把第一部分放大，第二部分原封不動地保留。
這裡要打個比方，才能說清楚這個設計的分量。
想像你在健身房請了個私教，私教水平一般，但他確實教過你一些正確的發力技巧。現在你力量已經超過私教了，如果私教直接上來糾正你每一個動作細節，非要你做得跟他一模一樣，你反而會被拖慢，因為你的身體條件已經能做出比他更好的動作。但如果私教只是告訴你"上次訓練之後，我自己調整了哪些發力習慣"，然後你只在自己本來就打算這麼發力的地方，採納私教的建議，加大力度去做，其餘動作還是按自己的判斷來，那你既用上了私教的經驗，又沒被他的能力上限捆住。如果不這樣做，會發生什麼？私教非要你復刻他的每個動作，你的訓練效果就被鎖死在私教這個水平線附近，這正是普通蒸餾方法遇到的問題。
這個設計的數學性質也很講究。論文證明了兩件事：第一，這種縮放操作不會改變梯度為零的位置，也就是說不管你怎麼縮放，只要學生自己的策略梯度本來就是零（意味著已經達到某種最優），那縮放後依然是零，這保證了整個強化學習目標的穩定點沒有被破壞；第二，縮放之後，這個新梯度和原始梯度的內積一定不小於原始梯度的平方，也就是說這次操作只會帶來非負的額外收益，不會把學生往錯誤方向推。
這就好比給汽車加裝了個渦輪增壓器，渦輪只在你已經踩下油門的方向上提供額外助力，它不會自己轉動方向盤，車子最終能不能到達目的地、往哪個方向走，還是由你自己的駕駛決定，渦輪只是讓你加速更快。如果沒有這個渦輪，車子照樣能到目的地，只是要多花不少時間；但渦輪不會替你決定該往哪拐彎，方向盤握在司機手裡。
**正負兩個方向，為什麼要分開、分先後處理**
這裡還有個細節值得展開講。
學生的策略梯度跟老師偏移方向對齊的時候（論文裡叫"對齊係數"為正），說明學生和老師這次想法一致，放大這部分很自然，等於老師說"這麼做是對的"，學生也這麼想，那就使勁往這個方向走。但如果學生的梯度跟老師方向是相反的（對齊係數為負），說明學生這次想跟老師不一樣，這時候放大這部分梯度，等於是在強化"學生打算偏離老師、走自己的路"這件事。
**對齊係數**：衡量學生的策略梯度和老師的策略偏移方向是否指向同一個方向的數值，正值表示兩者步調一致，負值表示學生打算走一條和老師不同的路。
論文一開始想得挺簡單，兩個方向都用同樣強度放大不就行了？結果實驗發現不對。如果一開始就把負向的放大力度拉滿，訓練很容易崩，因為學生剛開始的時候，自己生成的回答質量還很差，這時候"跟老師唱反調"的信號里，混雜著大量真正有價值的探索，也混雜著大量純粹的噪聲和瞎矇。全力放大這部分，容易把噪聲也一起放大了。
論文附錄里做了個很直觀的實驗，把正向和負向分開單獨測試。結果顯示，只放大正向對齊的部分，前期進步飛快，但回答長度會迅速膨脹到逼近生成上限，之後性能開始下滑；只放大負向對齊的部分，回答會迅速變短，但性能也很快掉到接近於零。這說明單獨拎出來看，兩個方向各有各的問題，都不能孤立地全力使用。
於是論文最終採用的方案是：正向的放大從訓練一開始就拉滿，因為這部分信號相對可靠；負向的放大力度則從零開始，隨著訓練推進慢慢爬升到跟正向一致的強度。
這背後的邏輯其實很樸素，好比剛學開車的新手司機，教練在旁邊說"往左打方向盤沒錯"的時候你可以直接信，因為這時候教練判斷基本可靠；但如果教練說"這次別聽我的，你自己感覺對不對"，這種建議在你剛上路、經驗不足的時候反而容易出問題，等你開得熟練一些了，這種"打破常規"的建議才真正有價值。如果一開始就同等力度採納這兩種建議，很可能在你還不會判斷的時候就被帶偏了。
**這套方法到底管不管用，數字說話**
論文在兩大類場景下做了系統實驗：一類是"接力賽"場景，用一個訓練過的4B模型去教一個8B的模型；另一類是"多老師匯總"場景，用四個各自專精不同領域的4B模型（分別擅長邏輯推理、算法、遊戲等），一起去教一個8B的學生模型。
在接力賽場景里，數學任務上，OPRD用大約100步左右的更新就追上了純強化學習方法（GRPO）訓練150步才能達到的水平，早期檢查點的表現比對比方法高出22.7個百分點。更關鍵的是，在線蒸餾方法一旦學生追上老師就基本停滯不前了，而OPRD會繼續往前走，最終把GRPO和在線蒸餾都甩在身後。
**GRPO**：一種流行的強化學習訓練算法，全稱是Group Relative Policy Optimization，核心思路是讓模型對同一個問題生成多個回答，通過組內相對比較來計算每個回答該被鼓勵還是懲罰，不需要額外訓練一個價值網路。
在多老師匯總場景里，四個專精4B模型的平均表現是44.65分，把它們全部匯入一個8B學生之後，OPRD訓練出來的學生達到58.77分，不僅遠超四個老師的平均水平，還在每一項專精任務上都單獨超過了對應的專家模型，說明這不是"拆東牆補西牆"的取捨，而是真正的整體提升。
論文還專門測了一個"反過來"的場景，也就是傳統的強到弱蒸餾，用8B模型教1.7B模型。結果顯示OPRD依然管用，比在線蒸餾在數學任務上高出3.79分，在邏輯推理任務上高出接近30分。這說明這套方法不是專門為"以弱教強"量身定做才有效的技巧，而是一種更通用的梯度處理思路，不挑教師和學生誰強誰弱。
**這個方法不是完美的，論文也誠實地承認了兩個坑**
第一個坑是，如果學生自己的策略梯度本身就是零，那OPRD就沒什麼可放大的了。這種情況會在什麼時候發生？如果驗證器給同一組回答打的分數完全一樣（比如全對或全錯），組內相對優勢就會歸零，梯度自然也是零。論文裡做了個實驗，用8B模型教1.7B模型做邏輯推理任務，結果發現大部分回答質量太差，導致大量分組裡的獎勵都一樣，這時候OPRD的加速效果就很有限了，反而不如在線蒸餾，因為在線蒸餾提供的是密集的逐詞監督，不依賴驗證器信號是否有區分度。
第二個坑更微妙，跟回答長度有關。如果選的參考策略本身回答就特別長，而訓練後的老師回答變短了很多，那這中間的偏移方向里，就會摻雜大量"變短"這個偏好，跟真正有價值的推理能力提升混在一起。論文用了一個具體案例說明這個問題：把參考策略選在老師剛開始訓練的那個時間點，結果學生學得特別快，但很快就卡在52.5分不再進步，比什麼都不用還差，因為學生把主要精力都花在"怎麼把回答變短"這件事上了，而不是提升推理質量本身。解決辦法是把參考策略往後挪一挪，選在老師那次劇烈的長度收縮已經完成之後的檢查點，這樣偏移方向里的長度噪聲就被過濾掉了大部分，學生的表現直接跳到89.5分。
這兩個坑其實指向同一個更深的問題：**任何提取出來的"變化方向"都可能混雜著噪聲和無關偏好，而OPRD的放大機制會把這些噪聲也一併放大**。
論文對此沒有迴避，專門用附錄篇幅去討論怎麼選參考策略、怎麼設計正負分支的放大節奏，試圖把這個噪聲問題控制在可接受範圍。但完全乾淨地把"有用的信號"和"無關的偏好"分離開，論文自己也承認還是個open問題。
寫在後面
讀這篇論文的時候，我一直在想一個問題：為什麼"只借方向、不借終點"這個思路，之前沒人這麼明確地做出來？
後來想明白了，可能是因為這個思路聽起來有點反直覺。大多數遷移學習的默認假設是，你想學一個東西，就得朝著那個東西的方向去逼近，逼近得越像越好。OPRD這裡做的事情，其實是把"逼近"這個動作從目標層面挪到了梯度層面，學生壓根不需要知道老師最終變成了什麼樣子，學生只需要知道老師"往哪個方向變了"，然後自己決定要不要沿著這個方向多走幾步。這是個挺微妙的轉變，從"模仿結果"變成了"參考經驗的方向感"。
論文裡那個"響應風格分析"的實驗我覺得特別值得單拎出來說。研究者們測了OPRD訓練出來的學生和在線蒸餾訓練出來的學生，在寫作風格上（連接詞使用、語氣詞、句子結構這些細節特徵）到底更像誰。結果發現，在線蒸餾訓練出來的學生，訓練到後期反而越來越像老師；而OPRD訓練出來的學生，從頭到尾都更像那個完全靠強化學習自己摸索出來的學生。這個細節挺有意思，它間接證明了OPRD確實沒有把老師的"說話習慣"傳染給學生，學生學到的是能力，不是腔調。
還有一個地方讓我印象很深，就是論文裡那個具體的token級案例。學生在做一道數學題時，自己想到的解法是直接算出結果，而老師當年學到的解法是繞個彎先算個中間和。OPRD最終讓學生選擇了自己那條更直接的路徑，而不是被拽回老師的思路上。這大概是"學生超過老師"這句話在具體計算層面最真實的樣子，不是抽象的分數提升，而是學生真的走出了一條老師從沒走過的路。
這套方法對算力和顯存的額外開銷並不大，論文裡測過，加上教師和參考策略兩個凍結模型的前向計算，訓練時間只多了11.9%，顯存多了10.2%。這意味著這不是一個只能在論文裡跑一跑的理論方案，而是有可能真正被用在實際的模型疊代流程里的東西。
如果未來真的有一條"模型教模型"的疊代鏈條，一代一代往下傳，那這篇論文提出的思路，或許會是這條鏈條里一個不起眼但關鍵的齒輪。
Q&A
Q1：On-Policy Reverse Distillation是什麼？
A：On-Policy Reverse Distillation（簡稱OPRD）是一種讓強模型從弱模型那裡加速學習的訓練方法，它不是讓強模型直接模仿弱模型的輸出，而是提取弱模型訓練前後策略變化的方向，用這個方向去放大強模型自己基於驗證器反饋算出的策略梯度中對齊的部分，從而既加速學習又不被弱模型的能力上限限制。
Q2：OPRD和傳統的知識蒸餾有什麼區別？
A：傳統知識蒸餾讓學生模型直接模仿老師模型的輸出分布，學生的能力上限容易被老師限制住。OPRD不要求學生模仿老師的最終策略，只借用老師訓練過程中學到的"變化方向"來加速放大學生自己的策略梯度，學生依然按自己的判斷走，因此能夠超越老師的水平。
Q3：OPRD方法有什麼局限性？
A：論文提到兩個主要問題，一是如果學生的策略梯度本身接近零（比如驗證器給出的獎勵區分度不夠），OPRD就沒有可放大的信號；二是如果參考策略和老師策略在回答長度上差異過大，提取出的方向會摻雜長度偏好噪聲，可能誤導學生過度關注長度而非推理質量，需要謹慎選擇參考策略來緩解。
