這項由新加坡國立大學研究團隊開展的工作，於2026年7月以預印本形式發布，編號為arXiv:2607.04428，有興趣深入了解的讀者可通過該編號查詢完整論文。研究提出了一種名為dOPSD的新型訓練方法，專門針對一類叫做"擴散大語言模型"的AI系統，讓它們在數學推理和代碼生成等需要嚴密邏輯的任務上表現得更好。
現在最火的那些會聊天、會寫作的AI，大多數都是"從左到右"一個字一個字往外蹦詞的，就像你在鍵盤上打字一樣，每敲一個鍵才決定下一個鍵。但擴散語言模型的工作方式完全不同——它更像是做一道填空題，一開始所有格子都是空白的，然後它一輪一輪地把最有把握的那些格子填上，直到整篇文章寫完。這種方式有個巨大優勢：它可以同時看到整個句子的前後語境，而不是只知道已經寫出來的部分。
然而，想讓擴散語言模型學會深度推理，研究團隊遭遇了一道棘手的牆。這堵牆並非憑空出現，而是源於AI訓練領域長期存在的三大困境，而這項研究的價值正在於找到了一條同時繞過這三道障礙的路徑。
一、為什麼教會AI"推理"這麼難
教一個人解數學題，最直接的方法是給他看大量例題和標準答案，然後讓他模仿。對AI來說，這叫做"監督微調"，通俗地說就是"給AI餵答案讓它抄"。但問題來了：訓練時AI總是看著標準答案學，但考試時它得自己獨立作答，這兩種狀態差別很大，就像你練習時總有老師在旁邊提示，但考試時獨自面對試卷，會感到很不適應。這種現象在學術上叫做"暴露偏差"，意思是AI在訓練和實際使用時所處的環境不匹配。
另一條路是用強化學習，也就是讓AI自己嘗試解題，答對了就給獎勵，答錯了就扣分。這個方法更接近真實考試的狀態，但對擴散語言模型來說有個技術難題：擴散模型的工作方式使得很難計算"整篇答案有多大概率"這個數字，而強化學習恰恰需要這個數字。而且強化學習給出的獎勵非常稀疏——只有當整篇答案完全正確時才有獎勵，就好比學生交完整張試卷才知道對不對，中途完全沒有反饋，學習效率極低。
還有第三條路，叫做"在線自我蒸餾"（OPSD），這是近期研究人員為自回歸語言模型（也就是那種從左到右寫字的AI）開發的方法。這個方法很聰明：用同一個模型同時扮演"學生"和"老師"兩個角色。學生版只看題目，老師版除了看題目還能看到參考答案。學生按自己的理解作答，然後拿老師給出的每個詞的概率分布來指導自己，這樣就能獲得密集、細粒度的訓練信號，不必等到整篇答案出來才知道對錯。
但這裡有個深層次的缺陷，而這個缺陷在把方法搬到擴散語言模型上時暴露得尤為明顯。老師的能力來源於它能看到那份參考答案，然而學生在實際考試時永遠看不到參考答案。於是，對於每一道不同的題，老師的建議都是針對那道題的特定答案量身定製的，而學生只能取這些來自不同題目的老師建議的"公約數"，最終學到的是一種模糊、折中的籠統策略，反而比任何一個針對具體題目的老師建議都要弱。這個現象被研究人員形象地稱為"PI消解"——老師的特權資訊（Privileged Information，簡稱PI）被平均掉了，留下的只是一個無力的共識。
更糟糕的是，擴散語言模型的解題方式還帶來了第二個獨立的問題。傳統的在線自我蒸餾會在模型寫完答案後，隨機遮住其中一些詞，然後讓模型猜這些詞，以此來訓練。但隨機遮詞和擴散模型真正解題時的遮詞順序完全不同——擴散模型是按照"先填最有把握的"這個順序來的，隨機遮住的詞往往是那些早就該填好的簡單詞，而不是模型當前真正需要學習的詞。研究團隊通過實驗測量發現，當隨機遮住10%的詞時，大約90%被遮住的詞其實是模型早就確定好的"簡單詞"，和真實解題過程完全脫節。訓練結果也印證了這一點：用隨機遮詞的方式訓練，模型的數學成績隨著訓練步驟的增加反而穩步下滑。
這兩道障礙——老師的特權資訊是外部答案導致的平均化失效，以及隨機遮詞導致的訓練狀態偏離真實解題路徑——共同構成了把在線自我蒸餾移植到擴散語言模型時必須突破的核心瓶頸。
二、擴散模型天生自帶的"金手指"
研究團隊發現，擴散語言模型解題時的特殊工作方式，恰好內置了一種獨特的資訊優勢，而這種優勢是左到右寫字的普通模型完全沒有的。
回到填空題的比喻。擴散模型解題的過程是這樣的：一開始所有格子都空著，第一輪填了幾個最有把握的詞，第二輪又填了一些，第三輪再填一些，直到所有格子都填滿。在這個過程中，每一輪結束後的半成品答案，都比上一輪包含更多已填好的詞，因此給剩餘空格提供了更豐富的上下文資訊。
關鍵的洞察在於：處於解題過程中間某一步的模型，和處於更靠後一步的模型，看到的上下文是不同的。靠後那步的模型已經填好了更多詞，所以它對剩餘空格的預測會更準確，因為它有更多參考資訊。這就像同一個人做同一道題，做到一半時猜剩餘答案，和做到八成時猜剩餘答案，後者顯然更有把握。
換句話說，模型在自己解題過程的後期，自然地成為了前期的"老師"，而且這個老師的優勢——那些額外知道的詞——完全來自模型自己的解題過程，不需要任何外部參考答案。這就是dOPSD的核心思路：把老師的特權資訊的來源，從外部參考答案換成模型自己解題過程中產生的"先知優勢"。
三、dOPSD如何讓模型用自己的解題歷程當老師
理解了核心思路之後，具體的做法其實相當直觀。
每次訓練時，模型先完整地解一道題，同時把解題過程中每一步的半成品狀態都記錄下來。這個完整的解題過程包含了從全空到全填的所有中間狀態，形成一條"解題軌跡"。
接著，從這條軌跡中隨機挑選一個中間時刻——要求這個時刻還有足夠多的空格，具體來說答案區域至少還有一半是空的，這樣才有足夠的訓練素材。這個中間狀態就作為學生的處境：在這麼多詞已經填好的情況下，模型對剩餘空格做出預測，這就是學生的答案。
然後，對於每一個此刻還空著的格子，研究團隊讓同一個模型回到解題軌跡的後續各步驟，看看在後續每一步那個更豐富的上下文中，模型對這個格子的預測是什麼。把這些來自不同後續步驟的預測平均起來，就得到了老師對這個格子的建議。
為什麼要取平均而不是只用最後一步？因為每一個更靠後的步驟都代表了比當前更充足的資訊，把所有後續步驟的預測都納入平均，等於把模型在整個後續解題過程中積累的所有"先知優勢"都匯集起來，信號最豐富。實驗也證實了這一點：只看後續50步的老師效果不如看後續100步，而看完整剩餘軌跡的老師效果最好。
訓練時，用一種叫做"詹森-香農散度"的數學工具來衡量學生預測和老師建議之間的差距，然後讓模型朝著縮小這個差距的方向調整自己的參數。整個過程中，梯度只流向學生，老師是固定的參考目標，不會被這次訓練改變。這樣設計是為了確保學習的方向清晰：是學生在向老師學習，而不是兩者互相糾纏。
此外，研究團隊還加入了一個過濾機制：如果模型解這道題得出的最終答案是錯的，那麼整條軌跡就被丟棄，不納入訓練。道理很簡單——如果最終答案就是錯的，那麼沿著這條軌跡產生的老師建議也很可能是錯的方向，拿來訓練只會強化錯誤。不過研究者們也測試了不加這個過濾機制的版本，發現即使不過濾直接訓練，模型成績依然能夠提升，只是提升幅度稍小。這說明過濾只是錦上添花，不是方法成立的前提。
四、用正向KL還是反向KL，這個問題比看起來重要得多
在把老師的知識傳遞給學生的過程中，有一個技術細節值得專門說清楚：用什麼方式衡量"學生和老師有多像"，會顯著影響最終的訓練效果。
簡單地說，有兩種極端方式來衡量兩個概率分布之間的差距，分別叫"正向KL散度"和"反向KL散度"。正向KL散度的特點是"追求覆蓋全面"——它會強迫學生在老師認為可能的每一種答案上都分配一些概率，不能對老師覺得可能的選項視而不見。反向KL散度的特點是"追求集中精準"——它允許學生只關注老師最看好的那個答案，對其他選項忽略不計。
在dOPSD這個場景下，老師的建議本身就融合了解題軌跡多個後續步驟的資訊，是一個豐富的多峰分布——可能對好幾個候選詞都給出了不低的概率。如果用反向KL散度，學生只會盯著其中最高的那個峰，把其他峰包含的資訊都丟掉，等於浪費了老師的一部分知識。正向KL散度則會強迫學生把老師分布的全貌都吸收進來，不遺漏任何資訊。
實驗結果非常一致：無論是在Dream還是LLaDA兩個模型上，無論是在數學還是代碼這兩類任務上，正向KL散度的訓練結果都明顯優於反向KL散度。以LLaDA模型為例，在HumanEval代碼測試上，正向KL達到了39.63分，而反向KL只有37.42分；在Dream模型的MBPP代碼測試上，正向KL達到58.49分，反向KL只有50.61分。這個差距在四項測試中始終如一地存在，因此研究團隊將正向KL定為默認設置。
五、真實的考驗：和其他方法的全面對比
研究團隊在Dream-7B-Instruct和LLaDA-8B-Instruct兩個擴散語言模型上，把dOPSD和四種其他訓練方法做了系統對比，同時保留了未經任何額外訓練的原始模型作為基準。所有方法都用同一批數學題訓練，評估時既測數學（GSM8K和MATH500兩個基準），也測代碼生成（HumanEval和MBPP兩個基準），而且代碼測試完全是在模型從未見過相關訓練數據的情況下進行的。
結果呈現出一個非常清晰的格局。四種對比方法——監督微調、強化學習（GRPO）、僅用最終答案作為特權資訊的OPSD、以及用完整參考解答作為特權資訊的OPSD——在幾乎所有測試上的表現都和原始模型相當甚至更差。
監督微調在兩個模型上的所有四項測試中全面低於原始基準，印證了訓練推理狀態不一致帶來的負面影響。強化學習方法的表現基本和原始模型持平，偶爾有小幅提升，比如在LLaDA的MATH500上提升了約1.5分，但總體收效甚微，體現了稀疏獎勵信號和技術適配困難帶來的瓶頸。
兩個OPSD變體的表現則直接驗證了研究團隊在理論分析中的預判。僅用最終答案作為特權資訊的版本在原始基準附近徘徊，始終無法形成有意義的提升——正是因為每道題的答案不同，導致針對不同題目的老師建議互相矛盾，平均後剩下的信號微乎其微。而用完整參考解答作為特權資訊的版本則出現了嚴重的崩潰：在Dream模型上，GSM8K成績從81.41分暴跌至67.25分，跌幅超過14分；在LLaDA模型上，GSM8K從71.23分跌至57.86分，跌幅超過13分。越是豐富、具體、針對單道題的參考資訊，就會讓不同題目之間的老師建議差異越大，平均後的結果就越趨向於一個什麼都不說的無力共識，這和理論預測完全吻合。此外，完整參考解答版本還頻繁出現截斷不完整、甚至完全生成空輸出的情況，定性案例中可以看到多個這樣的失敗例子。
與之形成鮮明對比的是dOPSD在所有測試上的全面提升。在Dream模型上，GSM8K從81.41升至83.04，MATH500從38.97大幅躍升至42.20；在代碼生成方面，HumanEval從52.54升至56.71，MBPP從57.43升至58.49。在LLaDA模型上，GSM8K從71.23升至72.87，MATH500從31.24顯著提升至36.00，HumanEval從36.12升至39.63，MBPP從38.45升至39.54。在所有測試的所有方法中，dOPSD是唯一能在所有四項測試上同時超越原始基準的方法。
特別值得注意的是代碼生成方面的提升，因為訓練數據完全是數學題，模型從未接觸過代碼訓練樣本。dOPSD讓模型在代碼任務上也獲得了提升，說明通過軌跡導向的自我蒸餾學到的是一種更通用的推理能力，而不是對特定數學題的記憶，並且沒有出現其他方法常見的災難性遺忘現象。
六、關於"往後看多遠"和"空格留多少"的細節調優
研究團隊還系統測試了兩個關鍵參數的影響，這兩個參數共同決定了訓練信號的質量。
第一個參數是老師在軌跡中"往後看多遠"來構建建議分布。研究團隊測試了只看未來50步、100步、200步，以及看完所有剩餘步驟四種配置。結果非常規律：看得越遠，效果越好。只看未來0步（即沒有後續步驟可看，退化為當前步驟的預測）時，GSM8K只有70.44分，比原始基準還低；看50步時回升到74.26分；看100步時達到78.42分；看200步時達到78.14分；看完所有剩餘步驟時達到83.04分，MBPP也從只看200步時的48.92跳躍至58.49。這個趨勢表明，老師的先知優勢確實隨著掌握更多後續解題資訊而持續增強，而不是到某個點就飽和了。
第二個參數控制的是選取學生所在訓練時刻時，要求那個時刻答案區域至少還有多少比例是空白的。研究團隊測試了25%、50%、75%三個閾值。閾值設為25%時，意味著允許選取幾乎快填完的時刻，空白格子太少，老師和學生能從中學習的素材不足，整體平均分只有53.63分。閾值設為75%時，要求選取的時刻必須有大量空格，但此時模型對剩餘空格的預測基礎極其薄弱，老師的建議也變得難以可靠，整體平均分59.49分。50%是一個最佳的平衡點，整體平均分達到60.11分，在GSM8K和MATH500上也都達到最優，因此被定為默認值。
七、AI解題的具體對比：三個真實案例
研究團隊選取了三道具代表性的題目，展示各方法在細節上的差異，這些例子非常直觀地說明了訓練方法的差異如何體現在具體答題行為上。
第一道題問的是Ada每天用12千瓦時的電，加了一個設備後每周賬單差多少。正確答案是21美元。包括原始模型、監督微調、強化學習和兩個OPSD變體在內的所有對比方法，都犯了同一個錯誤：把每天的用電量乘以24小時，把"千瓦時每小時"當成了"每小時千瓦時"，憑空製造出一個單位換算。這個錯誤讓所有方法的答案從21跑到了504甚至2520。完整參考解答版本的OPSD則走向另一個極端，答案無限延伸超出了生成長度限制，最終沒有輸出任何數字答案。只有dOPSD看清楚了題目已經給出的是"每天12千瓦時"，直接正確推算出答案21。
第二道題問Martin如果每天吃Cheerios會每周減1.25磅，吃甜甜圈會每周增1.75磅，5周後兩種情況的體重差是多少。正確答案是15磅。所有對比方法都犯了同一個符號錯誤：把6.25（減少）和8.75（增加）直接相減，得到2.5；但正確做法是把減少和增加看作方向相反的兩個量，差值應該是8.75加上6.25等於15。換句話說，其他方法都沒意識到一個是體重下降、一個是體重上升，兩者要疊加而非相減。dOPSD正確地認識到這是兩個方向相反的變化量，給出了15的正確答案。
第三道題讓計算Ava和Emma在遊戲中的得分差，Ava跳了更多敵人和收集了更多漿果但計時器超時，最終淨損益是-25分，也就是Ava比Emma低25分，答案應當取絕對值25。所有對比方法都正確計算出了-25這個帶符號的結果，但在報告答案時出現了各自不同的錯誤：有的直接報告-25，有的引入未知變量把問題複雜化後崩潰到0，完整參考解答版本再次生成了空輸出。dOPSD是唯一一個正確理解"得分差是個絕對值"，把-25轉換為25後給出正確答案的方法。
這三個案例共同展示了一個模式：其他方法犯的錯誤具有一定的系統性，體現在對單位理解、符號邏輯、絕對值等基礎推理規則的處理上，而dOPSD通過從自身解題軌跡中汲取更一致的訓練信號，在這些細節上表現出更穩健的推理行為。
歸根結底，dOPSD做的事情用一句話來說就是：讓擴散語言模型把自己解題過程中"未來的自己"當作老師，用這個內生的、無需任何外部答案的信號來改進"當下的自己"。這種方法巧妙地利用了擴散模型獨有的"逐步解封資訊"特性，把一個在自回歸模型上根本無法實現的想法變成了現實。
對於這個領域的發展意味著什麼？一方面，它表明不一定需要大量標註好的參考解答才能提升AI的推理能力，模型自身的解題過程就蘊含著足夠豐富的訓練信號；另一方面，它揭示了在把針對一種模型架構設計的方法移植到另一種架構時，表面的相似性可能掩蓋著根本性的不兼容，需要從機制上重新審視而不是簡單照搬。
當然，這項研究也有其局限性。訓練數據集規模只有大約12000道數學題，這在AI研究中算是相對小規模的實驗；實驗也只在兩個特定的擴散語言模型上進行，尚不清楚這個方法是否能同樣有效地遷移到其他架構的擴散模型。此外，目前的實驗主要集中在數學和代碼這兩個有明確正誤判斷的任務上，對於開放式生成或需要主觀判斷的任務，如何定義"答案正確"從而使用過濾機制，還需要進一步探索。感興趣的讀者可以通過arXiv:2607.04428查閱完整論文，代碼也已開放在研究團隊的代碼庫中。
Q&A
Q1：擴散語言模型和普通的ChatGPT這類AI有什麼根本區別？
A：普通的ChatGPT是從左到右一個詞一個詞地生成答案，每個詞生成後就固定了。擴散語言模型則是一開始把所有位置都設為空白，然後多輪疊代地把最有把握的位置填上，整個過程可以同時參考上下文，最終逐漸填滿所有位置。這種方式的優勢在於可以利用雙向上下文資訊，但後訓練難度也更高。
Q2：dOPSD方法為什麼不需要參考答案就能訓練模型？
A：dOPSD的核心是讓模型用"自己解題過程中更靠後的狀態"來指導"更早的狀態"。因為解題越到後期，已填好的詞越多，對剩餘空格的預測就越准。這種先知優勢完全來自模型自身，不依賴任何外部答案。即使去掉對最終答案正確性的過濾，方法依然能帶來提升，只是效果稍弱。
Q3：為什麼直接把OPSD方法從普通AI移植到擴散語言模型上會失敗？
A：移植失敗有兩個原因。第一，OPSD的老師優勢來自外部參考答案，而每道題的參考答案不同，導致不同題目的老師建議互相矛盾，平均後變成一個無力的折中策略。第二，OPSD需要隨機遮住答案中的詞來訓練，但隨機遮詞產生的狀態和擴散模型真實解題時經歷的狀態完全不同，導致訓練信號和實際推理脫節，實驗中隨機遮詞訓練方式導致成績隨訓練持續下降。
