這項由香港創新科技及工業局人工智慧與機器人研究所（HKISI-CAS）、中國科學院自動化研究所、中國科學院大學以及南京理工大學聯合開展的研究，於2026年7月2日發布在arXiv預印本平台，論文編號為arXiv:2607.01763v1，有興趣深入了解的讀者可以通過該編號查詢完整論文。
**當"拼命學新技能"遇上"記憶力急劇下滑"的兩難困境**
假設你正在輔導一個孩子學習新知識。孩子有兩種學習方式：第一種是讓孩子自己先做一遍題，你看著他的答題過程，只在最終對錯上給出反饋；第二種則是直接拿著滿分答卷，手把手地、從每一個字每一個步驟都細細地臨摹給他看，要求他一字不差地跟著抄寫。
直覺上，第二種方式學得更紮實——畢竟連過程都照著來了，哪有不會的道理？然而，這項最新研究卻發現，這種"臨摹滿分答卷"的學習方式，反而會讓孩子在學完新內容後，更徹底地忘記以前學過的其他知識。更令人擔憂的是，在極端情況下，孩子甚至會完全崩潰，以後什麼都學不進去。
這個比喻，正是當今AI大語言模型（Large Language Models，簡稱LLMs）訓練領域一個真實存在的困境的縮影。研究團隊針對一種叫做"自蒸餾策略優化"（SDPO）的訓練方法展開了系統性研究，對比了它與更傳統的"序列級強化學習"方法（GRPO）在讓AI持續學習新技能時的表現差異。他們的發現，徹底推翻了此前學界流行的一個樂觀預判。
**一、 AI的"連續複習"困境，以及我們為何曾經錯誤地樂觀**
要理解這項研究，先得搞清楚AI大模型訓練中一個核心挑戰：**持續學習中的遺忘問題**。
現實中，一個好用的AI助手不能只會數學，也要懂編程、會科學問答、還能使用各種工具。這就要求對AI進行"分階段、跨領域的連續訓練"——先訓練數學，再訓練科學，再訓練工具使用，依此類推。但這裡有個致命的陷阱：當AI學完新技能後，往往會把以前學過的舊技能"忘"掉，就好比你學了一門新語言，結果母語都開始磕磕絆絆了，這在AI領域被稱為"災難性遺忘"。
近幾年，研究者發現，採用強化學習的方式訓練AI（讓AI自己生成回答，然後根據對錯給出"獎勵"），比直接餵給AI大量標準答案的傳統方式（即"監督微調"）造成的遺忘要少很多。這帶來了一種樂觀的想法：如果這種訓練的"保守性"來自於它使用了AI自己生成的數據，那麼，只要數據來自AI本身，這種保守性就應該普遍存在。
正是在這個邏輯下，一類叫做"在線自蒸餾"的方法開始流行。這類方法的基本思路是：不需要一道題答對了才給獎勵，而是讓AI在看到"更多資訊"（比如正確答案）的情況下，生成一個"資訊更充分的教師回答"，然後要求AI本身（作為"學生"）的每一個字、每一步推理，都緊緊跟隨這個"教師"的做法。這樣，原本稀疏的"對或錯"反饋，變成了密密麻麻的逐字指導——理論上學得更快、更細。
然而，這項研究的團隊抱著一個關鍵疑問：數據來自AI自身，就真的足以保證"學新不忘舊"嗎？
**二、 "字字監督"與"最終對錯"：兩種截然不同的訓練哲學**
為了徹底搞清楚這個問題，研究團隊設計了一個系統性的對比實驗，把AI的訓練分成了兩個核心方法。
第一種是GRPO（組相對策略優化），可以理解為"最終結果評分"模式。教練（訓練程序）先讓AI做一批題，每道題AI自己寫出答案，最後只根據答案對不對來評分，然後告訴AI"這道題你做得比平均水平好一些，那道題差一些"，AI據此調整自己的策略。整個過程像期末考試——只看最終成績。
第二種是SDPO（自蒸餾策略優化），則是"逐字逐句臨摹"模式。同樣讓AI先自己生成一個回答，但與此同時，再給AI看同一道題配上正確答案（這就是"更多資訊"），讓AI在擁有"作弊條"的情況下再生成一個"更好的教師回答"。然後，訓練過程要求AI的"學生自答版本"中的每一個詞的概率分布，都儘可能接近"教師回答版本"中對應位置的概率分布。這就把原本一道題只有一個"對/錯"信號，變成了成百上千個詞級別的精細信號。
研究團隊在四個不同能力領域依次訓練AI：數學推理、科學知識、工具使用、代碼編寫，然後在每個階段後都測試AI在所有領域（包括從沒專門訓練過的"陌生領域"）的表現。他們測試的基礎模型包括了阿里巴巴的Qwen3系列和美國艾倫人工智慧研究院的OLMo-3系列。
**三、 "更努力的學生"在期中考試大放光彩，卻在期末考試一敗塗地**
實驗結果讓研究團隊既興奮又警惕，因為兩個方法的表現呈現出一種戲劇性的分裂。
在每個領域剛訓練完時，SDPO確實厲害得多。以數學訓練階段為例，SDPO訓練完的AI在AIME（美國邀請數學競賽）題目上的正確率達到了56.42%，而GRPO方式只有44.67%。科學領域訓練後，SDPO同樣以65.70%對56.39%領先。這就是那個"剛學完馬上考，逐字臨摹的學生分數更高"的效果。
但當四個領域全部訓練完，再回頭測驗時，畫面完全翻轉了。SDPO訓練完的AI，數學正確率從最高峰的56.42%跌回了34.38%，工具使用能力從剛訓練完時的還湊合，直接跌到了9.93%——幾乎退化到不會用工具的程度。更糟糕的是，SDPO還拖累了那些根本沒有專門訓練過的能力：邏輯推理和知識問答，都跌到了基礎模型水平以下。
反觀GRPO，雖然每次"期中考試"成績都不如SDPO，但四輪訓練結束後，所有測試領域的成績都比最初的基礎模型有所提升。它的提升不夠快，但每次提升都能穩穩保住，不會被之後的訓練衝垮。
這個差異揭示了一個關鍵事實：能快速掌握當前任務，和能在學了很多新任務後還保住舊技能，是兩件完全不同、甚至可能相互矛盾的事情。
**四、 密集監督的隱患：當"好老師"變成"製造噪音的機器"**
研究團隊並不滿足於記錄這種表現差異，他們深挖進去，想弄明白SDPO為什麼會出現這個問題。他們發現，SDPO的核心缺陷藏在它最引以為傲的"逐字監督"機制里。
首先是教師的"新鮮度與穩定性兩難"問題。在SDPO的設計里，"教師"（那個看過正確答案的版本）可以隨著訓練進行而不斷更新，讓教師始終跟上學生的進步——這聽起來很合理。研究團隊為此測試了不同的教師更新速度，從完全凍結不變（α=0），到每次訓練都有5%的幅度向學生靠攏（α=5%）。
結果發現，沒有任何一個更新速度在所有任務上都是最優的。更新太慢，教師會逐漸過時，給出的指導越來越跟不上學生的實際水平；更新太快（α=5%），教師就像一個隨著學生狀態不斷抖動的風向標，每一步的變化都會被學生吸收，最終導致訓練崩潰——就像兩面鏡子相對，會產生無限疊加的雜像。研究團隊提出了一個折中方案：周期性地把教師完全同步到學生的當前狀態，然後在一段時間內徹底凍結。這種"定期刷新、區間凍結"的策略（命名為StableSDPO）確實比純粹的快速更新好很多，但它只是"減少了傷害"，並不能從根本上解決問題。
其次是"思維鏈蒸餾"帶來的意外危害。思維鏈（CoT）是讓AI在給出最終答案前，先寫出一步步的推理過程。很多人認為，把這些推理步驟也納入逐字監督，能讓AI學到更多。研究團隊專門測試了"僅蒸餾最終答案"和"連推理過程一起蒸餾"兩種模式。對於工具使用類任務——這類任務的"思考過程"格式固定、步驟清晰——連推理一起蒸餾確實有幫助。但對於數學和科學類任務，情況恰恰相反。數學題的推理過程往往很長，充滿了"等一下，讓我再想想"式的自我校正、模糊的中間步驟，甚至偶爾的錯誤推斷。把這些不可靠的中間過程也作為"金標準"強迫AI去臨摹，不僅沒有幫助，還會讓AI生成的回答越來越長、越來越混亂，最終導致性能下滑。
**五、 為什麼密集學習會傷害"陌生考場"上的表現**
研究團隊還發現了一個精妙的規律：SDPO訓練對AI的傷害，並非簡單地"學什麼，忘什麼"，也不是"學什麼，都忘"，而是呈現出一個奇特的"距離相關性"。
他們用一種叫做"最大均值差異"（MMD）的數學工具來測量不同考試任務在題型分布上的相似程度——簡單來說就是量化兩個領域的"八字合不合"。結果顯示，SDPO訓練對AI表現的影響形成了一條倒U形曲線。
和訓練領域高度相似的任務，AI的表現往往有所提升，因為學到的新技能可以直接遷移過來。和訓練領域完全不同、風險上八竿子打不著的任務，因為學新技能時的參數調整根本沒怎麼觸碰到它，所以也基本不受影響甚至略有提升。
最危險的是那些"不遠不近"的中間地帶任務——它們和訓練領域有一些相似之處，所以訓練過程中的參數調整會波及到它們，但又沒有相似到能直接從中受益。研究中，GPQA（一個研究生級別的綜合科學問答測試）就是這個"中間地帶受害者"的典型代表：無論AI在數學、科學還是工具使用上接受SDPO訓練，GPQA的成績都會下滑，儘管GPQA並不是任何訓練階段的直接目標。
這個規律在學界被稱為"干涉區"（interference zone），此前在理論研究中曾被預測過，而這項研究是在真實大語言模型的持續訓練實驗中第一次清晰觀察到這種模式。
**六、 參數漂移與崩潰：用顯微鏡看AI大腦內部發生了什麼**
為了從機制層面理解為什麼SDPO訓練會有這麼強的副作用，研究團隊開展了一系列"AI大腦內部解剖"實驗，用數學工具追蹤了每一層神經網路權重在訓練過程中的變化。
他們用奇異值分解（SVD）這個數學工具，把AI每一個"神經元矩陣"拆解成若干個方向向量和強度值，然後追蹤這些方向和強度在訓練前後的變化幅度。這就好像在觀察一塊橡皮泥的形變：不僅看它整體有沒有變形，還要看它的主軸方向有沒有轉動、最重要的部分有沒有被動到。
結果非常清晰：在所有測試的訓練方式中，GRPO對AI參數的改動最小，就像用鉛筆輕輕描了一遍；SDPO（尤其是連推理步驟都蒸餾的版本）的改動則相當於用橡皮大力塗抹了好幾遍，不僅幅度更大，而且改動的位置正好是AI最核心、最重要的那些"主軸參數"。這種大幅度的內部改寫，在學新任務時帶來了更快速的適應，但同時也把舊技能賴以存在的參數結構破壞得更徹底。
與此同時，研究團隊還分析了AI生成的回答在語義層面的變化——用一個叫做"文本嵌入"的工具，把AI的每個回答轉換成一個多維空間中的"坐標點"，通過測量訓練前後坐標點的移動距離來評估AI"回答風格和語義"的漂移程度。SDPO訓練讓AI的回答坐標移動得更遠，而且移動的分布更加分散——這說明SDPO不只是讓AI在對的地方更對，而是從根本上重塑了AI思考和表達問題的方式，這種全面重塑在面對熟悉任務時是優勢，在面對其他任務時卻成了包袱。
最極端的崩潰案例來自快速更新教師版本（α=5%）的連續訓練實驗。在從科學知識訓練切換到工具使用訓練時，AI突然陷入了一種特殊的死循環：它開始不停地輸出重複的"oxed"字符——這是數學題答案的格式標記——無論面對什麼問題，都輸出這一串毫無意義的符號。這種崩潰可以從訓練曲線上清晰看到：JS散度（一個衡量"教師"和"學生"輸出差異的指標）在切換任務後的最初幾步內就直接降到了零，意味著AI完全停止了自我探索，完全被一種重複的格式模式鎖死了。
研究團隊把這種現象命名為"確認偏差循環"：學生輸出了一個重複的格式，教師（因為和學生高度同步）也認可了這個格式，於是下一步更新時這個格式得到了進一步強化，如此循環，形成了一種無法自行糾正的正反饋死鎖。
**七、 用數學證明：在線數據≠不遺忘**
這項研究最令人印象深刻的部分，是它不僅僅靠實驗結果說話，還提供了一個嚴謹的理論證明，從數學層面解釋了為什麼"數據來自AI自身"並不足以保證"不遺忘"。
這裡需要引入一個思維框架。研究團隊證明了，當AI被要求以某種成功率去完成新任務時，存在一個理論上"最理想"的更新方式，叫做"成功匹配剃刀策略"（Razor Policy）。這個最理想策略有一個特性：在保證AI完成新任務的前提下，它對AI原有參數的改動是最小的——就像一把剃刀，精準地只切掉需要改動的部分，其他地方完全不碰。
GRPO這類基於最終獎勵的強化學習方法，其實在數學上近似於向這個"最理想最小改動策略"靠攏——每次更新都傾向於在"完成任務"和"改動最小"之間找到最佳平衡點，這正是它"學慢但記得住"的根本原因。
而SDPO的情況則完全不同。SDPO逐字追隨的是"教師版本"的概率分布——這個分布是AI在看到正確答案後生成的，它確實比純憑猜測的輸出質量高，但它並不等同於那個"最小改動的理想策略"。教師版本會帶入特定的推理風格、格式偏好，甚至一些並非必要的語言習慣。研究團隊從數學上證明，這些"額外的不必要的差異"會以一種可量化的方式累積成額外的參數漂移，而這種額外漂移，正是額外遺忘的根源。用論文中的正式語言來說：SDPO的在線數據保證了監督是在AI自己生成的"歷史"上施加的，但施加的"方向"（即教師的逐詞分布）並不是KL散度意義上的最優方向，二者之間的差距，就是多餘的遺忘的來源。
**八、 結論：不是越細越好，而是要有選擇地細**
歸根結底，這項研究想說的不是SDPO這類方法沒有價值，而是它價值的邊界在哪裡，以及為什麼我們不能把它當成持續學習的"萬能解藥"。
當訓練任務結構清晰、正確答案格式固定、教師信號穩定可靠時，SDPO確實是一把利器——它能讓AI在新領域迅速飛奔。工具使用訓練就是這種情況的典型：格式規範，步驟明確，教師信號可靠，SDPO帶來的密集監督真實有效。
但當訓練任務充滿長篇推理、不確定中間步驟、或者需要在多個領域之間持續切換時，SDPO就變成了一個潛在的危險工具。它的密集信號會把噪音放大得和有效資訊一樣響，會讓AI的參數"過度重塑"，會在學新技能的同時沖刷掉舊能力，甚至在極端情況下徹底崩潰。
所以，這項研究最重要的啟示是：持續訓練AI時，那種"學了就能立刻在當前考題上大放異彩"的訓練方式，和"經過長期多領域訓練後綜合能力依然紮實"的訓練方式，是兩個不同的目標，需要不同的策略。當下的技術路線，如果追求的是後者，應當更審慎地使用密集自蒸餾，對教師更新策略進行嚴格控制，並在訓練過程中對不同類型的詞元（尤其是格式詞元）實施區分對待。研究團隊指出，未來的方向不是把信號做得更密，而是把信號做得更精準、更穩健、更有選擇性。
如果你對這個話題充滿好奇，想了解更多細節，可以在arXiv平台上搜索編號arXiv:2607.01763v1，閱讀完整論文。
Q&A
Q1：SDPO（自蒸餾策略優化）和GRPO（組相對策略優化）到底有什麼區別？
A：GRPO只在AI最終給出的答案上評分，類似於只看期末考試成績；SDPO則要求AI的每一個詞都緊緊跟隨一個"看過答案的教師版本"，監督密度要密集得多。這種密集監督讓AI在剛學完新任務時表現更強，但長期多領域持續訓練後，SDPO造成的遺忘更嚴重，甚至可能導致完全崩潰，而GRPO雖然進步慢，但保住舊能力的能力更強。
Q2：SDPO訓練崩潰時具體發生了什麼？
A：研究中記錄的最極端崩潰案例是，AI在完成工具使用任務的訓練時，突然開始不停地重複輸出"oxed"符號——這原本是數學答案格式標記。無論面對什麼問題，AI都只輸出這串符號。這是一種"確認偏差循環"：快速更新的教師不斷強化了這個格式習慣，形成了正反饋死鎖，最終導致AI完全喪失正常輸出能力，所有任務準確率歸零。
Q3：思維鏈蒸餾為什麼在數學訓練中反而有害？
A：數學推理過程往往很長，包含大量不確定的自我修正和可能出錯的中間步驟，這些步驟與最終答案的正確性之間關聯並不穩定。當SDPO把這些不可靠的推理過程也作為"金標準"強制AI去逐字模仿時，AI反而學到了許多噪音和格式習慣，而不是真正的解題能力。研究結果顯示，對數學和科學任務加入思維鏈蒸餾後，AI的回答變得更長、更混亂，最終性能不升反降。
