你有沒有想過這樣一個問題：一個老師要教好學生，前提是老師得比學生懂得多。可如果這個"老師"和"學生"其實是同一個模型，只是版本不同，那老師到底比學生多懂什麼？
這不是一個抖機靈的問題。在人工智慧訓練里，這恰恰是最近兩年最熱門的一類方法必須回答的核心難題。
先說說這類方法叫什麼。
在線策略蒸餾
*：一種讓AI模型自己生成答案，然後由一個"老師模型"給這些答案評分、糾正的訓練方式。相比傳統方法先讓老師寫好標準答案再讓學生模仿，這種方式讓老師直接批改學生自己寫出的內容，糾錯更精準，因為批改的正是學生實際會犯的錯誤。
這個思路這幾年在語言模型和視覺語言模型上都被證明有效。問題是，它有一個繞不開的前提：老師必須比學生強。要麼老師是個更大更強的模型，要麼老師能看到學生看不到的"參考答案"。可現實往往是，你手頭沒有更強的模型可以當老師，也沒有人給你標註好的標準答案。這時候，戲就沒法演了。
這篇論文要解決的正是這個僵局。它問了一個聽起來有點反直覺的問題：如果什麼特權資訊都沒有，這種師生落差到底還能不能造出來？
論文給出的答案讓人意外。答案不是想辦法讓老師變得更強，而是反過來，讓學生變得更弱。老師什麼都不用改，還是看原來那張清晰圖片；學生呢，被故意塞進一張模糊的、加了噪聲的、甚至縮小解析度的照片。就這麼簡單一個操作，師生之間的資訊落差就憑空出現了，而且完全不需要外部標註、不需要獎勵信號、不需要單獨訓練一個更強的模型。
這就是論文提出的方法，叫做自監督視覺在線策略蒸餾。
自監督視覺在線策略蒸餾（S?VOPD）*：一種不依賴任何額外標註或更強模型的訓練方法，核心做法是讓老師看清晰圖片、學生看被故意做過手腳的模糊圖片，用兩者預測結果之間的差異當作訓練信號。
一件讓人困惑的事：優勢到底從哪兒來
先說說這個領域此前是怎麼做的，你才能體會這次轉折有多巧妙。
傳統的在線策略蒸餾，靠的是一個更大更強的教師模型。比如用GPT這種級別的模型去教一個小模型。可這樣一來，你永遠需要一個"更貴"的老師，訓練成本降不下來。
後來有人想到，能不能不用單獨的教師模型，讓同一個模型自己教自己？這就是"在線策略自蒸餾"。可這個思路馬上遇到一個邏輯困境：如果老師和學生是同一個模型，老師憑什麼比學生強？
於是研究者們想了各種辦法給老師"開小灶"。有的給老師看參考答案，有的給老師看環境反饋，有的乾脆給老師看標註好的關鍵區域，也就是圖片裡哪塊地方是回答問題真正需要看的地方。這些方法確實有效，但都依賴一樣東西：人工提供的特權資訊。
問題是，這類特權資訊的獲取成本會越來越高。
模型能力越強，需要的監督信號就越精細，可人類專家能提供的標註質量是有上限的。等模型能力超過人類標註的天花板，這條路徑就走到頭了。這才是論文開篇提出那個問題的真正分量所在：當什麼都沒有的時候，這種有效的師生落差究竟從哪兒來？
反過來想：不給老師加分，給學生減分
論文的核心洞察就藏在這句話里：不是往老師那邊加資訊，而是從學生這邊抽走資訊。
老師依然看原始的、清晰的圖片。學生看到的卻是同一張圖片的"縮水版"，可能被降低了解析度，可能被加了噪聲，也可能被裁掉了一部分。兩者看的是同一張照片，只是清晰程度不同，這個落差本身就足夠構成一次有效的教學。
這個想法其實和自監督學習里的經典套路有點像。
自監督學習*：一種不需要人工打標籤，而是從數據本身構造監督信號的訓練方式，常見做法是把同一張圖片做出不同的"變體"，讓模型學會認出它們本質上是同一個東西。
比如SimCLR這類對比學習方法，會把一張圖片做兩次不同的變換，然後要求模型認出這兩個變體其實來自同一張照片。還有BYOL、DINO這類方法，會用一個"教師網路"給另一個經過增強處理的"學生網路"提供學習目標。這些方法的共同點是：圖像增強不是可有可無的裝飾，而是監督信號的真正來源。
這篇論文用的是同一個原理，但換了個用法。別的方法用增強來定義"什麼樣的表徵是穩定的"，這篇論文用增強來製造"老師比學生多看到了什麼"。
這裡我想打個比方，幫你感受一下這個設計到底聰明在哪兒。
你帶一個新手去看X光片，訓練他判斷骨折。如果你直接把標準答案念給他聽，他記住的只是這一張片子的答案，換一張片子就抓瞎。可如果你換一種方式：給他一張故意調暗、加了噪點的片子，讓他自己先判斷一遍，然後你拿著清晰版本告訴他"你剛才漏看的這處細節，其實清晰版里能看出來"。這時候他學到的不是某道題的答案，而是"在資訊不全的情況下該怎麼補全判斷"這個能力。如果沒有這個資訊落差，你倆看的是同一張清晰片子，你能糾正的頂多是他運氣不好蒙錯的地方，糾正不了他真正的視覺盲區。
這正是論文裡對照實驗證明的事情：如果老師和學生看的是完全相同的圖片,也就是把這套增強手段去掉,那所謂的"教學"就失去了意義,因為老師根本沒有比學生多看到任何東西。實驗數據顯示，這種"對稱自蒸餾"不僅沒有提升效果，反而讓模型性能從70.68%掉到了65.21%,比什麼都不做還糟。老師在沒有資訊優勢的情況下,只會把自己的錯誤自信地傳染給學生。
到底該往學生的圖片裡加點什麼
想清楚"該不該做手腳"之後，下一個問題自然就冒出來了：具體往學生的圖片裡加什麼樣的手腳，才算有效？
論文在這裡做了一件業內此前很少有人系統做過的事：把常見的圖像增強手段分成四大類，一個一個測試，看哪種最管用。
第一類叫資訊削減。做法包括把圖片縮小解析度、加高斯模糊、馬賽克化，或者加噪聲，核心思路是保留圖片的空間結構，但讓畫面細節變模糊變糙。
第二類叫幾何變換。包括旋轉、平移、裁剪、縮小並留白，這類操作會改變物體在畫面中的相對位置，如果問題本身跟位置有關，這類操作有可能把答案本身都改變了。
第三類叫色彩變換。調整亮度、對比度、飽和度這些，畫面里的物體形狀和位置完全不變，只是"看起來"不一樣了。
第四類叫遮擋。把圖片局部區域直接摳掉或者打上格子狀的遮罩，核心區別在於它是"局部性"的資訊丟失，而不是整體畫質下降。
實驗結果講了三件很有意思的事情。
第一件事：只要製造出了不對稱，四類增強手段全都管用。資訊削減類平均準確率能到75.65%，色彩變換類74.40%，幾何變換類74.30%，遮擋類72.44%。相比之下，什麼都不做的基線模型是70.58%，什麼增強都不加、老師學生看同一張圖的對稱蒸餾反而是65.21%。這說明只要製造出真實的資訊落差，無論用哪種手段，都比不製造落差強，也都比毫無資訊落差的自我蒸餾強得多。
第二件事，也是我覺得最反直覺的一點：增強的強度並不是越大越好，而是有一個甜蜜點。
論文用了一個很巧妙的量化方式，叫師生落差，用的是兩個概率分布之間的JS散度來衡量。
JS散度*：一種衡量兩個概率分布之間差異程度的數學指標，數值越大說明兩個分布差別越大，這裡用來量化老師和學生對同一段文字預測結果的分歧有多大。
實驗發現，把這個落差值畫在橫軸，模型準確率畫在縱軸，能看出一條先升後降的曲線，峰值大概出現在JS散度0.014左右。以解析度縮放為例，縮放到0.3到0.6倍區間時效果最好，達到75.65%；縮得更輕或更狠，效果都會掉到75%左右。模糊操作也是同樣的規律，輕度模糊74.20%，中度模糊75.71%，重度模糊又跌回75.07%。
這個"甜蜜點"現象其實很好理解，我拿健身舉個例子。
你想通過負重訓練讓學生的肌肉變強,負重太輕,沒有刺激,身體不會有任何適應性變化;負重太重,直接把關節壓傷了，反而練廢了。中等強度的負重恰好能造成"肌肉纖維輕微撕裂又能自我修復"這種恰到好處的壓力，這才是真正促成肌肉增長的機制。同樣道理，給學生看的圖如果只是稍微模糊一點，老師和學生的判斷幾乎一樣，沒什麼可教的；如果模糊到面目全非，學生連問題本身都答不出來了，這時候的落差再大也沒用，因為老師糾正的不是學生的判斷錯誤，而是糾正一個"根本沒法回答"的爛攤子。
第三件事是這篇論文裡我認為最值得琢磨的發現：落差大不等於落差好，增強手段必須保留住回答問題所需的關鍵資訊。
裁剪操作暴露了這個陷阱。跟解析度縮放不同，裁剪的強度越大，效果反而單調下降：輕度裁剪71.53%，中度裁剪68.76%，重度裁剪67.44%，幾乎和什麼都不做一樣差。更扎心的是，重度裁剪製造出來的師生落差其實是全部實驗裡最大的，但這個"最大落差"換來的卻是最差的效果之一。原因也不難猜：裁剪太狠，直接把回答問題必需的畫面內容裁沒了，學生連蒙都沒法蒙，這時候老師和學生之間的分歧確實很大，但這份"分歧"只是因為學生的題目變得答不出來了，而不是因為學生真的漏看了什麼可以被糾正的細節。
這就好比考試出了一道圖表題，正常情況下你把圖表印小一點、印模糊一點，考生還是能看出趨勢、答對大方向，這時候能糾正的是他看圖不夠仔細的問題。可如果你乾脆把圖表的坐標軸都裁掉了，考生根本沒法作答，這時候他答錯不是因為看得不仔細，是因為題目本身已經沒法回答了，這種"錯誤"沒有任何教育意義。
具體怎麼做：一套組合拳
基於這些發現，論文最終敲定了一套最有效的組合方案：把學生看到的圖片縮小到原圖的0.3到0.6倍解析度，再疊加一個來自擴散模型的高斯噪聲步驟。
這個組合的選擇很講究。縮小解析度是每張圖必做的操作，而加噪聲是以50%概率隨機觸發的，噪聲強度大概相當於標準差0.11的高斯擾動，幾乎不損傷圖片的整體信號，只是摻入了一層細微的"沙沙"感。這樣設計還帶來一個額外的好處：解析度低的圖片，模型處理起來更快，訓練成本也跟著降下來了。
具體的訓練目標是什麼樣子的？
用數學語言說，就是讓老師的預測分布和學生的預測分布，在學生自己生成的每一步回答上，儘量對齊。這裡用到的對齊方式叫廣義JS散度，它介於兩種極端度量方式之間：一種是逼著學生完全模仿老師的每一個細節判斷，另一種是只讓學生抓住老師最有把握的那部分判斷。論文測試發現，用中間這種平衡的JS散度效果最好，比兩個極端都強。
這個中間地帶的選擇也很有意思，可以拿老師批改作文打比方。
如果老師要求學生把範文的每一個用詞都原樣照搬,這叫過度模仿，學生連範文里的方言用法、生僻表達都要學，反而學偏了,這就是過於"貼近"老師的極端做法。如果老師只告訴學生"大概這個立意是對的"，別的都不管，學生學不到具體該怎麼改進句子，這是過於"寬鬆"的極端做法。真正有效的批改方式介於兩者之間，抓住關鍵的改進點，但不強求逐字模仿，這正是論文選擇的中間路線在起作用的原因。
一個額外的問題：老師需不需要跟著進步
論文還測試了一個細節：這個"老師"要不要隨著訓練不斷更新自己？
論文用的更新方式叫指數滑動平均。
指數滑動平均（EMA）*：一種讓教師模型的參數緩慢跟隨學生模型變化的更新方式，每次更新只吸收一小部分最新參數，避免老師的判斷標準劇烈波動。
實驗發現一個很出乎意料的結果：把老師徹底凍結，一直用訓練開始時的初始版本當老師，效果只比正常更新的方案低了0.4個百分點，從76.35%降到75.95%。換句話說，一個從頭到尾都不進步的老師，依然能拿到93%的收益。
這個結果說明真正起作用的不是"老師有多聰明"，而是"老師和學生之間那道資訊落差本身"。老師聰不聰明是次要的，關鍵是老師看到了學生看不到的東西。哪怕這個老師本身水平一般，只要他手裡多了一張清晰照片，他就能指出學生因為看不清而漏掉的細節。
放到真實考場裡，這套方法表現如何
說了這麼多設計細節，最終還是要看實際效果。
論文在六個精細感知類的評測基準上做了測試，這些基準專門考驗模型能不能看清圖片裡的細節，比如V*Bench、ZoomBench、HR-Bench等等，都是需要模型在高解析度圖片裡找到關鍵小物體或細節文字的任務。
結果是，用這套方法訓練過的40億參數模型（Qwen3.5-4B），平均準確率從70.68%提升到了77.44%，提升了6.76個百分點。
這個提升幅度意味著什麼？
意味著這個只有40億參數的模型，反過來超過了參數量是它接近60倍的Qwen3-VL-Instruct-235B模型（75.75%），甚至打平了參數量是它近100倍的Qwen3.5-397B模型（77.44%）。跟商業閉源模型比，它也超過了GPT-5.4（72.78%），只是略遜於谷歌的Gemini系列旗艦模型。
論文還專門做了一次公平對比，用同樣的訓練數據集Vision-OPD-6K，把這套無特權資訊的方法和幾種依賴特權資訊的方法放在一起比。結果顯示，這套方法在不使用任何標註區域、不使用任何參考答案的前提下，效果反而超過或者持平了那些用了特權資訊的方法。
更有意思的是數學推理能力的對比。
那些依賴標註了"關鍵區域"的方法，在感知類任務上確實表現很好，但一到數學推理題上就露怯了。比如一種叫OPSD的方法，雖然在感知任務上表現不錯，但數學推理準確率反而比基礎模型下降了9.3個百分點；另一種叫ZwZ的方法，在數學題上更是比基礎模型跌了27.1個百分點。原因不難理解，這些方法是專門為"看清圖片細節"這件事優化的，訓練數據也偏向感知類，代價是模型在抽象推理上的能力被犧牲掉了。
反過來，一些自我獎勵式的強化學習方法，比如TTRL、Intuitor，雖然在數學推理上表現穩定，但感知類任務的提升就很有限。
這套自監督方法則是同時把兩頭都兼顧住了：感知類任務提升5.7個百分點，數學推理提升3.7個百分點，兩邊都沒有犧牲。這在論文看來，恰恰印證了這套方法的信號來源是"感知層面的自我糾錯"，而不是靠某種投機取巧的訓練偏向。
Q&A
Q1：自監督視覺在線策略蒸餾（S?VOPD）具體是怎麼運作的？
A：讓一個EMA教師模型看原始清晰圖片，學生模型看同一張圖片被降低解析度並加了噪聲的模糊版本，學生自己生成回答，教師針對學生生成的每一步回答給出更準確的判斷，兩者判斷之間的差異被當作訓練信號反向傳遞給學生，整個過程不需要任何人工標註或參考答案。
Q2：為什麼給學生看模糊圖片反而能讓模型變得更聰明？
A：因為教師和學生看到的資訊不對稱，教師能看清學生因為圖片模糊而漏掉的細節，這份差異本身就構成了一次有效的糾錯，前提是模糊程度要適中，太輕沒有落差可學，太重則會把問題變得根本無法回答。
Q3：這套方法和依賴標註資訊的方法相比效果怎麼樣？
A：在完全不使用標註區域或參考答案的情況下，效果超過了多種依賴特權資訊的方法，同時在數學推理任務上也沒有出現性能下降，而那些依賴標註資訊的方法往往在感知任務上表現好，卻讓數學推理能力打了折扣。
