這項由瑞士洛桑聯邦理工學院(EPFL)與法國Valeo.ai及索邦大學聯合開展的研究,以預印本形式於2026年7月2日發布,論文編號為arXiv:2607.02375,有興趣深入了解的讀者可通過該編號查詢完整論文。
說到AI生成圖像,大多數人已經見識過Midjourney、FLUX這類工具創作出的驚艷畫面。但很少有人注意到,這些工具在生成一張圖片時,其實在幕後"思考"了好幾步——有些模型甚至要走上二十步、五十步才能畫出一張圖。這就像一個畫家,需要先打草稿、再上底色、然後細化、最後收尾,每一步都在修正上一步的結果。這個過程當然很準確,但速度就慢了。
那麼,有沒有可能訓練一個AI,讓它"提筆即成",一步就畫出高質量的圖?這正是這篇論文要解決的核心問題。研究團隊給他們的方法起了個名字,叫做"表徵分布匹配"(Representation Distribution Matching,簡稱RDM),並在此基礎上提出了改進版本iRDM。他們不僅讓單步生成成為可能,還證明了單步模型的質量可以超越四步模型——這在此前幾乎是不可想像的。
---
一、為什麼"一步畫圖"那麼難?先從AI如何"判斷好壞"說起
要理解這項研究,得先明白AI是怎麼評判一張圖"好不好"的。
在AI的世界裡,判斷一張圖好不好,本質上是在比較兩組圖片的"分布"——也就是看生成的圖片整體上長得像不像真實照片。打個比方,假設你從來沒見過貓,但你有一本裡面裝了一百萬張貓照片的相冊。你的任務是訓練一個機器人,讓它畫出的貓"看起來像從這本相冊里隨機翻出來的"。怎麼判斷它畫得像不像?就是把它畫的一批貓和相冊里的一批貓放在一起,看兩批的整體感覺是否一致。
現有的主流做法(擴散模型、流匹配模型)是讓AI學習一個"如何把噪聲一步步變成圖片"的過程,就像教它按照一個詳細的菜譜,一步一步烹飪。這樣做很可靠,但必須按順序走完所有步驟,推理速度因此受限。
而RDM的思路完全不同——它直接告訴AI:"你畫出的一批圖和真實圖片在某種特徵空間裡的分布要一樣。"這就好比不教廚師菜譜,而是告訴他:"你做的菜,嘗起來、聞起來、看起來都得和米其林餐廳出品的一樣。"只要滿足這個最終標準,過程怎麼走都行。這種方式天然就能實現"一步生成"——因為約束的是最終結果的分布,而不是中間過程。
但問題隨之而來:怎麼衡量"分布是否一樣"?用什麼標準來比較?這正是這篇論文花了大量篇幅去研究的兩個核心設計軸。
---
二、兩把"測量尺":如何比較分布,以及在哪裡比較
研究團隊把整個RDM框架的設計空間歸結為兩個維度。第一個維度是"比較方式"——用什麼數學工具來衡量兩組圖片分布之間的差距。第二個維度是"比較場所"——在哪個"特徵空間"里做這個比較,也就是用哪種預訓練好的神經網路來提取圖片的特徵。
這兩個維度乍聽起來很抽象,但可以用一個生活中的類比來理解。假設你是一個葡萄酒鑑賞師,要判斷一批新釀的酒是否和某個年份的珍藏酒風格一致。"比較方式"是你的評判標準——你是測量酒精度、單寧含量,還是用更全面的氣相色譜分析?"比較場所"是你的鑑定維度——你從香氣、口感、顏色哪個角度來鑑定?不同的標準和維度,得出的結論可能大相徑庭。
這篇論文之前的方法,都是把這兩個維度的選擇綁定在一起,所以很難搞清楚到底是哪個選擇在起作用。研究團隊的貢獻之一,就是把這兩個維度拆開來,逐一測試。
---
三、"最大均值差異"這把老尺子,其實沒那麼老
在比較方式這個維度上,研究團隊發現了一個讓人驚喜的事實:一個十年前就被主流放棄的方法,其實根本沒有問題,只是之前用的姿勢不對。
這個方法叫做"最大均值差異"(Maximum Mean Discrepancy,MMD)。簡單來說,它的工作原理是這樣的:給兩組圖片的特徵分別打上"標籤",然後計算一個分數,這個分數在兩組圖片來自同一分布時為零,越不像就越大。十年前,研究者試圖用它來訓練圖像生成器,效果很差,於是大家認為它"太弱了",轉而去發展GAN(生成對抗網路)等更複雜的方法。
但這篇論文的研究團隊認為,MMD不是天生弱,而是之前的估算方式有問題。他們的核心洞察是:MMD包含兩項——一項衡量生成圖片彼此之間的差異(排斥項),一項衡量生成圖片和真實圖片之間的相似度(吸引項)。這兩項的"資訊來源"是不同的,應該用不同的方式來處理。
對於排斥項,它只需要在當前生成的這一批圖片裡計算,計算量固定且可控,所以可以精確計算,不用近似。對於吸引項,它需要拿生成的圖片去跟整個真實數據集(比如ImageNet的128萬張圖)比較。如果每次訓練都重新採樣一批真實圖片來計算,會引入大量噪聲,就像每次用一把不同精度的尺子量同一根棍子,結果就會飄忽不定。
研究團隊的解決方案是,只做一次這個昂貴的計算,把整個128萬張圖片的"集體特徵"壓縮成一個緊湊的參考點——具體來說,用了一種叫做"Nystrom近似"的技術,用4096個代表性的"地標點"來概括整個數據集的特徵分布,然後把這個參考點凍結起來,以後每次訓練都拿生成的圖片去跟這個固定參考點比較。這就好比不是每次都重新請一百萬個評委評分,而是事先請專家做了一份權威的標準答案,之後每次都拿作品去對照這份標準答案。
為了驗證這個設計的優越性,研究團隊做了一個非常直觀的測試:在一個64維空間裡,把數據藏成一個螺旋形的曲線,然後用不同的方法來訓練一個生成器,看誰能最準確地重現這條螺旋。測試結果用兩個指標來衡量:錨點召回率(生成的點有多少落在螺旋上)和到曲線的中位距離(生成的點離螺旋有多近)。
在這個測試里,Nystrom版本的MMD在大批量和小批量情況下都表現最穩定,是唯一在所有條件下都不失手的方法。精確計算的MMD在小批量下會退化(因為參考樣本太少),隨機傅里葉特徵版本在高維下精度下降,Sliced-Wasserstein在小批量下失去召回率,而競爭對手"漂移場"方法在大批量下直接崩潰。
---
四、生成批量越大越好,但不是越多越好
確定了比較方式之後,研究團隊開始研究另一個關鍵變量:每次訓練時生成多少張圖片。
這裡存在一個經典的權衡。生成的圖片越多,對當前分布的估計就越準確,就好比你用1000個人的身高數據來估計某個城市的平均身高,肯定比用10個人的數據更可靠。但在同樣的計算預算下,生成的圖片越多,意味著更新模型的次數越少——錢就這麼多,要麼買很多便宜食材做簡單菜,要麼買少量好食材做精品菜。
之前的做法通常是用相對小的批量(幾十到幾百張),這是受限於顯存的被迫之舉。研究團隊通過一種叫做"梯度緩存"的技巧突破了這個限制——簡單來說,就是把一大批圖片分成小塊分別處理,但最終累積成一個完整批量的梯度效果,顯存占用和處理小批量一樣,但效果等同於處理大批量。
在保持總計算時間相同的條件下,研究團隊測試了從512到10240不同的批量大小,結果發現:最小的批量(512)訓練效果反而比不訓練還差,這是因為估計太不準確,噪聲把模型帶偏了。隨著批量增大,質量持續提升,在5120左右達到一個寬闊的最優區間,10240也只是略微下降。最終,研究團隊在ImageNet實驗中使用5120,在更大的FLUX模型上使用10240。這個數字比業界常用的批量大小大了至少一個數量級。
條件生成任務(比如"根據文字描述畫圖")還帶來了額外的挑戰:模型可能會"偷懶"——生成的圖片整體上看起來真實(滿足圖像分布),但不按照文字描述畫(圖文不對應)。為了解決這個問題,研究團隊設計了一個"聯合分布匹配"方案:把圖片特徵和對應的文字描述特徵拼接在一起,作為一個整體去匹配。這樣一來,一張生成的圖不僅要"看起來真實",還要"和對應的描述語義一致",兩個條件同時滿足才算合格。
---
五、單靠一個評委是不夠的——多編碼器集成的必要性
現在來到第二個設計維度:在哪個特徵空間裡做比較。
這裡有一個看起來很反直覺的發現:就算你用一個非常強大、非常精細的特徵提取器(比如頂級的DINOv2視覺模型)作為評判標準,也不足以保證圖片真正高質量。
研究團隊做了這樣一個實驗:只針對DINOv2特徵空間來優化,訓練5120步。結果,按照DINOv2的標準,生成圖片的質量分數降到了和真實圖片幾乎一樣低——也就是說,DINOv2認為它們"和真實圖片一樣好"。但肉眼看上去,生成的圖片遠遠沒有那麼好。一張蜥蜴的圖片變得幾乎和照片一樣逼真,但一張打字機的圖片,按鍵布局還是明顯不合常理。
這說明了一個深刻的問題:任何單一的評判標準都有盲區。DINOv2在識別蜥蜴的整體特徵上很強,但在判斷打字機按鍵排列是否符合現實邏輯方面則不夠敏感。模型會聰明地找到這些盲區,優先在評委關注的地方做好,而把評委看不見的地方放棄掉——這就是所謂的"過擬合",或者更生動地說,是"欺騙評委"。
解決方案是請更多不同類型的評委。研究團隊組建了一個由10個不同預訓練模型組成的"評審團",這些模型來自不同的訓練範式:有監督分類的(Inception、ConvNeXt)、自監督學習的(MAE、DINOv3)、多模態對齊的(CLIP、SigLIP2)、多教師蒸餾的(PE-Core、RADIO)、人類相似度校準的(DreamSim),等等。每個模型都有不同的關注維度,不同的盲區,這樣就很難同時欺騙所有人。
但評審團多了,新的問題來了:怎麼分配每個評委的權重?如果平均分配,模型可能會集中討好那些最容易滿足的評委,而忽視最挑剔的那幾個。研究團隊借鑑了強化學習中的一種叫做"PID拉格朗日方法"的控制論思路:哪個評委還沒被滿足,就給它更高的權重;一旦某個評委已經滿意了,就降低它的權重。具體實現時,每個評委都有一個"滿意閾值"(用真實驗證集數據的分數來定),凡是還沒達到這個閾值的,按照差距大小自動提高權重,權重通過softmax歸一化分配預算。這就像一桶水,水面的高度取決於最短的那根木板——"最短木板"會自動獲得最多的修補資源。
---
六、一把新尺子:專為抗作弊設計的SWr14評分
既然訓練時使用了MMD作為損失函數,評估時就不應該用同一把尺子——否則模型可能只是學會了"在MMD這把尺子下看起來好",而不是真正高質量。研究團隊設計了一個全新的評估指標,叫做SWr14。
這個指標的設計思路是"換把尺子,換個房間"。首先,把MMD替換成"Sliced-Wasserstein距離"——這是一種完全不同的分布比較工具,和MMD的數學機制沒有重疊,所以對MMD訓練出的模型來說,這把尺子是全新的挑戰。其次,用14個編碼器(包括4個在訓練中完全沒用過的"留出編碼器")來計算每個編碼器下的分數,然後取平均。每個編碼器的分數都先除以真實驗證集數據的分數(歸一化),讓1.0成為"真實圖片"的基準分——越接近1.0越好,實際上沒有任何已發布模型能低於1.30。
這個指標的優勢在於:它和訓練損失毫無關聯(換了數學工具),又用了沒參與訓練的編碼器(換了評委),還有真實數據作為歸一化基準(有客觀參照),所以很難被"遊戲化"——也就是說,在這把尺子上表現好,基本上能確保圖片真的高質量,而不是在特定評判標準下的取巧。
---
七、iRDM在ImageNet上的表現:不僅超越同類,還超過了真實照片
把以上所有設計組合在一起,就得到了iRDM(improved RDM,改進版表徵分布匹配)。
在ImageNet-256(256像素的ImageNet圖片生成任務)這個標準測試場景下,研究團隊從一個已有的強大單步基線模型(pMF-H FD-SIM)出發,繼續用iRDM優化4000步,使用5120的生成批量,10個訓練編碼器,加上Nystrom參考點,加上拉格朗日權重控制。
在SWr14指標上,iRDM達到1.30,而此前最好的單步模型是2.05。排在它前面的任何已發布生成器都沒有低於1.30的——包括那些需要多步推理的模型。iRDM在14個編碼器中的9個上都拿到最佳成績,整體平均也是最佳。
更有說服力的是另一個評估指標——PickScore。這是一個用人類評分數據訓練出來的"人類偏好預測模型",研究團隊在訓練時完全沒有用它作為優化目標,所以它是一個完全獨立的驗證工具。結果,PickScore更偏好iRDM生成的圖片,在與pMF-H FD-SIM的對比中,有71.2%的配對圖片裡,PickScore選擇了iRDM的版本。
更令人吃驚的是,研究團隊還把iRDM的生成結果和真實照片做了對比。在PickScore的評判下,iRDM生成的圖片有63.6%的時候被認為比真實照片更好看——這是研究團隊所知的第一個在這個指標上超過真實照片的單步生成模型。
---
八、從四步FLUX到一步FLUX:90小時完成的"蛻變"
iRDM的野心不止於ImageNet這個學術測試場景。研究團隊把同樣的方法應用到了商業級的大模型上:Black Forest Labs發布的FLUX.2 [klein],一個參數量高達40億的四步文字生成圖片模型。
目標是把這個四步模型"蒸餾"(可以理解為提煉和精簡)成一步模型,同時不損失質量。常規的蒸餾方法需要在訓練過程中不斷查詢原始的四步模型,計算成本很高。iRDM則用了一個聰明的技巧:事先讓四步模型生成約30萬張圖片,作為參考數據集,然後凍結起來,之後的訓練完全不再需要查詢四步模型。
這30萬張參考圖片是精心挑選的,分為兩類:第一類是針對COCO數據集中的8萬多張圖片,讓四步模型各生成24個候選,用PickScore選出每個圖片對應提示詞最好的3個,共約25萬對;第二類是針對GenEval測試集(一個評估文生圖模型是否能精確理解"兩個物體"、"顏色屬性"、"空間關係"等複雜描述的測試集)中的553個提示詞,對每個提示詞生成150個候選,用目標檢測器篩選出內容完全正確的,最多保留100個,共約5.4萬張。
在聯合圖文匹配時,文本特徵和圖片特徵拼接在一起共同壓縮進Nystrom參考點,生成時使用同樣的COCO提示詞加GenEval提示詞作為條件池。整個後訓練過程只用了180步,約90小時的H200 GPU時間。
結果令人印象深刻。在GenEval評測(通過目標檢測器精確評估生成圖片是否符合文字描述)上,一步iRDM達到0.826的總分,而四步原始FLUX.2 [klein]只有0.794——單步模型超過了四步模型。在PickScore上,iRDM的22.76也高於四步模型的22.58。分類別來看,iRDM在雙目標物(0.924 vs 0.904)、顏色(0.923 vs 0.880)、空間位置(0.650 vs 0.575)和屬性綁定(0.708 vs 0.623)這些需要精確圖文對齊的類別上全面超越四步模型,只在"計數"這個類別上略有不足。
作為對比,研究團隊也實現了另一種蒸餾方法DMD2,它達到了0.804的GenEval和22.36的PickScore,都低於iRDM的水平。
聯合匹配圖文分布的重要性也在消融實驗中得到了驗證:如果只匹配圖像分布(不加入文字特徵),GenEval總分從0.826降至0.801,尤其是雙目標物(0.899 vs 0.924)和屬性綁定(0.608 vs 0.708)這兩個依賴圖文對齊的類別下降最明顯——這說明,是聯合匹配讓提示詞忠實度成為優化目標的一部分。
---
九、六種訓練距離的比賽:誰是最好的老師
研究團隊還做了一個細粒度的消融實驗:在其他條件完全相同的情況下,只改變訓練時使用的距離函數,看哪種最有效。
六種距離函數被拉進了同一個賽場:Nystrom版MMD(研究團隊推薦的)、隨機傅里葉特徵版MMD、精確計算版MMD、Fréchet距離(只比較均值和協方差)、Sliced-Wasserstein距離,以及漂移場方法。每種方法都在相同的計算預算下,從同一個基線模型出發,針對單個DINOv2編碼器訓練100步,然後用兩種第三方距離來評估。
最終排名是:Nystrom版MMD最好,隨機傅里葉特徵版MMD第二,精確計算版MMD第三,Fréchet距離第四,Sliced-Wasserstein損失第五,漂移場方法最差——而且這個排名在兩種評估距離上完全一致,說明結論很穩健。
有兩個特別值得注意的細節。第一,精確計算版MMD反而不如Nystrom版——這說明Nystrom的低秩近似並非損失了資訊,而是提供了更平滑的梯度信號,反而有利於優化。第二,用Sliced-Wasserstein作為損失,在Sliced-Wasserstein評估指標上反而不如MMD——這表明在某個指標上優化,並不代表會在同一個指標上取得最好的結果,優化和評估的解耦非常重要。
---
十、拉格朗日控制vs.平均分配:精準分配預算的價值
最後一個消融實驗驗證了多編碼器權重分配策略的效果。
在訓練100步的設置下,對比拉格朗日控制和平均權重分配兩種方案。測試的起點(pMF-H基線)本身就是"兩極分化"的:Inception和ConvNeXt這類經典編碼器已經接近或低於真實數據的基準線,而現代編碼器(PE-Core等)離真實數據還差得遠,導致整體SWr14分數(2.09)被這些落後的編碼器拉高。
拉格朗日控制把預算集中到了最需要改善的PE-Core編碼器上,同時對已經滿意的編碼器自動降權。結果是:整體SWr14從2.09降至1.88(平均分配是1.90),差距不大;但在最差編碼器的分數上,拉格朗日控制從4.83降到了3.49,而平均分配只降到了4.06。也就是說,拉格朗日控制在改善"最短木板"這件事上明顯更有效,這正是它被設計來做的事情。
---
說到底,這項研究講的是一個"用對方法、解放潛力"的故事。MMD這把尺子並非天生弱,只是之前沒有被正確使用。單步生成器並非天生差,只是之前沒找到合適的訓練範式。單個評委並非天生公正,只是之前大家沒注意到它的盲區。
iRDM把這些問題逐一解決:用Nystrom讓MMD真正發揮威力,用大批量讓分布估計準確,用聯合匹配讓圖文一致成為目標,用多評委加拉格朗日控制防止模型鑽空子,用SWr14提供一把不偏不倚的測量尺。
對於普通用戶來說,這項研究最直接的意義是:未來的AI畫圖工具可以更快。一步生成意味著幾乎可以實時出圖,這對交互式創作、遊戲實時生成、影片每幀生成等場景都意義重大。更深遠的影響是,整個RDM這套思路——"直接匹配分布,無需模擬軌跡"——可以推廣到圖像以外的任何模態,只要有合適的預訓練編碼器提供特徵空間,就可以用這套方法來訓練高質量的單步生成器。
當然,差距仍然存在。SWr14 1.30距離真實數據的1.0還有一段路,研究團隊也誠實地指出了這一點,並提出了未來的優化方向:多尺度核函數、任務特定的編碼器組合、更豐富的條件耦合方式。故事還沒有結束,但這一步走得相當堅實。有興趣深入了解技術細節的讀者,可通過論文編號arXiv:2607.02375查閱完整原文。
---
Q&A
Q1:iRDM生成圖片為什麼可以只需要一步,而不是像普通擴散模型那樣需要多步?
A:iRDM的訓練目標是讓生成圖片的整體分布和真實圖片一樣,而不是模擬"從噪聲一步步變成圖片"的過程。因為約束的是最終結果而不是中間步驟,模型自然就能在一次計算後直接輸出圖片。這就像考試不要求你寫解題步驟,只要答案對就行,所以可以跳過中間過程。
Q2:為什麼用多個編碼器來評判圖片質量,單個高級編碼器不夠嗎?
A:單個編碼器有盲區——它關注的維度有限,模型會專門針對這些維度優化,而忽視其他方面。實驗表明,即使是最強的DINOv2編碼器被滿足後,圖片仍可能有明顯問題(比如打字機按鍵排列不合理)。多個來自不同訓練範式的編碼器組合,能覆蓋更廣泛的質量維度,讓模型難以同時欺騙所有評委。
Q3:SWr14評分里的"1.0"是什麼意思,為什麼已發布模型都高於1.30?
A:SWr14把真實驗證集圖片的得分定義為1.0,作為基準。分數越接近1.0,說明生成圖片和真實圖片越相似。1.30意味著iRDM生成的圖片和真實圖片還有一定差距,但這已經是目前所有已發布模型中最低(最好)的數字。這個指標設計上很難被"刷分",因為它使用了和訓練損失完全不同的數學工具以及訓練中沒用過的編碼器來評估。






