這項由喬伊未來學院（Joy Future Academy）、復旦大學、清華大學和中國科學技術大學聯合開展的研究，以預印本形式發布於2026年7月3日，論文編號為arXiv:2607.03524，有興趣深入了解的讀者可通過該編號查詢完整論文。
當你拿起一支畫筆準備畫一幅畫時，畫得好不好，很大程度上取決於你在動筆之前腦海中那幅圖有多清晰。如果腦海中的圖像模糊，你大概需要反覆修改很多次才能接近理想效果；但如果一開始就想得很清楚，哪怕只塗幾筆，也能八九不離十。現在的AI繪圖系統面臨的恰恰是同樣的困境——而這項研究提出的方案，就是幫AI在"動筆"之前就想得更清楚。
**AI繪圖為什麼這麼慢**
當今最先進的AI圖像生成系統，比如被廣泛使用的Stable Diffusion 3，工作方式有點像一個雕塑家從一塊粗糙的石料開始，一刀一刀地雕出精細的作品。這個"雕刻"過程在技術上被稱為"流匹配"（Flow Matching），AI從一張充滿噪點的隨機圖像出發，一步一步地消除噪點，最終得到清晰的圖像。問題在於，這個過程通常需要35到50個步驟才能產出令人滿意的結果——就好像那位雕塑家每次只能微調一點點，必須重複數十次才能完成作品。
這種多步驟的特性帶來了顯而易見的代價：速度慢、計算資源消耗大。每生成一張圖，都需要大量時間和算力。在實際應用中，這意味著更高的成本和更差的用戶體驗。
研究人員早就意識到這個問題，也嘗試過各種"加速"方案。有人嘗試讓AI通過模仿一個更強的"老師模型"來學會一步到位（這叫蒸餾），有人嘗試讓AI學會在軌跡上保持一致性從而減少步驟數（這叫一致性模型）。然而這些方案要麼需要額外準備一個複雜的老師模型，要麼需要對訓練流程做大量改動，而且往往會產生一些奇怪的偽影——生成圖像里會出現奇怪的紋路、不自然的高對比度，甚至令人不適的顏色失真。
**一個出人意料的核心發現**
這項研究的出發點是一個看似簡單卻相當深刻的問題：AI在少步驟情況下生成圖像質量差，根本原因是什麼？
研究團隊發現，問題出在AI被訓練時所處的"評判標準空間"上。
以一個非常直觀的例子來解釋這件事。假設你有一千張同一個人的照片，現在把這一千張照片在顏色數值上直接取平均——每個像素點的顏色變成一千張圖里該位置顏色的平均值。你會得到什麼？一張模糊得幾乎認不出人的圖像，就像透過一層厚厚的毛玻璃隱約看到人臉的輪廓。這張平均圖在數學上是精確的平均，但它完全不像一張真實的人臉照片。
這就是AI在"動筆"時面臨的困境。當AI處於高度噪點的狀態（相當於雕刻的初始階段），它對於"這張圖最終應該長什麼樣"有很大的不確定性——可能是貓，可能是狗，可能是橫構圖，也可能是豎構圖。傳統的訓練方式讓AI最小化像素數值上的誤差，導致AI傾向於預測所有可能性的"平均值"，產出一個模糊的、不屬於任何具體圖像的預測。當有足夠多的步驟時，AI還有機會在後續步驟里逐步修正；但步驟太少，這個初始的模糊預測就很難被有效糾正。
研究團隊把這種現象叫做"均值尋求"行為——AI總在猜一個中間值，而不是猜一個具體、鮮明、真實的樣子。
**感知特徵空間：一種更聰明的評判標準**
那麼，有沒有一種評判方式，能讓AI從一開始就傾向於預測那些"真實可信"的圖像，而不是模糊的平均？
研究團隊的答案是：改變訓練時使用的"測量尺"。
與其用像素數值來衡量AI的預測有多準確，不如用人類視覺感知的方式來衡量。人類的視覺系統對清晰的輪廓、真實的紋理、自然的光影格外敏感，對那種說不清道不明的模糊感非常排斥。如果能讓AI接受同樣的評判，它自然就會在預測時避開那些"模糊但數值上說得過去"的答案，轉而去猜那些"雖然不是平均值但看起來更真實"的答案。
實現這一點的工具是已經在大量真實圖像上預訓練過的視覺模型，比如VGG、DINOv2、ConvNeXt等。這些模型經過訓練，能夠提取圖像的語義特徵——簡單來說，它們"看懂"了什麼是清晰的臉、什麼是真實的狗、什麼是自然的風景。把兩張圖像分別輸入這些模型，得到各自的特徵表示，然後比較這兩個特徵的差距，這個差距就叫"感知距離"。
關鍵在於：感知模型對於"模糊"的懲罰遠遠大於像素級別的測量。當你把那千張人臉照片在DINOv2的特徵空間裡取平均，再還原成圖像，得到的結果依然保留了清晰的面部結構——因為語義特徵空間更關注"這是一張人臉"這件事，而不是每個像素的精確數值。這意味著在語義特徵空間裡，"模糊的平均"本身就是個代價高昂的答案，AI會儘量避開它。
研究團隊把這種現象背後的數學特性量化為一個叫做"離流形懲罰"（Rφ）的指標。直白來說，這個數字衡量的是：當你把兩張真實圖像做平均（產出一個模糊的"中間貨"）時，這個評判標準會對它懲罰多少。傳統的VAE潛在空間（也就是Stable Diffusion這類模型內部使用的壓縮空間）測出來的離流形懲罰大約是1.59；而VGG、DINOv2等感知特徵空間的懲罰值在1.9到2.0之間。更高的懲罰值意味著感知空間更強烈地排斥模糊的預測，更傾向於引導AI走向清晰、真實的圖像。
這種現象有一個直觀的驗證。研究團隊從FFHQ人臉數據集裡取出1000張相似的人臉，分別在三種空間裡求平均：直接在像素空間取平均、在VAE潛在空間取平均再解碼、在DINOv2特徵空間取平均再還原。前兩種方式得到的都是明顯模糊的人臉，而第三種方式的結果卻保留了清晰的面部輪廓。這直觀地說明了為什麼用感知特徵空間來訓練AI，能讓AI在少步驟情況下給出更清晰的預測。
**"感知流匹配"：只改一件事，效果大不同**
基於以上發現，研究團隊提出了"感知流匹配"（Perceptual Flow Matching，簡稱PFM）框架。它的核心改動非常簡潔，簡潔得讓人有點意外。
整個訓練過程與傳統流匹配基本相同：給AI一張被加入噪點的圖像和時間步資訊，讓AI預測"怎麼去掉噪點"（技術上叫預測速度場），然後根據這個預測恢復出乾淨圖像的估計值。唯一的區別在於：傳統方法在潛在空間裡比較預測的乾淨圖像和真實幹淨圖像的差距，而PFM把兩者都先解碼到像素空間，再分別通過預訓練感知模型提取特徵，最後比較特徵之間的差距。
就這一步改動，不需要額外的老師模型，不需要額外的辨別網路，不需要對訓練流程做其他改動，訓練成本幾乎不變——但效果卻截然不同。
推理的時候，PFM用的是標準的一致性採樣方式：AI先從當前噪點狀態預測出乾淨圖像的估計，再把這個估計重新加入噪點到下一個時間步，如此循環。步驟數量可以自由調整，不需要重新訓練模型。
**無需"提詞器"的另一個驚喜**
研究團隊還有一個額外的發現值得單獨介紹，因為它解決了另一個實際問題。
在AI圖像生成中，有一種常用技術叫"無分類器引導"（Classifier-Free Guidance，簡稱CFG）。它的作用是增強生成圖像與用戶文字描述之間的匹配程度——讓"一隻橘色的貓坐在窗台上"這句話生成的圖像更精確地符合描述。然而，使用CFG的代價是：每生成一步，AI都需要額外運行一次無條件預測，相當於每步的計算量翻倍。
令研究團隊驚喜的是，用感知目標訓練出來的PFM模型，即便在推理時完全不使用CFG，也能生成語義上非常準確的圖像。他們認為這是因為感知監督的幾何性質隱式地教會了AI"什麼才叫一個語義上正確的預測"，導致模型內化了部分引導效果，不需要外部的額外提示。
儘管如此，研究團隊也提供了兩種可選的"CFG烘焙"策略，允許在訓練階段就把引導效果融入模型，從而在推理時用單次前向傳播就實現引導增強的效果。一種是"預測側"策略：在訓練中，把有條件預測和無條件預測的加權混合作為訓練的起點，讓梯度只流過有條件分支，從而讓模型學會內化引導效果。另一種是"目標側"策略：在訓練中構造一個CFG增強版的目標圖像，讓AI直接向這個強化目標靠攏，同時用參數控制訓練穩定性。兩種策略都只需要訓練時額外做一次無條件前向傳播，推理時就不再需要額外開銷。
**在三類任務上的全面驗證**
研究團隊在圖像生成、圖像編輯和影片生成三個方向上分別驗證了PFM的效果，覆蓋了當前最主流的幾個生成任務。
在文本生成圖像方面，研究團隊把PFM應用到Stable Diffusion 3 Medium（SD3-Medium）上，並在COCO 2014驗證集上進行評測。這個測試集是業界廣泛使用的標準測試，包含FID（圖像真實感評分，越低越好）、CLIP Score（圖文匹配度，越高越好）和HPSv3（人類審美偏好，越高越好）三項指標。在8步生成條件下，PFM的FID得分為33.93，CLIP Score為31.70，HPSv3為11.42，三項指標在同步數下均優於對比方法。
與之對比的是兩種蒸餾方法：LCM（潛在一致性模型）和DMD2（改進版分布匹配蒸餾）。在8步條件下，LCM的FID是34.18，HPSv3隻有9.19；DMD2的FID是36.16，HPSv3是10.19。PFM在FID和HPSv3上均明顯領先。從生成的圖像來看，LCM生成的圖像更模糊，有明顯的偽影；DMD2雖然相對清晰，但顏色飽和度過高、對比度不自然；PFM的圖像在整體真實感和美觀度上更接近人類審美。
在圖像編輯方面，研究團隊把PFM應用到Qwen-Image-Edit模型上，並在MagicBrush基準上進行評測。MagicBrush專門測試"按文字指令修改圖像"的能力。結果顯示，將採樣步數從40步減少到8步後，原版Qwen-Image-Edit的性能明顯下降；而同樣是8步，應用PFM的版本不僅遠超8步基線，甚至在CLIP-I（生成圖與原圖的相似度）、DINO（語義一致性）、L1誤差和L2誤差四項指標上超越了原版的40步結果，只有CLIP-T（文圖匹配度）稍低0.01分。更值得一提的是，PFM推理時不使用CFG，而原版基線使用CFG scale=4.0，這意味著PFM每步的實際計算量只有基線的一半，但效果還更好。
在影片生成方面，研究團隊把PFM應用到Wan2.1-1.3B影片生成模型上，並在VBench基準上進行全面評測。VBench包含物體類別準確率、多物體關係、人類動作、顏色、場景一致性、時間流暢性、運動平滑度等十餘項子指標。對比的基線是Wan2.1用35步（CFG scale=5.0）和8步（CFG scale=5.0）採樣的結果。PFM用8步、無CFG的情況下，在主體一致性（0.969對0.962）、背景一致性（0.972對0.960）、時間無抖動（0.996對0.979）、運動平滑度（0.995對0.987）、美學質量（0.651對0.535）等多項指標上超越了35步基線。總評分方面，PFM達到0.792，35步基線為0.774，8步基線僅為0.735。從生成的影片幀來看，8步基線存在嚴重的畫面模糊，而PFM的8步結果與35步幾乎難以區分。
**當評判標準改變，AI的"直覺"也隨之改變**
一、為什麼改變監督空間能起到如此關鍵的作用
研究團隊用一個更基礎的數學理論來解釋PFM為什麼有效。傳統流匹配在VAE潛在空間裡用最小化均方誤差來訓練，而均方誤差的最優解恰好是"後驗期望"——也就是所有可能答案的加權平均。在高噪聲階段，這個後驗分布是多峰的（可能是貓也可能是狗），它的均值就落在兩者之間的模糊地帶，不屬於任何一個真實類別。
感知監督改變了這個最優解的位置。在感知特徵空間裡，最優解不再是歐式均值，而是特徵空間裡的"重心"。由於感知模型對模糊、不真實的圖像賦予更大的距離，這個重心會自然地偏向更接近真實數據流形的方向，而不是停留在模糊的中間地帶。
這種轉變在數學上被描述為從"均值尋求"到"模式尋求"的轉變——AI不再猜所有可能性的平均，而是傾向於猜一個具體的、真實的可能性。
二、兩個實驗驗證了這個機制
研究團隊設計了兩個實驗來驗證這個機制，一個在合成數據上，一個在真實圖像上。
在合成數據實驗中，他們把數據分布設計成一個二維平面上的螺旋線——數據只存在於這條細細的曲線上，偏離曲線的點都是"不真實"的。他們分別用三種監督方式來訓練生成模型：標準流匹配（在坐標空間裡直接比較）、通過一個隨機初始化的自編碼器特徵空間比較、以及通過一個經過訓練的自編碼器特徵空間比較。結果非常清晰：前兩種方式在步數少時生成的點大量落在螺旋線外，聚集在分布的均值附近；只有第三種方式，即使只用很少幾步，生成的點也貼近螺旋線。
這個實驗還揭示了一個重要細節：僅僅是非線性的特徵空間並不夠——隨機初始化的自編碼器同樣提供了非線性映射，但效果和直接在坐標空間裡沒什麼區別。真正起作用的是這個特徵空間有沒有"學到"什麼是真實數據，也就是說，離流形懲罰Rφ必須大於1才有效。
在真實圖像實驗中，他們從FFHQ數據集裡對VGG、DINOv2、SigLIP、ConvNeXt、CLIP等多種感知特徵空間分別測量了Rφ值。結果顯示所有預訓練感知模型的Rφ都在1.9到2.0之間，遠高於VAE潛在空間的1.59。更令人印象深刻的是，這些感知模型在Rφ上的排名，與它們作為監督特徵在文本生成圖像基準上帶來的實際效果排名高度吻合——Rφ越高的模型，用來訓練PFM效果越好。
三、不同的感知模型各有特點
研究團隊比較了多種感知模型的實際表現。VGG是一個經典的卷積網路，歷史悠久，但輸入圖像被限制在224×224解析度，對高解析度圖像的細節捕捉有限。DINOv2是自監督訓練的視覺變換器，能捕捉語義層面的特徵，解析度更高。SigLIP是聯合語言-圖像訓練的模型，語義對齊能力強。ConvNeXt是改進版的卷積網路，在量化測試中取得了最高的Rφ值（2.026），在文本生成圖像測試中也表現最優（CLIP Score 31.53，HPSv3 10.17）。隨機初始化的ViT（RandViT）則慘不忍睹，生成結果與標準流匹配一樣模糊，進一步證實了"必須是訓練過的感知模型"這一結論。
在層級深度的實驗中，研究團隊測試了在DINOv2的不同層提取特徵來計算損失的效果。淺層特徵接近像素，Rφ低，訓練出的模型仍然模糊；深層特徵語義豐富，但過於抽象，會讓模型忽略細節、失去像素級的保真度；最終最優的做法是對多層特徵取平均，兼顧語義約束和像素細節。
組合使用多種感知模型也帶來了額外的提升，VGG和DINOv2的組合在實驗中總體表現最佳。
**說到底，這個發現告訴我們什麼**
歸根結底，這項研究揭示了一件原本不那麼顯而易見的事：AI生成圖像需要多少步驟，不只取決於模型的大小或訓練數據的多少，還深刻地受到訓練時使用的"評判尺度"的影響。傳統方式用像素數值來評分，這把尺子天然地寬容模糊；感知空間用視覺感知來評分，這把尺子天然地懲罰模糊。換一把尺子，AI就學會了在腦海中想清楚再下筆，而不是每次都畫一個讓所有人都"差不多滿意"但其實沒人真正喜歡的模糊平均。
PFM的實際意義是：使用者不再需要等待幾十步的緩慢生成，4到8步就能得到質量接近甚至在某些維度超過原版的結果，時間成本和計算成本大幅下降。對於需要大量生成圖像或影片內容的應用場景來說，這意味著幾倍到十幾倍的效率提升。
當然，PFM也有局限。在1到2步這種極端情況下，效果還不夠理想，圖像會出現明顯模糊。哪種感知空間才是真正最優的，目前也還沒有定論——這是研究團隊明確留給未來的工作。不過，一個有趣的問題留給讀者思考：如果連AI"用什麼空間來衡量自己的錯誤"都能如此顯著地影響最終結果，那麼我們在其他機器學習任務里是否也在無意間使用著不合適的"評判尺度"？
對這項研究感興趣的讀者，可以通過arXiv編號2607.03524找到完整論文。
Q&A
Q1：感知流匹配（PFM）和傳統流匹配的訓練過程有什麼實質區別？
A：傳統流匹配在訓練時，把AI預測的圖像和真實圖像在VAE潛在空間裡做像素數值比較。PFM唯一的區別是：把兩張圖像先解碼到像素空間，再分別通過VGG、DINOv2這類預訓練視覺模型提取特徵，然後比較特徵之間的差距。這一步改動不需要額外的老師模型，也不改變訓練框架，但讓AI在訓練時受到了更強烈的"模糊懲罰"，從而學會在少步驟下給出更清晰的預測。
Q2：PFM為什麼在圖像編輯任務上的指標甚至超過了原版40步模型？
A：在MagicBrush測試中，PFM在8步、不使用CFG的情況下，在圖像相似度、語義一致性、像素誤差等指標上超過了原版40步模型。研究團隊認為這與感知監督的特性有關：感知特徵空間更關注語義層面的正確性，訓練出的模型預測更貼近真實圖像的語義結構，而不是陷入模糊的平均狀態。編輯任務本身需要保留源圖像的大量細節，感知空間對細節保真度的要求恰好契合了這一需求。
Q3：離流形懲罰（Rφ）具體是怎麼測量的？
A：研究團隊取兩張真實圖像a和b，計算它們的像素平均值m（這個m模擬了AI在高噪聲時給出的模糊預測），然後分別在某個特徵空間裡測量m到a的距離和b到a的距離，把前者的兩倍除以後者。如果這個比值接近1，說明該特徵空間對模糊圖像沒有額外懲罰；比值越大，說明該空間越強烈地排斥模糊。VAE潛在空間的比值約1.59，各預訓練感知模型的比值在1.9到2.0之間，這個數值越高，用該空間訓練的PFM效果越好。
