這項由北京大學多媒體資訊處理重點實驗室的馬澤鴻、張世良，與華為公司的魏龍輝、田奇，以及南京大學的王帥團隊合作完成的研究發表於2025年11月，論文編號為arXiv:2511.19365v1。感興趣的讀者可以通過該編號查詢完整論文。
說到AI生成圖像，你可能會想到那些令人驚嘆的作品——只需要輸入幾個詞，就能得到栩栩如生的畫作。但是你知道嗎，這背後其實有著複雜的技術較量。就像一個畫家需要既能構思整體布局，又要精心描繪每個細節一樣，現在的AI系統也面臨著類似的挑戰。
目前主流的AI繪畫系統就像是僱傭了一位"萬能畫家"，讓他既要負責構思畫面的整體結構和語義內容（比如畫面中應該有什麼物體、它們的位置關係等），又要處理各種精細的紋理和邊緣細節。這就好比讓一個人既當建築師設計房子的整體結構，又當裝修工人處理每一個細微的裝飾。雖然可行，但效率並不高，而且容易顧此失彼。
北京大學的研究團隊提出了一個聰明的解決方案——他們開發了一種叫做"頻率解耦像素擴散"（DeCo）的新技術，簡單來說就是讓AI系統學會"分工合作"。他們發現，如果把圖像生成過程比作製作一幅拼圖，那麼可以讓一個"大腦"專門負責理解和規劃整體畫面的語義內容（就像先確定拼圖的大致輪廓和主要物體），然後讓另一個"助手"專門負責填充各種精細的紋理和細節（就像給拼圖片添加逼真的表面質感）。
這種分工合作的思路背後有著深刻的科學道理。研究團隊注意到，在頻率域分析中，圖像資訊可以分為低頻資訊和高頻資訊兩大類。低頻資訊承載著圖像的主要結構和語義內容，就像一幅畫的基本輪廓和色彩分布；而高頻資訊則包含了各種細節、紋理和邊緣資訊，就像畫面中的細微筆觸和材質感。傳統方法強迫一個模型同時處理這兩類截然不同的資訊，就像讓一個廚師既要設計菜譜又要清洗餐具，自然會分散注意力，影響效率。
這項研究的創新之處在於首次提出了在像素級別進行頻率解耦的系統性方案。他們巧妙地設計了一個輕量級的像素解碼器來專門處理高頻資訊，而讓主要的擴散變換器（DiT）專注於低頻語義建模。這樣的設計不僅提高了生成效率，還大大改善了最終圖像的質量。在ImageNet數據集上的測試結果顯示，他們的方法在256×256解析度下達到了1.62的FID分數，在512×512解析度下達到了2.22的FID分數，這個成績幾乎追平了目前最先進的潛在擴散方法。更令人印象深刻的是，在文本到圖像生成的綜合評估中，他們的模型獲得了0.86的總體評分，在系統級比較中名列前茅。
一、化繁為簡的分工智慧——頻率解耦的核心思想
要理解這項技術的精妙之處，我們可以用建築師和裝修工人的比喻來思考。當我們要建造一棟房子時，建築師首先會設計整體結構、房間布局、主要功能區域的分配等宏觀層面的內容。這就像圖像中的低頻資訊，決定了畫面的基本構成和語義內容。然後，裝修工人會負責具體的細節處理，比如牆面的紋理、地板的花紋、窗簾的褶皺等等，這些就對應著圖像中的高頻資訊。
在傳統的AI圖像生成方法中，系統就像是一個既要當建築師又要當裝修工的"全能型"工人。雖然理論上可行，但實際操作中會遇到很多問題。比如，在處理複雜的高頻細節時，系統可能會被這些細碎的資訊干擾，導致對整體結構的把握出現偏差。就好像一個裝修工人過分專注於某個角落的瓷磚鋪設，卻忘記了整個房間的協調性。
研究團隊通過深入的頻譜分析發現了這個問題的本質。他們使用離散餘弦變換（DCT）對生成過程中的圖像進行頻域分析，發現傳統方法在處理高頻資訊時確實會對低頻語義建模造成干擾。這種干擾就像是在安靜的圖書館裡突然響起的嘈雜聲音，會打斷人們的思考過程。
為了解決這個問題，他們提出了一個巧妙的解決方案：讓擴散變換器專門處理下採樣後的低解析度輸入，這樣它就能專心於理解和生成圖像的整體語義結構，而不被瑣碎的細節所困擾。同時，他們設計了一個輕量級的像素解碼器，專門負責在高解析度層面補充各種細節資訊。這個像素解碼器會以擴散變換器生成的語義資訊作為指導，在原始解析度的圖像上添加逼真的紋理和邊緣細節。
這種設計的妙處在於它充分發揮了不同組件的專長。擴散變換器擅長理解和處理複雜的語義關係，就像一個經驗豐富的建築師能夠統籌全局；而像素解碼器則專精於局部細節的精確渲染，就像一個技藝精湛的工匠能夠雕琢每一個細微之處。通過這種專業化分工，整個系統的效率和質量都得到了顯著提升。
實驗結果充分驗證了這種設計的有效性。研究團隊發現，使用他們的方法後，擴散變換器輸出的低頻語義特徵變得更加清晰和準確，而最終生成的圖像質量也有了明顯的改善。這就像是讓每個工人都能在自己最擅長的領域發揮才能，最終的作品自然會更加出色。
二、精益求精的優化策略——頻率感知的損失函數
僅僅有分工合作還不夠，研究團隊還想讓系統變得更加聰明。他們注意到一個有趣的現象：人眼對不同頻率的圖像資訊有著不同的敏感度。這就像我們在欣賞一幅畫時，會更容易注意到主要物體的輪廓和色彩分布，而對一些細微的紋理變化可能不那麼敏感。
基於這個觀察，研究團隊設計了一種全新的"頻率感知流匹配損失"。這個名字聽起來很複雜，但它的核心思想其實很簡單：讓AI系統學會像人類一樣，把注意力更多地放在視覺上更重要的資訊上。
他們從JPEG圖像壓縮標準中汲取了靈感。JPEG壓縮之所以能夠在保持視覺質量的同時大幅減少文件大小，正是因為它利用了人類視覺系統的特性。JPEG標準中的量化表編碼了關於不同頻率成分視覺重要性的知識——那些對視覺感知更重要的頻率成分會被保留更多的資訊，而那些不太重要的高頻細節則可以適當丟棄。
研究團隊巧妙地將這些經過驗證的視覺先驗知識融入到他們的訓練過程中。具體來說，他們使用離散餘弦變換將預測的像素速度和真實的像素速度都轉換到頻率域，然後使用JPEG量化表的歸一化倒數作為自適應權重。這意味著在訓練過程中，系統會更加關注那些對人眼更重要的頻率成分，而對那些相對不重要的高頻噪聲給予較少的關注。
這種方法的好處是多方面的。首先，它簡化了優化過程的複雜性。就像給學生劃重點一樣，告訴AI系統哪些內容更重要，可以讓學習過程更加高效。其次，它提高了最終圖像的視覺質量。通過強調視覺上更顯著的頻率成分，生成的圖像看起來更加自然和諧。最後，它有效抑制了那些在感知上不重要的高頻噪聲，讓圖像看起來更加乾淨清晰。
在實際實現中，研究團隊使用了質量因子為85的JPEG量化表，這是一個在保持高視覺質量的同時適度壓縮的標準設置。他們發現這個選擇在強調重要頻率成分和輕度抑制不重要細節之間達到了最佳平衡。當質量因子設置為100（無損壓縮）時，所有頻率成分都被平等對待，效果接近於不使用頻率感知損失；而當質量因子降到50時，對高頻資訊的抑制過於嚴重，反而影響了圖像質量。
這種頻率感知的訓練策略就像是給AI系統配備了一雙"慧眼"，讓它能夠像資深的藝術家一樣，知道應該把精力投入到哪些地方，從而創作出更加出色的作品。
三、輕量精巧的細節大師——像素解碼器的設計藝術
在整個系統中，像素解碼器雖然被稱為"輕量級"，但它的作用卻至關重要。可以把它想像成一個專門負責精工細作的工匠，雖然工具簡單，但技藝精湛，能夠在前期規劃的基礎上精確地完成各種細節工作。
這個像素解碼器的設計體現了"少即是多"的哲學。它完全摒棄了複雜的注意力機制，而是採用了簡單高效的線性層組合。這種設計選擇並非偶然，而是基於對任務特性的深刻理解。由於像素解碼器主要處理局部的高頻資訊，它不需要像擴散變換器那樣理解複雜的全局語義關係，因此簡單的線性操作就足以勝任。這就好比雕刻細節時，工匠需要的是精準的手工技巧，而不是複雜的機械裝置。
在具體的架構設計上，像素解碼器採用了一種巧妙的多尺度輸入策略。擴散變換器處理的是16倍下採樣的低解析度輸入，就像建築師在縮略圖上進行整體規劃。而像素解碼器則直接處理原始解析度的圖像，能夠捕捉到最精細的紋理資訊。這種設計讓兩個組件各自在最適合的尺度上發揮作用，避免了資訊的不必要損失。
像素解碼器的內部結構經過精心優化。它首先通過一個線性投影層將原始像素資訊轉換為高維特徵表示，這個過程類似於將原始材料進行初步加工。然後，來自擴散變換器的語義資訊會被上採樣並重塑為與原始圖像相同的空間解析度。接下來，一個多層感知器（MLP）會根據這些語義資訊生成調製參數，用於自適應層歸一化操作。
這種自適應層歸一化的機制特別值得關注。它允許像素解碼器根據來自擴散變換器的語義指導動態調整其行為。這就像一個工匠根據設計師的指導不斷調整手工技法，確保最終的作品既符合整體設計理念，又具有精美的細節表現。通過這種方式，語義資訊和細節資訊得以有機融合，產生既有意義又有美感的視覺效果。
研究團隊在設計過程中進行了大量的消融實驗來優化各個參數。他們發現，將像素解碼器的隱藏維度設置為32、深度設置為3層能夠達到最佳的性能平衡。維度太小會限制模型的表達能力，而維度太大則會增加不必要的計算開銷。深度太淺可能無法充分處理複雜的細節資訊，而深度太深則可能導致優化困難。
特別值得一提的是，像素解碼器的補丁大小被設置為1，這意味著它能夠在像素級別進行精細操作。相比之下，擴散變換器使用的補丁大小為16，更適合捕捉全局結構資訊。這種差異化的設計策略體現了研究團隊對不同組件功能定位的精準把握。
實驗結果顯示，這種精心設計的像素解碼器不僅參數量少（僅有8.5M參數），計算效率高，而且能夠顯著提升最終圖像的質量。它就像一個技藝精湛的工匠，用最簡潔的工具創造出最精美的作品，完美詮釋了"化繁為簡"的設計美學。
四、令人矚目的實驗成就——從理論到實踐的完美驗證
要驗證一個新技術是否真正有效，最有說服力的還是實際的測試結果。研究團隊設計了全面而嚴格的實驗方案，就像要驗證一個新的烹飪方法是否真的能做出更美味的菜餚一樣，他們需要在各種不同的"食材"和"場景"下進行測試。
在基礎性能測試中，DeCo方法展現出了令人印象深刻的表現。在ImageNet數據集上進行的類別到圖像生成任務中，該方法在256×256解析度下取得了1.62的FID分數，在512×512解析度下達到了2.22的FID分數。這些數字的意義就像考試成績一樣——分數越低代表生成圖像的質量越高。要知道，這個成績已經非常接近那些需要兩階段訓練的潛在擴散方法，而DeCo是端到端的單階段方法，這就像用更簡單的工藝達到了同樣精美的效果。
更令人驚喜的是訓練效率的大幅提升。實驗顯示，DeCo方法只需要400k次訓練疊代就能達到2.57的FID分數，而傳統方法需要4000k次疊代才能達到類似效果，這意味著訓練速度提高了10倍。這就好比原來需要10天才能學會的技能，現在1天就能掌握，這種效率提升對於實際應用來說意義重大。
在推理速度方面，DeCo也表現出色。生成一張256×256的圖像只需要1.05秒，相比之下，其他像素擴散方法如RDM需要38.4秒，PixelFlow需要9.78秒。這種速度優勢就像是高鐵相對於綠皮火車的優勢，不僅快，而且穩定可靠。
文本到圖像生成是另一個重要的測試場景。在GenEval基準測試中，DeCo獲得了0.86的總體評分，這個成績超越了許多知名的模型，包括Stable Diffusion 3和FLUX.1-dev等。這就像在一個權威的攝影比賽中獲得了極高的綜合評分，證明了技術的全面性和實用性。
特別值得關注的是，DeCo在處理複雜場景時的表現。無論是單個物體、雙物體、計數、顏色、位置關係還是顏色屬性等各個維度，DeCo都顯示出了均衡而出色的能力。這種全面的性能表現就像一個全能型運動員，在各個項目上都有不俗的成績。
為了更深入地理解DeCo的工作機制，研究團隊還進行了詳細的頻譜分析。他們使用離散餘弦變換對生成過程中的擴散變換器輸出和最終像素速度進行頻域分析，結果清楚地顯示了頻率解耦的有效性。在使用DeCo後，擴散變換器輸出的高頻能量顯著降低，而最終像素速度中的高頻資訊得到了很好的保持。這種變化就像是讓一個樂團中的每個樂手都專注於自己的聲部，最終的演奏效果自然更加和諧動聽。
消融實驗的結果進一步證實了各個設計選擇的合理性。研究團隊測試了不同的隱藏層大小、網路深度、補丁大小、交互機制等多個因素，發現他們的每一個設計決策都是經過深思熟慮的。比如，當像素解碼器的補丁大小從1增加到16時，性能急劇下降，這證明了像素級別的精細操作對於高頻資訊處理的重要性。
內存使用和計算成本方面，DeCo也顯示出了良好的效率。儘管增加了一個額外的像素解碼器，但由於其輕量級的設計，整體的內存開銷和訓練時間增加都很有限。這就像在原有的工作流程中增加了一個專門的質檢環節，雖然多了一個步驟，但由於流程優化，總體效率反而提高了。
五、技術突破背後的深層意義——從工程創新到認知啟發
這項研究的價值遠遠超出了技術層面的改進，它為我們理解和設計人工智慧系統提供了重要的啟發。從某種程度上說，DeCo的成功驗證了一個基本的認知科學原理：專業化分工往往比全能型處理更加高效。這個原理在人類社會中早已得到驗證，現在在人工智慧領域也得到了有力支持。
從電腦視覺的角度來看，這項研究揭示了頻率域分析在理解和優化生成模型中的重要作用。長期以來，研究者們主要關注空間域的特徵表示和學習，而對頻率域特性的關注相對較少。DeCo的成功表明，頻率域的洞察可以為模型設計提供獨特而有價值的指導。這就像是發現了一個新的觀察世界的角度，讓我們能夠看到以前忽略的重要細節。
從系統設計的角度來說，DeCo體現了"分而治之"策略的威力。通過將複雜問題分解為相對獨立的子問題，然後為每個子問題設計專門的解決方案，最終的系統往往能夠在性能和效率之間達到更好的平衡。這種思路不僅適用於圖像生成，也可能為其他複雜的AI任務提供借鑑。
研究還展現了跨學科知識融合的價值。JPEG量化表本來是為圖像壓縮而設計的，但研究團隊巧妙地將其中蘊含的視覺感知知識應用到生成模型的訓練中，取得了意想不到的效果。這提醒我們，創新往往來自於看似不相關領域之間的知識遷移和融合。
從實用性的角度考慮，DeCo技術有著廣闊的應用前景。在內容創作領域，更高效的圖像生成技術可以大大降低創作成本，讓更多的人能夠參與到視覺內容的創作中來。在科學研究和工程設計中，快速準確的圖像生成能力可以幫助研究者更好地可視化複雜的概念和數據。在教育和培訓領域，這種技術可以用來創建豐富的視覺教學材料，提升學習體驗。
更深層次來說，這項研究還觸及了人工智慧發展的一個核心問題：如何讓AI系統變得更加智能和高效。傳統的"暴力計算"方法雖然在某些情況下有效，但往往缺乏elegance和可持續性。DeCo展示了另一種可能：通過深入理解問題的本質結構，設計更加精巧的解決方案。這種approach不僅能夠提升性能，還能增進我們對智能計算本身的理解。
當然，這項技術也面臨著一些挑戰和限制。目前的方法主要針對自然圖像設計，對於其他類型的視覺內容（如技術圖表、抽象藝術等）的適用性還需要進一步驗證。此外，頻率解耦的策略雖然在大多數情況下有效，但在處理某些特殊的視覺效果時可能需要調整。
展望未來，這項研究為多個方向的進一步探索奠定了基礎。例如，可以探索更細粒度的頻率分解策略，或者將類似的思路應用到影片生成、三維內容創建等更複雜的任務中。同時，如何將頻率感知的訓練策略與其他優化技術相結合，也是一個值得深入研究的方向。
說到底，DeCo不僅僅是一個技術創新，更是一種思維方式的體現。它告訴我們，面對複雜問題時，有時候最好的解決方案不是用更大的力氣，而是用更巧妙的方法。正如古人所說，"四兩撥千斤"，真正的智慧往往體現在化繁為簡的能力上。這項研究為人工智慧領域的未來發展提供了一個很好的範例，展示了如何通過深度思考和精心設計來實現真正的技術突破。
Q&A
Q1：DeCo頻率解耦技術具體是怎麼工作的？
A：DeCo技術就像讓AI學會分工合作。它讓一個叫擴散變換器的"大腦"專門處理圖像的整體結構和語義內容（比如畫面中有什麼物體、位置關係等），同時用一個輕量級的像素解碼器專門負責添加各種精細紋理和細節。這樣兩個部分各自專注於自己擅長的工作，就像建築師負責設計房子結構、裝修工人負責細節裝飾一樣，最終效果更好效率更高。
Q2：為什麼DeCo能讓圖像生成速度提升10倍？
A：DeCo的速度提升主要來自兩個方面：首先是分工合作減少了冗餘計算，就像工廠流水線比一個人包辦所有工序更高效；其次是使用了頻率感知的訓練方法，讓AI知道哪些資訊更重要，訓練過程更有針對性。實驗顯示DeCo只需400k次疊代就能達到傳統方法4000k次疊代的效果，這種效率提升對實際應用意義重大。
Q3：DeCo生成的圖像質量如何，適合什麼應用場景？
A：DeCo在權威測試中表現優異，在ImageNet數據集上的FID分數達到1.62（256×256）和2.22（512×512），在文本到圖像生成評估中獲得0.86的總體評分，這些成績都處於領先水平。它特別適合需要快速生成高質量圖像的場景，比如內容創作、遊戲開發、教育培訓等，既能滿足質量要求又能大大提高工作效率。
