這項由香港科技大學羅藝宏、香港中文大學（深圳）胡天陽和香港科技大學（廣州）湯京教授領導的研究發表於2025年1月的arXiv平台，論文編號為arXiv:2510.08425v1。有興趣深入了解的讀者可以通過該編號查詢完整論文。
想像你正在學習做一道複雜的菜，傳統方法需要你每次都把整道菜從頭到尾做一遍才能知道哪裡需要改進。但如果有一種方法能讓你只需要嘗幾口關鍵的部分，就能知道整道菜的好壞，並且知道怎樣調整能讓它更美味，那該多好？這正是研究團隊在AI圖像生成領域取得的突破性進展。
近年來，AI圖像生成技術已經能夠根據文字描述創造出令人驚嘆的圖片。就像有個超級畫家能夠根據你的描述畫出任何你想要的畫面一樣。但是，讓這些AI畫家變得更聰明、更符合人類喜好的訓練過程卻異常緩慢和昂貴。研究團隊發現了一種全新的訓練方法，能夠讓這個過程變得快得多，同時效果還更好。
**一、傳統訓練方法的困境**
要理解這項突破的重要性，我們先來看看傳統方法遇到的問題。目前最先進的AI圖像生成模型使用一種叫做"擴散模型"的技術，這就像是一個會魔法的藝術家，能夠從一團隨機的噪點開始，逐步去除噪音，最終變出清晰美麗的圖片。
為了讓這個AI藝術家畫得更好，研究人員需要不斷地訓練它。傳統的訓練方法就像讓一個學生反覆練習整篇文章的書寫，即使只有其中幾個字寫得不好。更麻煩的是，這種訓練方法需要引入隨機性，就像讓畫家在作畫時手故意抖動一樣，這樣雖然能產生多樣性，但也讓畫質變差，訓練效率極低。
具體來說，傳統的強化學習方法需要在整個圖像生成過程中的每一步都進行訓練。這就像學習開車時，每次練習都必須從啟動引擎開始，經過所有步驟直到停車入庫，才能知道這次練習的效果。而且，為了保持訓練的隨機性，這種方法還必須使用效率較低的隨機採樣器，就像在畫畫時故意讓手抖動一樣，這進一步降低了訓練效率。
**二、DGPO方法的核心創新**
研究團隊提出的DGPO（直接群體偏好優化）方法徹底改變了這種訓練思路。如果把傳統方法比作每次都要品嘗整道菜才能評判好壞，那麼DGPO就像是一個經驗豐富的美食家，只需要比較幾個關鍵的味道樣本，就能判斷出哪道菜更好吃，並且知道如何改進。
DGPO的核心思想是直接學習群體層面的偏好資訊。簡單來說，就是讓AI同時生成多張圖片，然後比較這些圖片的整體質量，而不是逐個評判每張圖片。這就像一個老師批改作文時，不是逐字逐句地糾錯，而是通過比較幾篇作文的整體水平來指導學生改進。
這種方法的巧妙之處在於，它能夠利用群體內部的相對資訊。當AI生成一組圖片時，研究團隊會根據圖片質量將它們分為"好的一組"和"差的一組"，然後讓AI學習如何增加好圖片的生成概率，同時減少差圖片的生成概率。這種相對比較的方式比單純的絕對評分更加準確和高效。
**三、技術實現的巧妙設計**
DGPO方法在技術實現上有幾個巧妙的設計。首先，它使用了一種叫做"優勢權重"的策略來處理群體內的樣本。這就像給每張圖片分配一個重要性分數，質量越好或越差的圖片得到越高的分數，讓AI能夠重點關注那些最具代表性的樣本。
為了消除數學計算中的複雜項，研究團隊設計了一個精巧的權重平衡機制。他們讓"好圖片組"和"差圖片組"的總權重相等，這樣就能夠消除計算中的複雜常數項，讓訓練過程變得更加簡潔高效。這就像在天平的兩端放置等重的砝碼，讓比較過程變得更加精確。
另一個重要的技術創新是"時間步裁剪策略"。由於在線訓練需要不斷生成新的圖片樣本，為了節省計算成本，研究團隊使用較少的步數來生成訓練樣本。但是，直接在這些低質量樣本上訓練會導致模型性能下降。因此，他們提出只在特定的時間步範圍內進行訓練，避免模型過度適應低質量樣本的特定缺陷。這就像在學習繪畫時，不要過分關注草稿的細節問題，而是專注於整體的構圖和色彩搭配。
**四、實驗結果的驚人表現**
實驗結果證明了DGPO方法的卓越性能。在最具挑戰性的GenEval基準測試中，DGPO將基礎模型的性能從63%提升到了97%，甚至超過了GPT-4o的84%表現。更令人印象深刻的是，DGPO達到這個結果的訓練時間比目前最先進的Flow-GRPO方法快了近30倍。
這種性能提升不僅體現在目標任務上，在其他未經過專門訓練的評估指標上，DGPO也表現出色。這就像一個學生不僅在數學考試中取得了高分，在物理和化學考試中也有不錯的表現，說明他真正掌握了學習方法，而不是死記硬背。
具體來說，在組合圖像生成任務中，DGPO在物體計數、空間關係和屬性綁定等複雜任務上都表現優異。在視覺文本渲染任務中，DGPO能夠準確地在生成的圖片中渲染指定的文字。在人類偏好對齊任務中，DGPO生成的圖片在視覺質量和文本圖像匹配度方面都得到了顯著提升。
**五、方法優勢的深層原理**
DGPO方法之所以能夠取得如此優異的表現，主要得益於三個方面的優勢。首先是採樣效率的提升。傳統方法必須使用隨機採樣器來維持訓練的隨機性，但這種採樣器生成的圖片質量較低。DGPO則可以使用確定性的高效採樣器，生成高質量的訓練樣本，這就像用高清攝影機代替模糊的老式相機，能夠捕捉到更多有用的細節資訊。
其次是學習效率的改善。傳統的強化學習方法依賴於模型無關的高斯噪音來提供探索信號，這在高維圖像空間中效率極低。DGPO直接利用群體偏好資訊進行優化，避免了低效的隨機探索，這就像有了明確的地圖和指南針，不需要盲目地四處尋找目標。
最後是訓練效率的優化。傳統方法需要在整個採樣軌跡上進行訓練，每次疊代的計算成本很高。DGPO只需要在特定的時間步上進行訓練，大大降低了每次疊代的計算開銷，這就像從整本書的複習變成了重點章節的複習，效率自然大幅提升。
**六、廣泛的應用前景**
這項研究的意義遠不止於技術層面的突破。在實際應用中，DGPO方法能夠顯著降低AI圖像生成模型的訓練成本，讓更多的研究機構和公司能夠負擔得起高質量模型的開發。這就像從昂貴的手工製作變成了高效的工業化生產，讓更多人能夠享受到先進技術的便利。
對於普通用戶來說，這意味著未來的AI圖像生成應用將變得更加智能和貼近人類偏好。無論是社交媒體上的創意圖片製作，還是專業設計領域的輔助工具，都將因為這種更高效的訓練方法而變得更加實用和可靠。
此外，DGPO方法的通用性使其不僅局限於圖像生成，還可能擴展到影片生成、音頻合成等其他多媒體生成任務中。研究團隊在論文中也提到，這種方法有潛力適應文本到影片的合成任務，這為未來的多媒體AI應用開闢了新的可能性。
說到底，這項研究解決的是AI訓練領域的一個根本性問題：如何讓機器更高效地學習人類的偏好。通過巧妙的數學設計和工程實現，研究團隊找到了一條繞過傳統限制的新路徑。這不僅是技術上的進步，更是思路上的創新，為整個AI生成領域提供了新的發展方向。
歸根結底，當我們看到AI能夠越來越好地理解和滿足人類的創作需求時，我們實際上在見證一個更加智能的創作時代的到來。而DGPO這樣的技術突破，正是推動這個時代到來的重要力量。對於關注AI發展的讀者，這項研究展示了技術進步的另一種可能性：不是簡單地增加計算資源，而是通過更聰明的方法來解決問題。
Q&A
Q1：DGPO方法比傳統的擴散模型訓練方法快多少？
A：DGPO比目前最先進的Flow-GRPO方法快了近30倍。在GenEval基準測試中，DGPO能夠在更短的訓練時間內將模型性能從63%提升到97%，而且整體訓練通常比Flow-GRPO快20倍左右。
Q2：DGPO為什麼能夠實現這麼大的速度提升？
A：主要有三個原因：首先，DGPO可以使用高效的確定性採樣器而不是低效的隨機採樣器；其次，它直接學習群體偏好而不需要低效的隨機探索；最後，它只在特定時間步進行訓練而不是整個採樣過程，大大降低了計算成本。
Q3：普通用戶什麼時候能夠體驗到DGPO技術的好處？
A：雖然DGPO目前還是研究階段的技術，但它能顯著降低AI圖像生成模型的訓練成本，這意味著未來AI圖像生成應用將變得更智能、更貼近人類偏好，普通用戶將在社交媒體、設計工具等應用中體驗到更好的圖像生成效果。
