這項由香港科技大學、加拿大滑鐵盧大學、阿里巴巴通義千問應用團隊及帝國理工學院聯合開展的研究，於2026年7月以預印本形式發布，編號為arXiv:2607.05382。感興趣的讀者可通過該編號在arXiv平台檢索到完整論文。
你有沒有試過讓AI畫圖工具畫出某個你喜歡的冷門遊戲角色，結果它信心滿滿地交出一張"創意改編版"——跟原版差了十萬八千里？或者讓它畫一張關於最近某屆奧運會的紀念海報，它卻把獎牌數據畫得一塌糊塗？這種情況並不是AI偷懶，而是它根本就不知道那些資訊。就像一個畫師在深山裡閉關修煉了好幾年，出關後你讓他畫"最新流行的網紅款漢服"，他掌握的技藝再精湛，也畫不出他從未見過的東西。
這正是這群研究者要解決的核心難題：**AI畫圖工具的"知識盲區"問題**。他們把這個問題叫做"世界知識瓶頸"，並為此構建了一個龐大的測試體系，還提出了一套讓AI學會"什麼時候去查資料"的訓練方法。
一、一萬個用戶的真實需求，暴露了AI畫圖的致命軟肋
研究團隊並沒有憑空設想AI會在哪裡犯錯，而是實實在在地爬梳了來自生產級別AI畫圖平台的兩萬多條真實用戶請求。這相當於他們坐在一個巨大的"用戶需求資料庫"里，逐條翻閱用戶到底想讓AI畫什麼。
翻完之後，他們總結出了十二類讓AI畫圖工具頻繁"翻車"的請求類型。這十二類可以用一個統一的邏輯來理解：用戶想要的，恰恰是AI在訓練時沒見過、或者見過但記不住的東西。
第一類是"時效性強的近期事件"，比如"畫出2025年大阪世博會的官方吉祥物擺出官方造型"。世博會吉祥物是在AI訓練結束之後才發布的，AI不可能知道它長什麼樣。第二類是"當下實時資訊"，比如"把當前世界盃小組賽積分榜做成一張記分板圖形"。AI不聯網，根本不知道今天的比賽結果。第三類是"特定角色與IP"，比如"畫《崩壞：星穹鐵道》里的鏡流揮舞冰劍"——這個角色有極其精確的視覺設定，稍有偏差就會被玩家一眼看穿。第四類是"概念與符號"，比如"不丹國旗上的龍紋設計要畫準確"——國旗圖案有嚴格的規範，AI畫出來的版本往往似是而非。
除了這四類，還有歷史與事實類（比如"畫出溫泉關戰役中斯巴達人使用的歷史真實青銅盔甲"）、文化特異性類（比如"畫出瓦哈卡傳統彩繪龍紋怪獸玩具"）、視覺界面類（比如"畫出iOS 17天氣應用顯示雷暴動畫時的截圖"）、數據可視化類（比如"做一張中國朝代年表，包含準確的年份和開國皇帝"）、文字與字體類（比如"做一張新藝術運動風格的音樂會海報，字體要符合那個時代"）、複合類（比如"用阿茲特克風格資訊圖解釋DNA複製過程，要有準確的步驟標註"）、模糊抽象類（比如"畫出在日本小城鎮雨天下午的懷舊感"）以及隱式推理類（比如"畫一個宮崎駿電影風格的溫馨山間小屋內景"）。
研究團隊還做了一項統計，結果相當震撼：在他們整理出的三萬一千多個獨特視覺實體中，有93.1%只在整個數據集裡出現過一次。換句話說，絕大多數用戶想畫的東西，都是極度"長尾"的稀有需求。沒有任何AI訓練集能窮盡這些需求，搜索工具從根本上就是不可或缺的。
此外，每個提示詞平均包含5.2個"知識缺口"——也就是說，AI平均需要在5個以上的地方"補充外部知識"才能畫准。90.5%的提示詞同時包含三個以上的知識缺口。這意味著用戶的需求往往是多層次的複合需求，而非單一的簡單要求。
二、一場專門揭穿AI短板的考試
為了系統地衡量這個問題有多嚴重，研究團隊專門構建了一套名為SEARCHGEN-20K的數據集和配套的SEARCHGEN-BENCH基準測試。這套數據集包含兩萬多個提示詞，橫跨二十二個領域，覆蓋上述十二類失敗模式，並且是雙語的——58%為英文（平均266個字符，偏向詳細描述），42%為中文（平均89個字符，偏向簡潔隱含），真實反映了跨語言用戶的不同提問習慣，而非簡單翻譯。
每個提示詞都配備了3到10個"核查清單"——也就是一組具體的是非題，比如"角色的臉部特徵是否與目標人物相符"、"服裝是否與1970年代農村場景匹配"。這些清單讓評分可以完全自動化，不再依賴人工逐張檢查。
評分體系分為兩大類。第一類是"知識敏感型"指標，專門衡量AI有沒有畫出正確的知識內容，包括核查清單得分、類別專屬評分維度、提示詞忠實度、視覺參考相似度以及文字知識準確度。第二類是"渲染質量型"指標，衡量圖片本身畫得好不好，包括畫面清晰度、文字渲染、AI痕跡自然度、構圖美感以及物理合理性。這種分法的用意很明確：把"不知道該畫什麼"和"不會畫"這兩種不同的失敗原因徹底區分開來。
測試結果令人咋舌。在不需要外部知識的"參數型提示詞"上，無論是開源模型還是商業系統，得分都集中在63到75分之間（滿分100），大家旗鼓相當。但一旦切換到需要外部世界知識的提示詞，開源畫圖模型的得分全部崩塌到21到28分的區間，而像GPT-Image-2這樣背後集成了實時搜索的商業系統幾乎沒有下滑。這個落差高達40分，而且這種差距在現有的任何其他基準測試中幾乎都是看不見的——因為其他測試根本就不測這類內容。
最關鍵的發現在於：知識敏感型指標（如核查清單得分）在開源模型上急劇下滑，而渲染質量型指標（如物理合理性、畫面清晰度）卻依然保持在相對較高的水平。這直接證明了：模型不是不會畫，而是不知道該畫什麼。
三、搜索看起來是解藥，但直接用會適得其反
既然問題出在"不知道"，那最直覺的解決方案就是：給AI配一個搜索工具，讓它在畫圖前先查一查。研究團隊把這種方式叫做"主動式視覺生成"——AI不再是孤立地根據提示詞作畫，而是像一個會查資料的助手，先搜集資訊和參考圖片，再動筆。
然而，研究團隊的實驗結果揭示了一個讓人哭笑不得的現象：不加區別地搜索，反而會把事情搞砸。
他們測試了兩種策略。第一種叫"盲目搜索"——對每一個提示詞，不管AI知不知道，都去搜索一番，把搜到的內容塞給AI參考。第二種叫"有選擇的搜索"——讓一個強大的視覺語言模型判斷哪些提示詞真正需要搜索，再決定是否搜索。
結果顯示，在那些AI本來就能處理得很好的提示詞上，盲目搜索讓Qwen-Image-2的得分從70.7分跌到60.4分，相對損失超過14%。搜索非但沒有幫忙，反而把AI原本正確的"內部知識"給覆蓋掉了。
研究團隊把這種現象歸納為兩種結構性失敗。第一種叫"概念污染"：搜索觸發了一個AI本來就能正確處理的提示詞，返回的參考圖片反而覆蓋掉了AI正確的內部知識，導致最終生成的圖片反而畫錯了。第二種叫"複製效應"：參考圖片裡的資訊太多，AI不加辨別地全部照單全收，最終輸出的圖片看起來像是對參考圖的直接複製，而不是一幅真正根據需求創作的新畫。
這兩種失敗模式說明一個道理：搜索本身不是問題，問題在於**什麼時候搜**和**怎麼用搜到的東西**。這就像廚師做菜——菜譜上有的食材，你不需要去市場臨時採購，強行採購反而打亂了既有流程；而對於菜譜上沒有的稀缺食材，不去採購就根本沒法做出這道菜。更關鍵的是，買回來的食材也需要經過篩選和加工，不能直接整個丟進鍋里。
四、知識邊界：AI"已知"與"必須查"的分水嶺
為了從理論上釐清這個問題，研究團隊引入了一個核心概念——"知識邊界"。這個概念是整篇論文最精髓的洞見，理解了它，就理解了整套方法的邏輯。
知識邊界的意思是：對於任何一個特定的AI畫圖模型，世界上所有的知識都可以被分成兩類。第一類是"可內化知識"——這些知識通過訓練可以被AI吸收進參數裡，下次不需要搜索就能直接用。比如，某個角色的標誌性外觀，一旦AI在足夠多的數據和專項訓練之後，就能記住並復現，搜索就變得多餘了。第二類是"必須依賴外部上下文的知識"——這些知識無論怎麼訓練都不可能完全內化，因為它們要麼是AI訓練截止日期之後才發生的新事件，要麼極其罕見根本沒有足夠的訓練數據，要麼是需要實時更新的動態資訊。對於這類知識，搜索是結構性必需的，沒有替代品。
這條分界線有兩個重要特性。第一，它是**模型專屬的**——不同的AI模型，知識邊界的位置不一樣。對一個弱模型來說需要搜索的內容，對一個強模型來說可能已經內化了，不再需要搜索，甚至搜索反而有害。第二，它是**動態變化的**——隨著AI模型被訓練得越來越好，知識邊界會向外擴張，越來越多的知識從"必須查"變成"已經知道"。
這意味著，一個為弱版AI模型設計的搜索策略，直接用到強版AI身上可能反而會變差。這就是為什麼"讓AI自己學會什麼時候該搜、什麼時候不該搜"比"設計一個固定的搜索觸發規則"要重要得多。
五、三道關卡：讓搜索變得智能而非添亂
基於對知識邊界的理解，研究團隊設計了一套叫做"噪聲抵抗型主動推理器"的機制，本質上是一個在AI畫圖之前運行的三階段決策流程，就像一位經驗豐富的研究助手，在把資料遞給畫師之前，先經過三輪嚴格篩選。
第一道關卡叫"門控"。推理器接到用戶提示詞後，首先判斷這個提示詞裡有哪些AI可能不知道的知識缺口，並為每個缺口評定嚴重程度（關鍵、重要、一般、輕微）。只有被評為"關鍵"或"重要"的知識缺口，才會觸發搜索；其餘的直接跳過。同時，推理器還會判斷每個缺口需要的是圖片搜索還是網頁文字搜索，因為有些知識缺口需要看圖（比如角色外觀），有些需要看文字（比如歷史年表數據）。如果沒有任何缺口達到觸發門檻，整個搜索流程直接跳過，發出"無需搜索"的指令。
第二道關卡叫"過濾"。搜索執行完畢後，返回的結果往往是一堆圖片或網頁，質量參差不齊。這一階段的任務是從中挑選出最直接填補知識缺口、同時帶有最少無關內容的那一份。研究團隊發現，這一步對於減少"複製效應"至關重要——通過篩掉那些內容過於豐富、容易讓AI照單全收的參考資料，只保留真正有針對性的內容。
第三道關卡叫"整合"。即便經過篩選的參考圖片，也不能直接原封不動地丟給AI——因為AI會把圖片裡所有的視覺資訊都當成指令來執行，包括背景顏色、燈光方向、構圖方式這些跟用戶需求毫無關係的細節。整合階段的做法是：推理器用自然語言把參考圖片裡"有用的部分"明確說出來，比如"參照圖1中角色的青金色長袍款式，但不要複製圖1的背景和光線"。這樣，AI得到的不是一張"原始參考圖"，而是一段精確指令，告訴它從參考資料里借鑑哪些、忽略哪些。這條路徑把視覺知識轉換成了語言知識，從根本上切斷了"複製效應"的來源。
六、先教會它，再告訴它去查什麼
光有這三道關卡還不夠。研究團隊提出的更深層解法是一套"協同訓練"框架，用一句話概括就是：**先讓畫圖AI學會它能學會的，再讓搜索推理器學會只查AI學不會的**。
訓練過程分為三個階段，依次遞進。
第零階段是"有監督的熱身"。研究團隊首先收集了約一萬條專家標註的"推理軌跡"——每條軌跡記錄了推理器在面對某個提示詞時，三道關卡分別應該怎麼處理。用這些數據對Qwen3-VL-8B（一個八十億參數的視覺語言模型）進行微調，讓它學會按照正確格式執行三階段流程。但此時的推理器是"模型無關"的——它不知道具體跟哪個畫圖模型配合，只知道一般性原則。
第一階段是"教會畫圖AI能內化的知識"。熱身好的推理器開始為訓練集中的提示詞執行搜索，生成包含參考圖片和文字知識的"增強版提示詞"，然後餵給畫圖AI（比如Flux.2-Klein-4B，一個四十億參數的流程匹配模型）。畫圖AI針對每個提示詞生成多張候選圖片，由Gemini-3-Flash評分，然後用"直接偏好優化"（DPO）方法，用評分最高和最低的那對圖片來訓練畫圖AI，讓它朝著更好的方向進步。
經過這一階段，畫圖AI擴展了自己的知識邊界——那些之前需要搜索才能畫對的概念，現在已經被吸收進參數裡，不再需要搜索了。研究團隊用一個累積分布圖直觀證明了這一點：經過DPO訓練的畫圖AI，在不藉助任何搜索的情況下，得分分布整體向右移動，意味著更多的提示詞被模型自身處理得很好。這個"向右移動的區域"，就是被內化的新知識。
第二階段是"重新校準推理器：只查AI還不會的"。畫圖AI的知識邊界已經擴張了，但推理器還不知道這件事，它還在按照之前的老策略觸發搜索，包括那些畫圖AI現在已經會了、不需要搜索的提示詞。這時需要對推理器重新校準。方法是"拒絕採樣微調"（RFT）：讓推理器對大量提示詞分別執行和不執行搜索，把兩種結果都送給升級後的畫圖AI生成圖片，評分比較，只保留那些"搜索確實帶來了改善"的推理軌跡來訓練推理器。這樣，推理器就從數據里自動學到了"對於這個已經變強的畫圖AI，哪些提示詞還需要搜索，哪些已經不需要了"。
整套訓練流程的計算成本並不高。推理器訓練階段只需要8塊英偉達
H20顯卡運行約4小時，畫圖AI的DPO階段則是8塊H20運行24小時，總計約256個GPU小時。對於學術研究團隊來說，這個門檻是可以接受的。
七、實驗結果：一步步向上爬的成績單
研究團隊用SEARCHGEN-BENCH對整套框架進行了全面測試，並對兩個結構差異明顯的開源畫圖模型——Flux.2-Klein-4B（一個流程匹配模型）和Bagel-7B（一個統一視覺語言模型）——分別做了實驗，以排除結果只對特定模型架構有效的可能性。
測試結果驗證了三個關鍵預測。
第一，得分單調遞增——訓練的每一步都在進步，沒有任何退步。對於Klein-4B來說，第零階段（盲目搜索）得分為26.4分，第一階段（畫圖AI經過DPO升級）提升到29.2分，第二階段（推理器重新校準）進一步提升到31.8分。更值得注意的是，31.8分已經略微超過了用Gemini-3-Flash這個萬億級參數商業模型作為推理器時的31.2分上限。這意味著，一個針對特定畫圖模型精心校準的8B推理器，可以超越一個通用的超大規模推理器。Bagel-7B也呈現出相同的遞進趨勢。
第二，改善是有選擇性的——推理器學會了在不需要搜索的提示詞上主動克制。在那100個"本來就不需要搜索"的提示詞上，第二階段的Klein-4B-DPO搭配重新校準的推理器得分為56.9分，比不搜索的基準線49.9分高出了整整7分。這說明推理器不僅學會了什麼時候要搜，也學會了什麼時候不要搜，並且在判斷"不搜索"的提示詞上，有時候善用搜索工具仍然能帶來額外增益，而不是盲目搜索造成損害。
第三，搜索策略是畫圖模型專屬的——把針對Klein-4B-DPO校準的推理器，拿去配Klein-4B（未升級版本），得分從31.8分跌回26.8分。這直接證明了知識邊界是"模型與推理器共同決定的屬性"，而不是提示詞的固有屬性。推理器必須知道它在跟哪個版本的畫圖AI合作，才能做出正確的搜索決策。
除了這套方法本身，研究團隊還做了一件對整個領域有實際價值的事：他們把整套數據集、訓練軌跡和搜索結果全部打包成離線可回放的"研究工具箱"對外發布。其中包括兩萬條提示詞、9萬多條推理軌跡、近28萬張生成圖片，以及14萬多條已經緩存完畢的搜索會話。研究者可以在完全不依賴付費搜索API的情況下，重現所有實驗，極大降低了後續研究的門檻。
說到底，這項研究揭示的核心是：AI畫圖工具的失敗，往往不是因為不會畫，而是因為不知道該畫什麼。世界是不斷變化的，新角色、新事件、新符號每天都在湧現，任何固定的訓練集都永遠追不上這個速度。通過讓AI學會"主動知道自己不知道什麼"，並在恰當的時候去查，再通過協同訓練讓搜索邊界隨著模型能力的提升而動態調整，這套框架提供了一條讓AI畫圖工具變得更"知情"的可行路徑。對普通用戶來說，這意味著未來那個"信心滿滿畫錯冷門角色"的場景，有望越來越少出現——前提是這套機制能被更廣泛地集成到實際產品中。有興趣深入探索的讀者，可以通過arXiv編號2607.05382查閱完整論文。
Q&A
Q1：SEARCHGEN-BENCH和現有的AI畫圖評測標準有什麼區別？
A：現有的AI畫圖基準測試（如GenAI-Bench）主要測試AI在"已知概念範圍內"的構圖和理解能力，不測試AI對於訓練集之外知識的掌握程度。SEARCHGEN-BENCH專門針對那些需要外部世界知識才能正確畫出的提示詞，比如最新發布的吉祥物、冷門遊戲角色、歷史精確細節等，因此能暴露出現有基準完全看不到的40分左右的性能差距。
Q2：協同訓練中的"知識邊界"會隨著AI模型升級自動更新嗎？
A：不會自動更新，需要重新做第二階段的推理器校準訓練（RFT）。研究的核心發現之一就是：當畫圖AI通過DPO訓練擴展了知識邊界之後，原來配套的搜索推理器會變得"過度搜索"，因為它還不知道畫圖AI已經學會了哪些新內容。每次畫圖AI升級後，需要重新收集搜索與不搜索的對比數據，篩選出有效軌跡，再對推理器進行一輪微調，整個校準過程大約需要32個GPU小時。
Q3：為什麼盲目給AI提供搜索結果反而會讓生成質量變差？
A：研究團隊發現了兩種主要的失敗機制。一是"概念污染"：當AI本來就知道怎麼畫某個概念時，搜索返回的參考圖片會覆蓋AI正確的內部知識，導致畫出錯誤的版本。二是"複製效應"：參考圖片攜帶了太多無關資訊（比如背景、光線、構圖），AI會不加辨別地全部照搬，輸出的圖片變成了對參考圖的濾鏡版複製，而不是真正的創作。這兩種問題都需要通過"門控—過濾—整合"三階段流程來解決。
