這項由哈爾濱工業大學、華為諾亞方舟實驗室及南開大學聯合開展的研究，以預印本形式於2026年6月29日發布在arXiv平台，編號為arXiv:2606.30054。感興趣的讀者可通過該編號檢索完整論文。
日常生活中，我們早已習慣了圖文並茂的表達方式。一本菜譜里，每個步驟配上一張圖；一本繪本里，每段故事配上一幅畫；一篇教學裡，文字和圖片交替出現，幫助你一步步完成操作。這種"圖文穿插"的敘事方式，對人類來說再自然不過，但對AI來說，卻是一道難以逾越的門檻。
目前，大多數AI要麼擅長"看圖說話"——給它一張圖，它能描述圖裡的內容；要麼擅長"文生圖"——給它一段文字，它能畫出對應的圖像。但如果你對AI說："給我講一個五章節的故事，每章配一張圖，而且圖與圖之間人物形象要保持一致，故事情節也要連貫"，絕大多數AI都會在這裡卡殼。
這個團隊研發的ILLUME-X，正是為了解決這個問題而生的。它的核心能力是"自由形式的圖文交織生成"——不限定輸入或輸出的順序，無論是先文後圖、先圖後文，還是圖文隨意穿插，ILLUME-X都能理解並生成，就像一位既能寫作又能繪畫的全能創作者，隨時切換角色，保持整體敘事的連貫性。
一、為什麼"圖文同時生成"比想像中難得多
要理解ILLUME-X的突破，先得明白問題的根源在哪裡。
把AI的能力比作一個廚師的技能。如果這位廚師只學過中餐，你讓他做義大利麵，他可能做不好；如果他只會炒菜，你讓他烤麵包，他也會犯難。現有的AI大多是這種"專科廚師"——要麼專精於理解視覺內容，要麼專精於生成視覺內容，極少有能在兩者之間自如切換，並且同時生成文字和圖像序列的。
更難的挑戰在於"穿插"這兩個字。不是簡單地生成一張圖、再寫一段話，而是要讓生成的第三張圖記住第一張圖裡的人物長什麼樣，要讓第五段文字和第三段文字在邏輯上保持因果關係。這要求AI在生成內容的過程中，始終保持一條貫穿全局的"記憶線"，而不是每次生成都從零開始。
目前已有一些研究在探索這個方向。一類做法是讓AI把文字和圖像都當成"詞語"來處理，一個詞一個詞地生成，就像寫文章一樣順序產出圖文混合內容，代表作有Emu系列和Chameleon等模型。另一類做法是把擅長生成高質量圖像的"擴散模型"（一種專門的圖像生成技術，原理是從噪聲中逐步"雕刻"出清晰圖像）與擅長處理語言的大模型結合起來，代表作有Transfusion、Show-o、BAGEL等。然而，這些方法大多缺乏系統性的評測，也沒有真正在"自由形式的N輸入到M輸出"這種最複雜的場景下驗證過效果。ILLUME-X的出現，正是為了填補這個空白。
二、ILLUME-X的"身體結構"：一個共用大腦的雙眼雙手系統
要理解ILLUME-X是如何工作的，可以把它想像成一個經過特殊訓練的全能助手，這個助手擁有兩套眼睛、一個共用大腦、兩雙手。
兩套眼睛分別負責不同層次的"看"。第一套眼睛叫ViT編碼器，專門提取圖像的語義資訊，也就是"這張圖在講什麼"——圖里有一隻貓、貓在椅子上、貓是橙色的。第二套眼睛叫VAE編碼器，專門捕捉圖像的低層次視覺細節，也就是"這張圖長什麼樣"——紋理、顏色的細微漸變、光影效果。兩套眼睛各司其職，共同給大腦提供豐富的視覺資訊。
共用大腦是一個基於Transformer架構的解碼器，可以簡單理解為：一個能夠處理超長混合序列的超級記憶體。它遵循MoT（Mixture of Transformers）設計思路——所有模組共享同一套注意力機制，但對文字和圖像分別使用不同的"處理通道"（專業術語是QKV投影和FFN，可以理解為大腦里處理不同資訊的專屬神經迴路）。這樣既保證了文字和圖像資訊能夠相互影響、共同理解，又避免了兩種資訊相互干擾。
為了讓這個大腦更穩定、更高效，研究團隊還在其中內置了幾項"穩定器"：RMSNorm負責讓各層信號保持在合理範圍內，防止資訊在傳遞過程中失真；QK-Norm負責讓注意力計算過程中的梯度更穩定，避免訓練崩潰；SwiGLU是一種激活函數，可以理解為讓神經元"開關"更靈活；RoPE是一種位置編碼方式，讓模型知道序列里每個元素的位置；Grouped-Query Attention則是一種內存優化技術，降低了推理時的計算壓力。
兩雙手分別負責兩種不同的"輸出"。生成文字時，模型用一種叫交叉熵損失的方式訓練，確保每個字詞的預測都儘量準確。生成圖像時，模型用一種叫整流流（Rectified Flow）的均方誤差損失來訓練，這是目前生成高質量圖像的主流技術之一，原理是讓模型學會從隨機噪聲出發，一步步修正，最終"雕刻"出清晰的圖像。
三、圖文穿插時的"注意力規則"：誰可以看誰
一個容易被忽視但極其關鍵的設計，是ILLUME-X處理長序列時的注意力機制。
當模型生成一段圖文交織的內容時，序列里有文字詞語、有視覺特徵、還有幾個特殊的"路標詞"——BOI（圖像開始）、EOI（圖像結束）和EOS（序列結束）。這些路標詞就像書里的章節分隔符，告訴模型"這裡一段圖像開始了"或"這段圖像到這裡結束"。
在注意力規則上，模型遵循一個"先來先到"的原則：任何位置的詞都可以回看它前面出現的所有內容，但不能"偷看"還沒生成的未來內容。這是保證自回歸（逐步生成）性質的基本要求，文字部分嚴格遵循這一規則。
圖像部分則有所不同：在一張圖像的範圍內，所有視覺特徵可以互相看到彼此（雙向注意力），因為一張圖的所有區域本來就是同時存在的，沒有先後之分。這就好比你在理解一張照片時，不需要從左到右逐像素閱讀，而是整體感知。
還有一個細節處理：VAE編碼器會同時產生"乾淨圖像特徵"和"加噪圖像特徵"。在生成下一組圖像時，為了避免噪聲資訊干擾判斷，模型會對"加噪圖像特徵"進行遮蔽處理——相當於只讓前面圖像的"清晰版本"參與後續生成，防止噪聲累積導致圖像質量越來越差。
四、告別"傻傻分不清"的引導方式：多層分類自由引導
在AI圖像生成領域，有一種叫"分類自由引導"（CFG）的技術，可以理解為"調味旋鈕"。生成圖像時，你可以通過調整這個旋鈕，讓生成的圖像更貼近你的描述。旋鈕擰得越大，圖像越忠實於文字描述，但可能略顯生硬；旋鈕不夠大，圖像可能天馬行空，與描述關係不大。
傳統圖像生成只需要一個旋鈕——畢竟條件只有文字描述一種。但在圖文穿插生成的場景里，條件變複雜了：既有文字描述（"畫一隻橙色的貓坐在紅色椅子上"），還有參考圖像（前面已經生成的圖像，提供了視覺風格和具體形象參考）。
ILLUME-X的解決方案是設置兩個旋鈕：一個叫文字引導係數（γ_txt），控制生成圖像對文字描述的服從程度；另一個叫圖像引導係數（γ_img），控制生成圖像對已有參考圖像的繼承程度。兩個旋鈕相互配合，既能保證新圖像符合文字要求，又能保證視覺風格和角色形象的跨圖一致性。
訓練時，研究團隊採用三種隨機策略：有時同時保留文字和圖像條件，有時只去掉文字條件，有時把文字和圖像條件都去掉。這種"隨機丟失"策略讓模型學會了在各種條件組合下都能正常工作，推理時就能靈活調節兩個引導係數來提升生成質量。根據消融實驗的結果，文字引導係數設為8.0、圖像引導係數設為1.0時，模型表現最佳。
五、訓練菜譜：分兩個階段"餵"出全能廚師
ILLUME-X的訓練分為兩個互補的階段，就像培養一個廚師，先讓他精通單個菜系，再讓他學會融合創新。
第一階段叫"情境內生成訓練"，專門使用情境圖像生成數據集。這個階段的目標是讓模型打好基礎——能夠根據已有的視覺情境，生成風格連貫的新圖像。這就像讓廚師先學會做標準菜，不求創新，但求穩定。這個階段還有一個重要作用：緩解後續訓練中"越生成越差"的問題。生成多張連續圖像時，模型容易出現"力竭"現象，第一張很好，第二張還行，第三張開始變差。通過情境內生成訓練，模型學會了始終保持生成活力。
第二階段叫"圖文交織聯合訓練"，混入了大量不同類型的數據：圖像理解數據、圖像生成數據，以及各種圖文交織任務數據。這個階段讓模型實現了"跨任務泛化"——不同類型的任務相互促進，理解能力的提升帶動生成能力，生成能力的精進又反哺理解能力。就像一位廚師在掌握單個菜系後，開始接觸各國料理，最終形成融會貫通的綜合廚藝。
六、一百萬條訓練數據是怎麼來的：三條數據製造流水線
ILLUME-X為了解決高質量交織數據稀缺的問題，自建了一套包含約10萬條高品質樣本的數據集，通過三條並行的數據製造流水線來生產。
第一條流水線從影片中"挖金礦"。影片天然包含了隨時間變化的連續視覺資訊，正是圖文交織數據的理想來源。但直接從影片中抽幀遠沒那麼簡單。研究團隊設計了一套多區間滑動窗口採樣策略：以不同的時間間隔（1秒、3秒、10秒）、不同的窗口大小（2幀、5幀、8幀）批量採樣，然後對採樣結果進行雙階段篩選。
美學篩選階段，用拉普拉斯方差（評估圖像清晰度）和MANIQA評分（一種無參考圖像質量評估指標）來過濾低質量幀，再用Qwen-3-VL-32B這個強大的多模態大模型
做高層語義判斷，排除內容不完整的幀。運動篩選階段，用RAFT光流估計算法計算相鄰幀之間的運動量，去掉運動量過低（說明場景沒變化）或運動方差過低（說明只是鏡頭平移，缺乏實質動作）的幀，再用DINOv2提取視覺特徵，過濾視覺差異太小的冗餘幀。
篩選完成後，再用Qwen-3-VL-32B對保留下來的幀進行三個層次的描述：全局描述，概括整段影片序列的敘事主線和因果邏輯；單幀描述，詳細記錄每幀的顏色、數量、形態、空間關係；跨幀描述，捕捉幀與幀之間的動作變化、表情變化、光線變化等細節。這三個層次的描述共同構成了每條數據樣本的文字部分。
第二條流水線叫"多步情境內生成"，利用先進圖像生成模型的情境學習能力來自動創建圖像序列。具體做法是：先讓GPT-5這樣的外部大模型扮演"導演"角色，根據一個種子提示詞規劃出整套內容藍圖，包括全局語義描述、每段文字描述和每張圖像描述。有了藍圖之後，第一張圖像直接從它的描述生成，隨後用Qwen3-VL-32B分析相鄰兩張圖之間需要發生哪些視覺變化，再把這些變化描述連同前一張圖一起餵給Gemini 3 Pro這樣的情境圖像生成器，產出下一張圖。如此疊代，形成一套內容連貫、視覺一致的圖像序列，配合全程生成的文字描述，構成完整的交織數據樣本。
第三條流水線叫"多輪自我反思數據"，靈感來自AI領域的"測試時擴展"和"自我修正"思路。先讓模型根據用戶指令生成初始版本的圖文內容，再用外部強力大模型（Gemini 3 Pro）扮演"評審"角色，檢查生成內容哪裡不符合指令要求、哪裡美學上有缺陷，然後把問題診斷和修改建議反饋給模型，讓模型進行多輪疊代修正，最終選出質量最高的版本留存。這種"生成-評審-修正"的閉環流程，確保了數據集中每條樣本的高質量。
七、用什麼標尺來量：ILScore評估體系的誕生
評測圖文交織生成能力本身就是一個難題。現有最常用的評測基準ISG-Bench有一個明顯的局限性：它的很多指標高度依賴輸出格式，一旦模型輸出的結構與預設模板不完全一致，評測機制就會失靈，導致分數嚴重失真。
為了彌補這個缺陷，研究團隊提出了ILScore這套新評估體系。ILScore從四個維度立體評估生成內容的質量，每個維度都通過調用外部多模態大模型來評分，評分範圍1到10分。
第一個維度是圖文整體準確性，評估生成的文字和圖像在整體上是否協調一致、邏輯連貫、回應了用戶的實際需求，以及是否有創意和原創性。第二個維度是單張圖像準確性，細化到每一張生成圖像的質量——核心對象是否正確出現、空間關係是否符合描述、顏色數量等細節是否忠實還原、圖像是否清晰符合常識、構圖色彩是否具備基本美感。第三個維度是圖像序列準確性，專門檢驗跨圖一致性——同一個角色或物體在不同圖像里是否保持相同的外貌，整體視覺風格是否統一。第四個維度是文字獨立準確性，單獨評估生成文字的語言質量，包括語法、表達流暢度、資訊完整性和邏輯性，完全不考慮與圖像的關係。
這四個維度相互補充，形成對生成質量的全面覆蓋：整體層面、單元層面、序列層面和文字層面各有側重，任何一個維度出問題都能被捕捉到。
八、實驗結果：ILLUME-X在對比中表現如何
研究團隊在多個維度對ILLUME-X進行了系統測試，結果整體令人振奮，也在某些細節上展現出客觀的得失分布。
在ISG-Bench這個業界最常用的交織生成基準測試上，ILLUME-X以6.26的平均分在所有統一模型中排名第一，大幅領先於Show-o（2.33）、Anole（2.81）、MiniGPT-5（2.79）等前輩，與需要多個專用組件協同工作的非統一智能體系統ISG-AGENT打平。這意味著一個統一模型可以達到專用系統級別的性能，這在此前很少被驗證。
在研究團隊自建的ILScore評測中，ILLUME-X以5.34的總分微弱領先於開源的Emu 3.5（5.33），並顯著超過商業閉源模型Gemini 3 Pro（4.84）。從具體任務來看，ILLUME-X在風格遷移、3D場景、圖像分解和視覺敘事四個類別中拿到最高分，展示了在結構性複雜任務上的優勢。
效率方面的對比同樣值得關注。Emu 3.5擁有340億參數，生成每張圖像平均需要約410秒；ILLUME-X採用7B+7B的參數架構（共約140億參數），生成每張圖像只需約81秒。以不足一半的參數量，實現了更高的質量，同時推理速度提升了5倍。
在更基礎的文生圖任務上，ILLUME-X同樣表現出色。在評測語義對齊能力的GenEval基準測試中，ILLUME-X獲得0.85的總分，超過了BAGEL（0.82）、OmniGen2（0.80）等模型，在顏色識別（0.92）和計數準確性（0.81）上表現尤其突出。在評測複雜場景合成能力的DPG-Bench基準測試中，ILLUME-X獲得86.38的總分，同樣排名第一，在屬性準確性（94.08）和實體識別（91.80）兩個子類別上領先所有對比模型。
當然，研究團隊也坦誠地指出了局限性：ILLUME-X目前的訓練和評測解析度固定在512像素，受限於模型架構和上下文長度，擴展到1024像素及以上的高解析度圖文交織生成仍然是一個待解的難題。
九、有了CoT，思考讓生成更聰明
在消融實驗中，研究團隊還測試了一個有趣的組合：讓模型在生成最終內容前，先進行"思維鏈推理"（CoT，Chain of Thought）——用自然語言先把即將生成的圖像"想清楚"，比如先描述一下場景、人物狀態、光線氛圍，再著手生成圖像。
這種"先想後做"的策略效果相當明顯。在視覺敘事任務上，加入CoT後得分從7.12上升到7.28；在圖文補全任務上，從5.69上升到5.91。從直覺上很好理解：讓模型先把"要生成什麼"想清楚，就像廚師在下鍋前先想好配方，生成的內容自然會更有條理、更符合預期。
從定性展示來看，有CoT支持的生成結果，在敘事連貫性和圖像與文字的對應關係上都明顯更好。以烹飪教學為例，有CoT的版本能夠清晰地區分每個步驟的關鍵視覺變化，生成的圖像能準確反映文字描述的操作細節；沒有CoT的版本則容易出現步驟混淆或圖像描述脫節的情況。
說到底，ILLUME-X做的事情，是把AI從"單科優秀"變成"全科均衡"。它證明了在一個統一框架內，理解和創作可以共存並互相增益，文字和圖像可以自由穿插，長序列生成可以保持連貫。更重要的是，它用約140億參數就做到了這一切，這在工程實踐上具有相當的現實意義。
當然，512像素的解析度上限是當前版本繞不開的約束。未來若想讓這套系統處理更高清晰度的圖文內容，或者更長的敘事序列，還需要在架構和訓練策略上進一步探索。但作為這個方向上系統性最完整的研究之一，ILLUME-X已經完成了一次有價值的里程碑式驗證。
有興趣深入了解技術細節的讀者，可以通過arXiv編號2606.30054查閱完整論文，或訪問論文中提供的GitHub倉庫獲取代碼和數據。
---
Q&A
Q1：ILLUME-X和普通的圖像生成AI（比如Stable Diffusion）有什麼區別？
A：普通圖像生成AI（如Stable Diffusion）只能根據文字描述生成單張圖像，屬於"單向、單輸出"模型。ILLUME-X的不同之處在於，它能同時處理多張輸入圖像和多段文字，並交替生成圖文內容。比如給它一張螞蟻的圖和一段故事開頭，它能繼續創作五個章節，每章配一張風格一致的插圖，而且各章節的螞蟻形象保持連貫。這種"多輸入多輸出、圖文自由穿插"的能力，是ILLUME-X區別於普通圖像生成工具的核心。
Q2：ILLUME-X訓練用的10萬條數據集是從哪裡來的？
A：研究團隊通過三條並行流水線自建了約10萬條數據。第一條從影片中提取關鍵幀並配上多層次文字描述；第二條用GPT-5規劃內容藍圖，再用Gemini 3 Pro逐步生成連續圖像序列；第三條讓模型生成初稿，再用Gemini 3 Pro擔任"評審"，反覆修正直到質量達標。三條流水線覆蓋了真實影片、合成序列和疊代精修三種數據來源，保證了多樣性和質量。
Q3：ILScore和ISG-Bench這兩種評測方法有什麼本質區別？
A：ISG-Bench是現有常用基準，但它的評分機制嚴重依賴模型輸出的格式是否符合預設模板，格式略有偏差就可能導致評分失效，結果不夠客觀。ILScore是研究團隊提出的新評測體系，通過外部多模態大模型從四個獨立維度評分：整體圖文一致性、單張圖像質量、跨圖序列連貫性、文字獨立質量。這四個維度各自獨立評估，不受輸出格式影響，能更全面、更穩健地反映模型的真實能力。
