這項由華中科技大學電腦科學與技術學院、山東大學空間科學與工程學院以及清華大學電子工程系聯合開展的研究，以預印本形式於2026年6月29日發布在arXiv平台，論文編號為arXiv:2606.30124。感興趣的讀者可以通過該編號檢索完整論文。
科學示意圖對普通人來說也許有些陌生，但它其實是科學家們交流最重要發現的核心工具。一張好的科學示意圖，勝過千言萬語——它能展示蛋白質的空間摺疊方式、描述化學反應的逐步演變過程，或者直觀呈現某個物理現象背後的因果鏈條。然而，當今最先進的人工智慧圖像生成系統，儘管已經能夠畫出令人嘆為觀止的風景畫和人物肖像，卻往往在面對這類科學示意圖時頻頻"翻車"——畫出來的東西"看起來像那麼回事"，但仔細一看，裡面充斥著違反物理規律、化學定律甚至基本邏輯的錯誤。
這支研究團隊敏銳地察覺到這個問題，並深挖其根源：不是AI不夠聰明，而是它根本沒有經過正確的訓練——既缺乏足夠的高質量科學圖像數據，也沒有一套能真正檢驗"科學正確性"的評估工具。於是，他們構建了一套完整的解決方案，命名為SciIR，涵蓋訓練數據集SciIR-82k、評測基準SciIR-Bench，以及基於此訓練出的模型Qwen-Image-SciIR。
一、為什麼現有AI畫不好科學示意圖？
回到一個大家都能理解的場景：假設你請一位從未學過化學的朋友幫你畫一幅"氫原子與氧原子結合成水分子"的示意圖，他可能會畫出三個圓圈用線連起來，看上去像個分子，但也許氫氧之間的連接方式是完全錯誤的，或者電子軌道的方向畫反了。這就是現在的AI生成科學圖像時經常面臨的處境。
更進一步說，當前文本到圖像（Text-to-Image，簡稱T2I）模型的訓練數據，絕大多數來自網際網路上的普通圖片和描述，這些數據以"看起來好看"為優先目標，而不是"科學上正確"。一張山水畫畫錯了沒什麼大問題，但一張用於學術交流的蛋白質結構圖畫錯了，可能誤導整個研究方向。
研究團隊將這個問題拆解成三個互相關聯的瓶頸。第一個是數據瓶頸：高質量的科學圖像極為稀缺，因為標註這類圖像需要深厚的專業知識，現有數據集普遍缺乏對"視覺邏輯"的明確標註，AI因此沒有機會學習如何把文字描述準確映射到科學結構上。第二個是評估瓶頸：現有的評測框架根本無法衡量"科學正確性"，更關注圖像的布局和美觀，而非內在的科學邏輯，也沒有足夠細粒度的工具來診斷具體的錯誤類型。第三個是模型瓶頸：開源模型尤其缺乏專門的科學推理能力，在面對"反應的因果鏈條"或"分子拓撲結構"這類硬性約束時，往往生成出漏洞百出的幻覺內容。
這三個瓶頸環環相扣，共同構成了當前科學圖像生成領域的核心障礙。
二、用"符號學三角"重新定義科學圖像
研究團隊沒有簡單地收集數據、訓練模型了事，而是先從理論層面重新思考：科學圖像究竟在表達什麼？
他們借用了哲學家皮爾斯（Charles Sanders Peirce）在19世紀提出的"符號學三元組"理論。皮爾斯認為，人類使用的所有符號可以分為三類：圖像符號（Icon，通過相似性表達），指引符號（Index，通過因果或關聯性表達），以及象徵符號（Symbol，通過約定俗成的規則表達）。
研究團隊將這個哲學框架映射到科學圖像的三個核心維度上。第一個維度叫做"實體結構"（Entity Structure），對應圖像符號，關注的是科學實體的幾何形狀、空間排列和拓撲關係——比如蛋白質的摺疊形態，或者晶體結構中各原子的排列方式。第二個維度叫做"科學過程"（Scientific Process），對應指引符號，關注的是因果關係和時序演變——比如化學反應的步驟，或者細胞信號傳導的路徑。第三個維度叫做"科學定律"（Scientific Law），對應象徵符號，關注的是抽象規則的遵守——比如能量守恆定律、分子化合價規則等。
這個分類框架的意義在於，它不再把"科學正確性"當作一個模糊的整體概念，而是把它拆解成三個可操作、可驗證的子維度，為後續的數據構建和評估提供了清晰的架構。
三、SciIR-82k：八萬張科學圖像從哪裡來，怎麼處理的？
有了理論框架，下一步就是構建數據集。研究團隊面臨的核心挑戰是：如何獲得足夠多、質量足夠高的科學圖像，同時確保每一張圖都有完整的邏輯標註？
他們的解決方案是從《自然》（Nature）和《自然·通訊》（Nature Communications）這兩本頂級科學期刊中挖掘數據，僅選取採用CC BY 4.0開放授權協議的文章——也就是說，這些內容可以合法使用和共享。起始原材料約有36萬張原始圖像，來自大量開放獲取的學術論文。
但這36萬張圖像中，許多都是多面板拼圖（即一張大圖里包含多個子圖），研究團隊用一個叫做YOLO11的目標檢測模型自動識別並切割子圖，得到了數以十萬計的獨立子圖。隨後，每張子圖被統一調整為1024×1024像素的標準尺寸，並通過一種智能的邊緣填充算法來保持原始視覺效果，避免出現難看的白邊。
接下來是兩階段過濾流程。第一階段用一個強大的多模態視覺語言模型InternVL 3.5對圖像進行自動篩選，只保留真正意義上的"科學示意圖"，剔除照片、截圖、純文字圖、顯微鏡影像等無關內容。篩選標準非常嚴格：任何包含可辨認人臉或患者資訊的圖像都會被直接刪除。第二階段則是人工抽檢，研究團隊對"保留"分類的10%樣本進行人工覆核，如果錯誤率超過5%，就重新調整篩選提示詞。經過這兩輪過濾，最終得到超過8萬張高質量科學示意圖。
四、給每張圖裝上"推理大腦"：Sci-RCoT是什麼？
擁有8萬張圖還不夠，研究團隊真正的野心在於：給每張圖標註一套詳盡的"科學推理鏈"（Scientific Reasoning Chain-of-Thought，簡稱Sci-RCoT）。
什麼是推理鏈？可以用烹飪食譜來類比。普通的圖像描述就像只告訴你"這道菜是紅燒肉"，而推理鏈則像完整的食譜：為什麼要先大火爆炒、為什麼加生抽而不是老抽、為什麼要小火慢燉40分鐘——每一步背後的邏輯都清清楚楚。有了這樣的食譜，廚師（也就是AI模型）才能真正理解如何"復現"這道菜，而不是憑感覺亂做。
研究團隊採用"逆向工程"的思路來生成這套推理鏈。正常的圖像生成流程是：給定文字描述，推導出圖像；而他們反過來，從已有的高質量圖像出發，反推出"為什麼這張圖是這個樣子"的邏輯鏈條。
具體操作分三步。第一步，用Qwen3-VL模型對每張圖進行深度解析，將圖像中的資訊分解為兩類：一類是"術語"（Scientific Terms），即圖像中能辨識出的科學實體名稱和原理；另一類是"可視化描述"（Visualization），即每個術語對應的具體視覺呈現方式，比如形狀、顏色、空間位置和相互關係。這一步的優先級是：圖像中直接可見的資訊優先於圖注，圖注優先於正文，嚴格防止模型"腦補"圖中沒有的內容。第二步，用Qwen3-VL將這些分散的資訊單元整合成一段連貫的視覺敘述，這就是Sci-RCoT——它不是資訊的簡單堆砌，而是一套有內在邏輯的重建過程描述，將抽象的科學符號與具體的空間布局對應起來。第三步，用Qwen3-Max將詳盡的Sci-RCoT壓縮成一段精煉的"摘要提示詞"（Abstract Prompt），採用"術語替換"策略：用標準科學術語替換掉詳細的視覺描述，同時保留必要的文字渲染要求。
經過這套流程，最終產出的數據集中，每條樣本都包含原始圖像、精煉提示詞、完整Sci-RCoT，以及按照符號學三維度分類的標註標籤。從統計數據來看，Sci-RCoT的平均長度是對應提示詞的約2倍，說明它確實包含了大量額外的推理內容。
五、SciIR-Bench：科學圖像的"聯考卷"是怎麼設計的？
有了訓練數據，還需要一套嚴格的評測工具來檢驗AI到底"學沒學會"。研究團隊構建的SciIR-Bench包含800道精心挑選的測試樣本，其設計思路可以用"聯考卷"來類比：題目覆蓋面廣、難度分級明確、每道題都有客觀可驗證的標準答案。
測試樣本的篩選標準非常嚴苛。首先，所有候選樣本必須包含超過3個科學術語，確保語義內容足夠豐富。其次，每個樣本必須在前述三個符號學維度中至少有兩個維度涉及有效的推理路徑，確保測試的是"多維度推理"能力而非單一技能。通過這兩輪過濾，研究團隊再把剩餘樣本按照科學域的多樣性和推理難度進行均衡分配。
800個樣本被分成四組，每組200個。第一組要求AI同時滿足三個符號學維度的要求，這是最高難度的"全面推理"組。其餘三組分別測試兩兩維度的組合：實體結構與科學定律的交叉、科學定律與科學過程的交叉、實體結構與科學過程的交叉。這種組合設計的目的是檢驗AI面對來自不同維度的"相互衝突的約束"時，是否能夠整合處理。
在每組200個樣本內部，研究團隊還做了難度分層。100個樣本配有完整的Sci-RCoT作為輸入，用於測試"指令跟隨能力"——這些樣本的科學術語密度高於中位數，資訊高度飽和，如果只給精煉提示詞，AI肯定會遺漏大量關鍵細節，所以給它完整的推理鏈，看它能不能老老實實把每個細節都畫出來。另外100個樣本只配有精煉的摘要提示詞，用於測試"內在推理能力"——這些樣本的描述相對簡短，AI必須靠自己內化的領域知識來"腦補"合理的空間布局和因果邏輯，就像只告訴你"畫一幅DNA複製示意圖"，卻不告訴你每個步驟的細節，看你能自己畫到什麼程度。
六、評分機制：一票否決制，不搞平均分
評估方式同樣非常講究。傳統的圖像生成評分，無論是FID（弗雷歇初始距離，衡量生成圖像整體分布與真實圖像的差距）還是CLIPScore（用CLIP模型計算圖像與文字的相似度），都是在"整體感覺上評分"——有點像給一篇作文打"印象分"，哪怕裡面有幾個明顯的事實錯誤，只要文章寫得流暢，分數也不會太低。
SciIR-Bench採用的是截然不同的思路：原子化清單加一票否決制。
具體做法是：用Gemini-3-Pro根據每個樣本的推理內容生成一套二值化驗證問題清單，每個問題只針對一個單一的視覺屬性，比如"氫氣泡是否從陰極（而非陽極）冒出？"或者"CREB轉錄因子是否顯示為橙色橢圓？"每道問題只有"是"或"否"兩個答案。為了防止AI評判模型出現幻覺，還加入了"視覺證據檢索"環節：評判模型必須先在圖像中明確定位到被問到的元素，然後才能給出答案。
最終的評分採用嚴格的一票否決機制：對於某個特定維度（比如"科學過程"），一張生成圖像必須通過該維度下所有問題才算"有效"；只要有一個問題回答為"否"，這張圖在該維度的得分就是零。最終的分數是所有樣本中"有效樣本"所占的百分比。
為什麼要用這麼嚴苛的評分方式？因為科學圖像不允許"差不多對就行"。一張電解裝置示意圖，如果氫氣和氧氣的產生位置畫反了，哪怕其他所有細節都畫對了，這張圖也是錯誤的，會誤導讀者。科學圖像的邏輯是："全對才算對"，而不是"答對了80%就算過關"。
七、大規模評測：誰在科學圖像這條賽道上跑得最快？
研究團隊對12個主流文本到圖像模型進行了全面評測，結果揭示了當前領域的真實面貌。
閉源商業模型中，Nano-Banana-Pro的表現近乎碾壓——綜合得分高達95%，在科學定律、實體結構和科學過程三個維度上均接近滿分。這個成績證明了這類任務在技術上是可解的，但也暴露了一個殘酷事實：閉源頂尖模型與開源模型之間存在高達60%的巨大鴻溝。GPT-Image-1以62%排名第二，Seedream 4.5以55%位列第三，FLUX.1-Kontext-Max僅有22%，遠低於預期。
開源擴散模型中，Qwen-Image-2512以35%領跑，Flux-Dev只有9%，HiDream-L1-Full為13%，SD 3.5 Large僅有5%。開源自回歸模型的表現更慘：Show-o2-7B得了21%，BAGEL-7B-MoT只有2%，Janus-Pro-7B僅有1%。
有幾個有趣的細節值得特別關注。對於大多數模型（比如GPT-Image-1、Seedream 4.5）而言，在"指令跟隨"測試中的表現明顯優於"內在推理"測試，比如GPT-Image-1在指令跟隨下得82%，在內在推理下只有51%。這說明這些模型擅長按圖索驥，但如果只給它們一個籠統的科學名詞，它們並不能從內心深處"懂得"應該如何安排合理的布局和邏輯。然而，有些開源模型（比如Flux-Dev和Show-o2-7B）卻呈現出反直覺的相反趨勢：在"內在推理"測試中反而比"指令跟隨"表現更好。這並不是因為它們的推理能力更強，而是因為Sci-RCoT的細節過於豐富，超出了這些模型的處理能力，導致資訊"溢出"、屬性混亂，短提示詞反而讓它們少犯錯。
在文字渲染能力上，所有模型的得分都慘不忍睹：最好的開源擴散模型只有15%，自回歸模型最高只有8%。這說明無論是擴散模型還是自回歸模型，在精準渲染科學符號和公式方面，都存在根本性的局限。
為了驗證這套評估方法的可靠性，研究團隊請三位自然科學領域的研究生對200張隨機樣本進行人工評分，然後對比各種自動化指標與人工評分的相關性。結果顯示，原子清單方法與人類專家的皮爾遜相關係數（衡量線性關係強度的指標）高達0.692，肯德爾τ係數為0.596，斯皮爾曼ρ係數為0.683，均遠高於CLIPScore（0.345）、VQAScore（0.457）和VIEScore（0.412）。換句話說，基於嵌入的傳統指標只能捕捉到"表面的語義相似"，而忽略了細微但致命的科學錯誤，比如拓撲結構不可能性或因果關係顛倒。
八、從35%到43%：微調之後的進步意味著什麼？
研究團隊還基於SciIR-82k訓練了一個開源基準模型Qwen-Image-SciIR，將Qwen-Image-2512從35%提升到了43%，在科學過程維度提升了16個百分點，在實體結構維度提升了9個百分點。
這個模型的架構設計頗為精妙，體現了一種"分工協作"的思路。整個系統由兩個模組串聯組成。第一個模組叫做"推理規劃器"，是一個經過微調的Qwen2.5-7B-Instruct語言模型——它的職責是接收用戶輸入的提示詞，然後生成一段完整的Sci-RCoT，相當於一個"科學顧問"，先把要畫什麼、為什麼這麼畫想清楚。第二個模組叫做"視覺生成器"，是經過微調的Qwen-Image-2512擴散模型——它接收推理規劃器產出的Sci-RCoT，生成最終圖像。
推理規劃器使用LoRA（低秩自適應微調）技術，在所有線性變換層上注入可訓練參數，秩為64，縮放係數為16，學習率為1×10??，最大上下文窗口為2048個詞元。視覺生成器同樣使用LoRA，秩為32，學習率為1×10??，訓練解析度為1024×1024。兩個模組均只經過一輪訓練。
從定性比較圖可以看出，基礎版Qwen-Image-2512存在三類典型的科學幻覺錯誤：一是無法正確描繪科學過程的形態演變，比如神經元發育的形態變化只能用文字標註來敷衍，而非真正用圖形來呈現；二是形態和結構的遺漏或錯誤，比如生成出違反化合價規則的分子拓撲結構，或者在細胞截面圖中遺漏細胞核；三是違反領域先驗知識，比如錯誤地將電荷狀態標註到錯誤的粒子（電子、空穴和離子）上。經過SciIR-82k微調後，Qwen-Image-SciIR在這三類問題上都有明顯改善。
研究團隊還進行了消融實驗，分別去掉Sci-RCoT、推理規劃器和分類體系，驗證每個組件的貢獻。結果顯示，去掉任何一個組件都會導致最終分數下降，完整模型的43%是最優結果。
九、數據標註質量：人工抽檢的結果說明了什麼？
為了證明自動化標註流程的可靠性，研究團隊對SciIR-82k中的450個隨機樣本進行了人工驗證，由三位具有自然科學背景的研究生獨立評分，分別在"視覺忠實度"和"科學一致性"兩個維度上評分。
驗證結果顯示，推理提取環節的通過率為91.3%，只有1.3%的樣本存在"重大錯誤"；Sci-RCoT生成環節的通過率為86.0%，重大錯誤率為4.6%；摘要提示詞生成環節的通過率為89.3%，重大錯誤率為2.0%。這組數據說明整套自動化流程在總體上是可信賴的，雖然並不完美，但主要問題集中在輕微偏差而非根本性錯誤上。
研究團隊還對評測體系本身進行了穩健性分析，分別測試了不同評判模型（Gemini、GPT-5.5、Claude-4.6、Qwen3.5）和不同評分標準（嚴格一票否決、80%閾值、平均通過率）以及不同清單表述方式（原始版、重新排序版、違規聚焦版、精簡版）下各模型的排名變化。結果表明，儘管絕對分數有所變化，但各模型之間的相對排名基本保持穩定，說明評測結果具有較高的可重複性。
說到底，這項工作的核心貢獻並不在於提出了某個精妙的算法，而在於它為一個長期被忽視的問題建立了完整的基礎設施。現有AI畫科學圖像的問題，不只是"畫得不好看"，而是"畫得不對"——它可以把一張電解槽示意圖畫得栩栩如生，卻把氫氣和氧氣的冒泡位置搞反；它可以畫出令人嘆服的蛋白質形態，卻在分子連接處偷偷添加出化學上根本不可能存在的鍵。這種"外表精美、核心錯誤"的生成結果，在科學交流中是無法容忍的。
研究團隊自己也承認，SciIR-82k在數據來源上存在偏向——絕大多數圖像來自頂級期刊的標準化示意圖，非常規或非典型的科學圖示覆蓋不足；而SciIR-Bench也更注重科學正確性，對視覺美觀度關注較少。這些局限意味著後續還有大量工作可以延伸，比如引入更多元化的科學圖像風格，加入跨語言標註，以及探索符號約束、弱監督和對抗性檢驗等混合訓練策略。
對普通人來說，這項研究意味著：未來當你用AI生成一張科普文章的配圖，或者讓AI幫你解釋一個複雜的生物機制，那張圖不僅會畫得好看，還可能真的是"對的"。從看起來像科學，到真正是科學——這個差距，比很多人想像的要大，也比很多人期待的要近。
Q&A
Q1：SciIR-82k數據集和普通的圖像數據集有什麼本質區別？
A：SciIR-82k最大的不同在於它為每張圖像配備了"科學推理鏈"（Sci-RCoT），不只是描述圖像長什麼樣，而是解釋每個元素"為什麼這樣呈現"背後的科學邏輯。普通圖像數據集只是圖片加說明文字，SciIR-82k則像一套完整的食譜，把每一步的邏輯原因都寫清楚，讓AI能真正學會科學圖像背後的推理過程，而不只是模仿外觀。
Q2：SciIR-Bench的評分為什麼要用"一票否決制"而不是平均分？
A：因為科學圖像容不下"差不多對"。一張電解裝置示意圖如果把氫氣和氧氣的產生位置畫反了，哪怕其他所有細節都畫對了，這張圖在科學上就是錯誤的，會誤導讀者。平均分制度會掩蓋這類致命錯誤，讓"畫對了80%細節"的錯誤圖像也能得高分。一票否決制則要求每一個科學屬性都必須正確，更符合科學交流的真實需求。
Q3：Qwen-Image-SciIR模型和原始的Qwen-Image-2512相比，具體改進了什麼？
A：Qwen-Image-SciIR在原有基礎上增加了一個"推理規劃器"模組，在畫圖之前先生成一段完整的科學推理鏈，相當於給畫圖模型配了一個"科學顧問"。經過SciIR-82k微調後，綜合評分從35%提升到43%，科學過程維度提升最為顯著，達到16個百分點。最直觀的改變是，模型能夠正確描繪形態演變過程、避免化合價錯誤，以及準確區分不同粒子的電荷狀態，不再出現"看起來像科學卻違背基本定律"的幻覺內容。
