這項研究由上海人工智慧實驗室聯合中國科學技術大學、浙江大學和上海交通大學共同完成，於2026年7月發表，論文編號為arXiv:2607.09657，有興趣深入了解的讀者可通過該編號查詢完整論文。
你有沒有想過，當一台AI在學習物理課本時，如果只給它看課本上的文字，而把所有圖表、公式排版、示意圖統統扔掉，它還能學得好嗎？多年來，訓練大型AI語言模型的標準做法，恰恰就是這麼幹的——把一本本科學文獻的PDF轉換成純文字，然後餵給AI。這篇研究的出發點，就是質疑這個幾乎從未被人挑戰過的默認假設。
研究團隊將他們的方法命名為"視覺預訓練"（Visual Pretraining，簡稱VP），與之對應的傳統方法叫"文字預訓練"（Text Pretraining，簡稱TP）。他們的核心發現是：在完全相同的文獻素材上，直接讓AI"看圖"學習，比先把圖轉成文字再讓AI讀文字，效果更好，而且還更省資源。這聽起來幾乎像是一個反直覺的結論——畢竟AI語言模型不是一直都在處理文字嗎？但實驗數據相當清晰地指向了同一個方向。
一、科學論文裡藏著文字無法還原的知識
考慮這樣一個場景：你拿到一篇量子力學論文的PDF，然後用軟體把它轉成純文本。原本整齊排列、層次分明的數學公式，可能變成了一串混亂的字符；原本一目了然的能級躍遷示意圖，徹底消失了；原本通過圖表對比呈現的實驗數據，變成了零散的數字。這種轉換是有代價的——而且代價不小。
認知科學領域早就有研究指出，人類在思考時，不只依賴語言，還大量依賴圖形、空間布局和符號拓撲結構。一個物理學示意圖的價值，並不僅僅在於圖旁邊的文字說明，而在於它所呈現的幾何關係、因果箭頭、變量之間的視覺關聯。當你把這張圖轉換成文字時，這些關係就像沙堡遇上海浪，大部分都消失了。
研究團隊將這種現象稱為"文字化損失"。科學論文中的視覺元素——公式的排版方式、表格的結構、圖示的空間組織——本質上是對知識的另一種編碼方式，與文字編碼是互補的，而非冗餘的。現有的AI訓練流程，卻把這一整套互補編碼直接丟棄了。
與此同時，機器學習領域近年出現了一個叫做"柏拉圖表徵假說"的理論，大意是說：不同的AI模型，無論是處理文字的還是處理圖像的，它們內部對世界的表徵方式，最終會趨向於某種共同的底層結構。這個理論暗示，圖像和文字其實在描述同一個現實，而從圖像中學習，理論上可以獲得與從文字中學習互補的知識。視覺預訓練正是在這個思路上邁出了實踐的一步。
二、同樣的論文，一個讀文字，一個看原圖
為了公平比較，研究團隊精心設計了一個"同源對照"實驗。他們準備了一批科學PDF文獻，然後走兩條路：第一條路，用MinerU2.5這款文檔解析軟體把PDF轉成文字，大約得到800億個文字詞元（可以粗略理解為800億個"字"），然後用這些文字訓練AI；第二條路，把完全相同的PDF頁面直接渲染成圖片，過濾掉空白邊距等無效區域，只保留有實際內容的"前景圖塊"，大約只得到200億個視覺詞元，然後用這些圖像內容訓練AI。
兩條路使用完全相同的文獻素材，使用完全相同的基礎AI模型作為起點，使用完全相同的後續微調步驟，唯一的區別就是：一個AI學的是文字，另一個AI學的是原始圖像。
這種精心設計的對照，確保了實驗結論的乾淨：任何性能差異，都只能歸因於"表徵方式"的不同，而不是學習材料的不同。
在訓練過程中，視覺預訓練的具體機制是這樣運作的：凍結的視覺編碼器（可以理解為AI的"眼睛"，在訓練過程中不被修改）把每一張文檔圖片轉化為一系列視覺特徵向量（可以理解為對圖像各個區域的數字描述）。然後，AI語言模型的主體通過一個叫做"下一個視覺潛變量預測"的任務來學習：給定前面若干個圖像區塊的特徵，預測下一個圖像區塊的特徵。這個任務的邏輯，與語言模型預測下一個詞的邏輯完全一致，只不過預測的對象從離散的文字變成了連續的視覺特徵向量。
具體的損失函數採用了一種叫做InfoNCE的對比學習目標：在一批預測結果中，每個預測都要與它對應的真實下一個視覺特徵儘量靠近，同時與批次中其他無關的視覺特徵儘量遠離。這就像一道選擇題，AI不只要說出正確答案，還要同時否定所有干擾選項。整個訓練過程中，語言模型主體、視覺投影模組和預測頭都在更新，而視覺編碼器始終保持凍結，為AI提供穩定的視覺特徵"靶標"。
訓練時，文字學習和視覺學習是交織進行的，最終的損失函數是兩者的加權和，兩個權重都可以調整，相當於在說："同時從文字和圖像中學習，各自占一定比重。"
三、實驗結果：視覺預訓練在四款頂級AI上全面領先
研究團隊在四款當前最先進的大型AI模型上進行了測試，覆蓋了兩類架構：原生多模態模型（Qwen3.5和Llama 3.2 Vision，本身就能處理圖像）和純語言模型（Qwen3和Llama 3.1，本身只處理文字）。測試的評測基準涵蓋了四個方向：MMLU-Pro（考察跨學科知識廣度）、GPQA Diamond（研究生級別的科學推理，號稱"谷歌防作弊問答"）、AIME 2025（美國數學邀請賽，考察高難度數學推理）和HLE（人類最後考試，考察極端困難的多步驟推理）。
所有測試都以文字形式進行，也就是說，最終評測時AI讀的是文字題目，輸出的是文字答案。這一點非常關鍵：視覺預訓練提升的是AI的語言推理能力，而不只是讓AI更善於理解圖片。
結果顯示，在Qwen3.5這款多模態模型上，視覺預訓練相比文字預訓練，GPQA Diamond提升了3.05個百分點（從76.24到79.29），MMLU-Pro提升了1.18個百分點（從83.91到85.09），AIME提升了0.63分（從89.58到90.21），HLE提升了0.97個百分點（從15.70到16.67）。在Llama 3.2 Vision上，GPQA提升了2.84個百分點（從30.24到33.08），AIME提升了4.79分（從13.75到18.54），提升幅度尤為顯著。在兩款純語言模型上，同樣呈現了一致的提升趨勢，Qwen3的GPQA從74.94提升到77.08，Llama 3.1的GPQA從43.88提升到47.10。
HLE這個基準的提升幅度相對最小，研究團隊對此給出了合理解釋：HLE的難度主要來自極端複雜的多步驟推理，而不是依賴科學文獻中的視覺知識。換句話說，視覺預訓練主要幫助AI獲取那些被文字轉換丟失的知識，而不是憑空增強推理深度。
四、只用四分之一的詞元，效果卻更好
除了性能提升，研究團隊還發現了一個令人意外的效率優勢。回憶一下前面說的：文字預訓練用了約800億個詞元，視覺預訓練只用了約200億個詞元，後者的詞元用量僅為前者的四分之一。儘管如此，視覺預訓練的性能卻全面超越了文字預訓練。
這種效率差異從哪裡來？核心原因在於，科學文檔的視覺表示本身就是一種高度壓縮的資訊編碼。一張展示實驗結果的圖表，可能只占幾百個視覺圖塊，但如果要把圖表中的所有資訊完整地用文字表達出來，需要幾段乃至幾頁文字。視覺預訓練直接對這種高密度編碼的原始形式進行學習，不需要先把資訊"解壓"成文字再學習，節省了大量詞元預算。
研究團隊還做了更細緻的消融實驗，探究視覺詞元數量和圖像渲染解析度對性能的影響。在視覺詞元數量方面，他們測試了從0.25倍到4倍的預算範圍，發現1倍設置（每批次保留8192個前景視覺詞元）是性能最優的甜蜜點。過多的視覺詞元反而會因為對比學習中批次內負樣本數量增加、有效梯度尺度改變等優化層面的原因，導致性能略微下降。在圖像解析度方面，他們發現即使把最大解析度從1120降低到560，性能損失也非常有限，視覺預訓練在低解析度下仍然明顯優於文字預訓練。這進一步說明視覺預訓練的優勢來自對文檔結構的整體理解，而非對像素細節的死記硬背。
研究團隊還繪製了性能隨訓練詞元數量增加的變化曲線，發現視覺預訓練的收益增長速度明顯快於文字預訓練。具體而言，以文字預訓練相對基線的提升為參照，視覺預訓練在MMLU-Pro上達到了1.27倍的歸一化增益，在GPQA上達到2.02倍，在AIME上達到2.88倍。也就是說，用更少的詞元，獲得了更陡的學習曲線，這在AI訓練中是相當罕見的特質。
五、結構越密集，視覺預訓練越占優勢
研究團隊還做了一項頗有洞察力的分析：按照文檔頁面的"視覺結構密度"對評測樣例進行分類，然後分別統計不同密度下視覺預訓練相對文字預訓練的優勢大小。視覺結構密度簡單來說就是一個頁面上有多少公式、圖表、示意圖等非純文字內容，依照Masry等人的方法劃分為低、中、高三個層級。
結果非常直觀：在低密度（基本上是純文字頁面）的樣例上，視覺預訓練和文字預訓練的性能幾乎持平，差值約為-0.15，可以忽略不計。在中密度樣例上，視覺預訓練領先約2.86分。在高密度樣例（充滿公式、圖表、示意圖）上，視覺預訓練領先高達3.80分。
這個規律完美印證了研究的核心邏輯：文字轉換過程中丟失的，正是那些在視覺上有意義的結構——方程式的拓撲排列、表格的行列關係、圖示中的方向性箭頭。這些東西越多，文字化的損失就越大，視覺預訓練的優勢就越明顯。低密度頁面由於本來就以文字為主，文字轉換幾乎沒有損失，兩種預訓練方式自然不分伯仲。
此外，研究團隊還發現，視覺特徵預測的質量與下游任務的提升幅度之間存在明確的正相關：AI在預測下一個視覺圖塊特徵時越準確（用餘弦相似度衡量），最終在多模態評測基準上的性能提升也越大。這種聯繫說明，視覺空間的建模質量，是視覺預訓練能夠發揮作用的根本原因，而不是某種難以解釋的隨機現象。
六、沒有圖文配對標註，多模態能力也自然湧現
視覺預訓練還帶來了一個額外的驚喜：在完全沒有使用任何圖文配對標註數據的情況下，AI處理多模態任務的能力也提升了。這意味著，視覺預訓練的好處不僅僅停留在語言推理層面，還會滲透到AI理解圖像內容的能力中。
研究團隊從Qwen3.5模型中提取了100對科學文檔的圖像-文字配對樣本的內部表示，然後用多種指標衡量視覺表示和文字表示之間的"相容性"，也就是說，當AI處理同一篇文檔的圖像版本和文字版本時，它內部對這兩個版本的理解有多接近。
結果顯示，經過視覺預訓練之後，全局層面的"質心分離度"（兩種模態的平均表示之間的距離）從1.665驟降至0.661，降幅接近60%；配對樣本的餘弦相似度（同一文檔的圖像表示和文字表示有多相似）從0.631上升到0.907。結構層面，線性CKA（衡量兩種表示的幾何結構是否相似）從0.657上升到0.745。局部層面，互相最近鄰重疊度（同一文檔的圖像和文字在各自的"鄰居圈子"里有多少重合）在所有測試的k值下都顯著提升，在最嚴格的k=1設置下從0.140提升到0.310，翻了一倍有餘。這些數字共同描繪了一幅清晰的圖景：視覺預訓練重塑了AI內部的表示空間，讓圖像和文字的理解在某種共同的內部語言中更好地對齊了。
在多模態基準測試上，視覺預訓練同樣全面領先。以Qwen3.5為例，MMMU-Pro（多學科多模態理解）從基線72.14（文字預訓練）提升到73.87，SFE（科學家首次考試）從53.09提升到56.57，ChartQAPro（圖表問答）從56.42提升到61.80，MathVista（視覺數學推理）從85.50提升到86.70。文字預訓練在ChartQAPro上甚至出現了相對基線的退步（從57.99降到56.42），說明進一步的文字訓練反而無助於、甚至損害了對視覺密集型任務的處理能力，而視覺預訓練則恰恰在這類任務上優勢最為突出。
研究團隊還額外做了一項圖像到文字檢索的測試：給定一張文檔圖片，讓AI在100篇文檔文字中找出對應的那一篇。文字預訓練模型的R@1準確率（找到正確文檔的概率）為64%，而視覺預訓練模型的準確率躍升至99%。原來那種AI常見的"某些文字被當作萬能答案"的"樞紐現象"（少數幾篇文字不論輸入什麼圖像都容易被選中，因為它們的內部表示太中庸，所以與很多輸入都距離不遠），在視覺預訓練後幾乎消失了，說明AI內部的圖文對應關係變得更加精確和有區分度。
七、AI注意力揭示的視覺推理機制
研究團隊還做了一個定性分析，試圖理解視覺預訓練為何能幫助AI做數學題。他們取了同一道數學題，分別以純文字形式和圖像形式輸入到Qwen3.5，然後提取AI在生成最終答案時對前面內容的注意力分布——也就是說，AI在寫出答案的那一刻，最關注的是哪些部分。
在文字模式下，AI對原題的約束條件和中間計算步驟給予了高度關注，而對填充性文字幾乎不理會。在視覺模式下，AI的注意力集中在圖像中對應這些語義區域的位置——同樣是約束條件和中間計算步驟所在的區域，而非無關區域。兩種模態的注意力模式呈現出相當程度的對應關係，說明視覺預訓練讓AI學會了從文檔圖像中識別和關注推理所需的關鍵證據，與純文字推理時使用的證據在語義層面是對齊的。
研究團隊謹慎地指出，這個分析只是支持性證據，不能據此得出文字推理和視覺推理在內部使用完全相同機制的結論。但它至少說明，視覺預訓練確實讓AI在處理視覺文檔時，能夠把注意力引導到語義上有意義的位置。
八、是否需要像素級重建？答案是不必要
研究團隊還探索了一種"更強"的視覺預訓練變體：給AI加裝一個生成式解碼器，不只預測視覺特徵向量，還要把文檔圖像的像素完整地重建出來，從而獲得像素級別的監督信號。這個變體的邏輯很有吸引力——像素級監督更細緻，理論上應該讓AI學到更多細節。
然而結果卻出乎意料地讓人冷靜：加裝了生成式解碼器的版本，在語言推理評測基準上的性能，與不帶解碼器的簡潔版本基本持平，甚至在部分指標上略遜。而代價是訓練成本上升了約30%到40%，整個訓練管線也複雜得多（需要額外約3億參數的解碼器，以及額外的擴散風格潛變量損失和像素級MSE損失）。帶解碼器的版本達到相同收斂標準需要約1.4倍的訓練時間。
這個結論說明，對於下游語言推理任務而言，像素級的重建精度並不是AI需要從文檔中學習的關鍵。AI需要的是文檔的結構和語義，而這些在視覺特徵向量層面就已經被充分捕獲了，無需下沉到像素層面。這反過來也證明了簡潔版視覺預訓練的設計是合理的。
歸根結底，這項研究講的是一件相當反常識的事：當AI學習科學知識時，直接看原始文檔圖片，比讀從圖片裡提取出來的文字，學得更好，用的"字數"還更少。這個發現挑戰的，是整個AI大模型訓練領域多年來一個幾乎沒人認真質疑過的默認做法——把所有文獻都轉成文字再學習。
對普通人來說，這項研究最直接的意義或許是：未來的AI，在回答物理、化學、數學等科學問題時，可能會因為在訓練時"見過"而非"讀過"相關文獻，而給出更準確的答案。一個AI如果在學習過程中真正理解了一張物理示意圖的空間結構，而不只是讀了對這張圖的文字描述，它在面對類似問題時的表現理應更好——而這項研究的實驗結果，正是對這個直覺的系統性驗證。
當然，研究團隊也坦誠了幾個局限。視覺預訓練並非獨立於語言預訓練，它是在語言預訓練基礎上的補充延伸，而非替代。研究主要針對科學文獻這類知識密度極高、圖文緊密耦合的文檔類型，是否對自然照片、影片等更廣泛的視覺內容同樣有效，目前還不清楚。此外，視覺預測損失和文字損失之間的協調調度方式，也還有很大的探索空間。這些都留給了未來的研究去回答。
Q&A
Q1：視覺預訓練和傳統文字預訓練的根本區別是什麼？
A：傳統文字預訓練會先用工具把PDF文獻轉成純文本，再用這些文字訓練AI，這個過程會丟失公式排版、圖表結構、示意圖的幾何關係等視覺資訊。視覺預訓練則直接把PDF頁面渲染成圖片，過濾掉空白邊距後，讓AI通過預測下一個圖像區塊的視覺特徵來學習，從而保留了文字化過程中會丟失的結構性知識。兩者使用完全相同的文獻素材，差別只在於資訊的呈現形式。
Q2：視覺預訓練為什麼能提升AI回答文字問題的能力？
A：科學文獻中的很多知識本來就是通過視覺形式編碼的——公式的拓撲結構、圖表的因果關係、示意圖的空間組織。當這些內容被轉成文字時，這些關係大部分會丟失。視覺預訓練讓AI直接從原始圖像中學習這些結構性知識，相當於獲取了文字化路徑無法傳遞的資訊。實驗證明，在科學推理評測中，視覺結構越密集的題目，視覺預訓練的優勢越明顯，這直接支持了"是視覺結構知識起了作用"這一解釋。
Q3：視覺預訓練需要圖文配對的標註數據嗎？
A：不需要。視覺預訓練完全是無監督的，訓練過程中AI只看未加任何標註的原始文檔圖像，沒有人工標記的圖文對應關係，也沒有描述圖像內容的文字標籤。儘管如此，經過視覺預訓練後，AI處理多模態任務（如圖表問答、視覺數學推理）的能力也顯著提升，說明無監督的視覺學習自然地改善了AI內部圖像與文字表示的對齊程度。
