這項由ServiceNow AI研究院聯合蒙特婁大學和Mila人工智慧研究所共同開展的研究，發表於2026年COLM（Conference on Language Modeling）會議，論文編號為arXiv:2607.10400v1，發布於2026年7月11日。有興趣深入了解的讀者可以通過該編號查詢完整論文。
今天的人工智慧模型處理文字已經越來越厲害，你隨手扔給它一段英文合同、一份財報、甚至一本教科書，它往往能給出像模像樣的回答。但有一類任務卻一直讓這些模型頭疼——那就是處理幾十上百頁、圖文表格混排的長篇文檔。比如一份五十頁的行業研究報告，裡面既有大段文字分析，又穿插著各種折線圖、柱狀圖、數據表格，還時不時會讓你在第3頁的圖表和第47頁的文字之間來回跳轉才能回答一個問題。
這種場景，才是真實世界文檔理解的日常。然而當研究人員想弄清楚，現有的視覺語言模型（也就是那種能同時"看圖"和"讀字"的AI）在這類任務上究竟哪裡做得好、哪裡徹底摔跟頭，他們卻發現手頭沒有合適的工具。現有的測試集要麼只有單頁文檔，要麼雖然文檔很長但各種難度因素混在一起，根本沒法說清楚模型到底是因為圖表沒看懂、還是因為證據分散在太多頁、還是因為問題本身太複雜才答錯的。
正是為了填補這個空白，研究團隊構建了一套名為SynthDocBench的全合成、可控基準測試——用中文直譯就是"合成文檔測試台"。這套測試台的特別之處，在於它能像控制實驗室實驗一樣，精確地調節文檔的長度、版式結構、內容模態（是純文字、還是圖表、還是兩者混合）以及問題難度，讓每個因素都可以單獨變化、獨立分析。研究團隊用它來考察了七款當前最前沿的視覺語言模型，結果發現了三種此前從未被系統揭示過的失敗模式。
以下內容將帶你走進這套測試台的設計邏輯和實驗發現，整個過程可以用一個核心比喻來理解：把測試模型的過程看作一場精心設計的"駕照考試"。不同於以往那種把考生直接扔進真實路況的考法，SynthDocBench像是一個標準化駕考場，每條測試路線的坡度、彎道、限速牌都經過精確標定，這樣才能準確判斷考生是不會上坡、還是不會轉彎、還是根本看不清路牌。
一、為什麼需要一個"標準化駕考場"？
現有的文檔理解測試集大多像是把考生直接扔進真實城市路況——文檔來自真實的PDF報告、學術論文、法律合同，問題由人工標註，每份文檔的版式、圖表密度、文字風格都不一樣。這種方式有其優點，因為它貼近現實。但當模型在這類測試上答錯時，你根本沒法確定原因：是圖表太複雜了？是證據離得太遠、橫跨了太多頁？是問題措辭有歧義？還是模型壓根沒在訓練數據里見過這種版式？
早在幾十年前，認知科學和NLP領域就發展出了一套解決這類困境的策略：合成數據。像bAbI任務集是專門用來測試語言推理基礎能力的程序化生成問題集，CLEVR數據集是用來測試視覺關係推理的合成圖像，PuzzleVQA則用抽象合成圖案來診斷多模態推理瓶頸。這些工具的共同哲學是：犧牲一點生態效度（即與真實世界的相似程度），換取更高的因果可歸因性。換句話說，駕考場裡的路線雖然比真實路況簡單，但正因為簡單且標準，才能精確診斷你不會的那個動作。
SynthDocBench把這一哲學帶進了長篇多模態文檔理解領域。所有文檔由程序化流水線從零生成，沒有任何一份來自真實世界，這就確保了研究人員可以精確控制每個變量，然後獨立分析每個因素對模型表現的影響。
二、這套"駕考場"是怎麼造出來的？
SynthDocBench的文檔生成過程分為三個緊密耦合的階段，可以理解為先搭舞台、再布道具、最後寫劇本。
搭舞台的階段，流水線從一個話題種子出發——比如"氣候變化政策"或"人工智慧在教育中的應用"——利用大型語言模型從與該話題相關的公開資訊中提取和重組內容，生成結構化的報告骨架，明確劃分章節邊界、標註哪些段落含有關鍵數據。
布道具的階段，系統為每份文檔選擇一種版式風格。研究團隊設計了六種版式原型，分別是雜誌風格（大幅封面圖、跨欄排版）、儀錶盤風格（KPI卡片、密集圖表網格）、學術風格（摘要框、編號章節）、編輯風格（大段落引用、章節標記）、資訊圖風格（全寬時間軸、數據標註）以及"野獸派"風格（厚重邊框、等寬字體、超大數字）。系統有60%的概率按話題特點選擇最匹配的版式，另外40%則完全隨機分配，這個設計的目的是防止模型通過版式來猜測話題——就像駕考場會刻意混排不同難度的路線，讓考生沒法走捷徑。
寫劇本的階段也是這套系統最精妙的環節。每個圖表在生成時會同步輸出兩個版本：一個是視覺上真實可見的D3.js（一種網頁圖表渲染工具）渲染圖，就是文檔里讀者能看到的那張圖；另一個是隱藏的結構化元數據對象，記錄著這張圖的坐標軸標籤、所有數據點的精確數值、以及從數據中可以派生的各種結論（最大值、最小值、趨勢、異常點等）。這個"雙層設計"是整套系統能避免人工標註的關鍵——所有標準答案都從這個隱藏的元數據對象中確定性地推導出來，不會有任何歧義。
整份文檔最終以HTML格式組裝完成，通過Playwright（一種網頁自動化工具）渲染為PDF，同時輸出配套的問答清單。最終的數據集包含200份合成報告，每份報告平均51.1頁、約20568個單詞、16.7張圖表，覆蓋24種不同的圖表類型（從常見的柱狀圖、折線圖、散點圖，到視覺上更容易混淆的啞鈴圖、棒棒糖圖、斜坡圖、迷你折線網格等）以及6種版式原型。整個數據集共有1788道問題，按三類任務均分：圖表閱讀類597題、跨模態類594題、複雜多步推理類597題。三層質量控制機制確保了數據質量——對所有數值答案進行重新計算核驗、用規則過濾器檢查一致性、再對100道題進行人工抽查，接受率超過96%。
三、三類"考題"的設計邏輯
SynthDocBench的三類問題不是隨便劃分的，它們對應了三種在真實文檔中最常見、也最具挑戰性的資訊提取場景。
圖表閱讀類問題，可以理解為"只看這張圖，告訴我數字"。問題聚焦於單張圖表的精確數值讀取，分為三個子類型：直接讀值（比如，這張柱狀圖里代表2019年的那根柱子有多高？）、比較（哪個類別的值最大？兩者之間相差多少？）以及趨勢判斷（這條線在整體上是上升還是下降的？）。這類題看起來簡單，但其實對模型的"像素級視覺解碼"能力要求極高，因為答案必須精確，不能靠周圍的文字來猜測。
跨模態類問題，則要求模型在文字和圖表之間建立橋樑。以一個典型例子來理解：文檔第8頁某段話聲稱"過去十年間全球兒童早婚率顯著下降"，而對應的折線圖在第12頁，你必須先找到這張圖，然後讀出具體數字，才能確認或量化這個文字描述。這類問題被設計為圖表和支撐文字故意不放在相鄰位置，考察的是跨頁面的模態整合能力。
複雜多步推理類問題，是難度最高的一檔，需要模型從2到4個分散的證據單元中提取資訊，然後組合推理得出答案。題目按難度分為L1到L5五級：L1是最直接的數值查詢，L2是簡單比較，L3是聚合計算（比如求平均或總和），L4是需要結合領域知識的推斷（比如，為什麼在給定背景下X會優於Y？），L5是最難的，要求解讀視覺編碼（比如，這張圖里不同顏色的點各自代表什麼含義？）。
四、七位"考生"進場，成績單長什麼樣？
研究團隊將七款前沿視覺語言模型送進了這個駕考場，分別是谷歌的Gemini-3.1-Pro、OpenAI的GPT-5.4和GPT-4o、Anthropic的Claude-Sonnet-4.5，以及開源陣營的Qwen3.5-VL-122B、Qwen3-VL-235B、InternVL3-78B，另外還加了一款相對小型的Qwen2.5-VL-7B做參照。
所有模型接受考試時，只能看到文檔的渲染圖像，完全無法訪問底層HTML源碼或元數據——就像駕照考試時考官只看你在真實路況下的操作，不接受"我知道理論上怎麼做"。每份PDF被光柵化為144 DPI的頁面圖像，每5頁拼接成一個垂直長圖條，然後輸入給模型。評分由GPT-5擔任"考官"，對每個（模型答案, 標準答案）對打出0到10分，6分及以上算"核心正確"。為了驗證這位考官評分靠不靠譜，研究團隊還用Gemini-3.1-Pro和Claude-Sonnet-4.5分別獨立評分做交叉驗證，結果GPT-5和Gemini作為考官時的分數差異在3.5個百分點以內，相關係數高於0.94，說明評分結果不會因為換個考官而大幅波動。
成績單出來後，最引人注目的是整體排名：Gemini-3.1-Pro以0.725的整體準確率遙遙領先，位居第一；Qwen3.5-VL-122B（一款1220億參數的開源混合專家模型）以0.655的準確率緊隨其後；Qwen3-VL-235B排第三（0.586）；GPT-5.4排第四（0.423），這個成績出乎不少人預料——一款商業旗艦模型排在兩款開源模型之後；GPT-4o（0.386）和InternVL3-78B（0.383）幾乎打成平手，統計上無法區分；Claude-Sonnet-4.5排倒數第二（0.314）；Qwen2.5-VL-7B以0.081的準確率墊底。
這個排名的另一面也很有意思：Gemini在DocVQA（單頁文檔理解）上只拿了93.4分，比Qwen3-VL-235B的96.5分低，但在SynthDocBench這個長文檔戰場上卻反超了20多個百分點。這說明單頁任務的能力和長文檔處理能力之間的關聯遠比想像中複雜。
研究團隊還專門做了一個OCR純文字基線測試：用PyMuPDF工具從PDF里提取純文本，然後讓GPT-4o在沒有任何圖像的情況下只憑文字作答。結果非常有指向性——在複雜多步推理類問題上，純文字模式的準確率高達0.798，而視覺模式只有0.360，說明這類問題的答案大多可以從文字中還原，模型需要的是文本理解能力而非視覺解碼能力；但在圖表閱讀類問題上，結果完全反轉，純文字只有0.297，視覺模式有0.457，這證明圖表問題真的需要看圖，不能靠讀文字矇混過關。而Gemini在圖表閱讀上的準確率（0.759）比純文字基線高出了整整46個百分點，清楚地表明視覺感知能力才是圖表題的核心瓶頸。
五、被揭露的三種失敗模式
考場設計的精妙之處，在於它讓三種此前被遮蔽的失敗模式清晰地浮出水面。這三種失敗模式，就像駕考場把"不會上坡"、"不會倒車入庫"和"看不清路牌"分開測試一樣，終於被獨立地觀察和記錄下來。
第一種失敗模式是隨推理深度加劇的性能退化。當問題從L1級（直接讀值）上升到L5級（視覺編碼解讀），除Gemini之外所有模型的準確率都呈現出單調下降趨勢。Claude-Sonnet-4.5從L1的0.382一路跌到L5的0.154，降幅高達23個百分點；GPT-4o在L1（0.271）上的表現甚至異常地低於L2（0.455），說明對它來說精確數值讀取反而比組合推理更難，這是一個頗為奇特的反直覺現象。Gemini則是唯一一個在各難度級別上都保持相對平穩的模型（0.670到0.784之間波動），顯示出更強的魯棒性。
第二種失敗模式是證據位置引發的系統性偏差。研究團隊把每個圖表在文檔中的相對位置（第幾張圖/總圖數）分成前三分之一、中間三分之一、後三分之一三個區間，然後分析圖表閱讀題的準確率與位置的關係。結果發現，八個被測模型中有五個在中間區域表現最差，比前三分之一區域低了5到18個百分點。Qwen3.5-VL-122B的這一降幅最為極端，從前段的0.820跌到中段的0.635，足足低了18.5個百分點，但有所回升地到了後段（0.660）。Claude-Sonnet-4.5則表現出從前到後單調下降的趨勢（0.418→0.342→0.301，降幅11.7個百分點），是所有模型中這一趨勢最陡峭的。Gemini-3.1-Pro則展現出一個典型的"U型"曲線（0.788→0.717→0.784），這與NLP領域早有記載的"迷失在中間"現象高度吻合——語言模型普遍對序列的開頭和結尾記憶更清晰，而中間部分容易被稀釋。
第三種失敗模式是長文檔背景下圖表精確閱讀能力的崩潰。這一點在與已有基準測試的比較中最為直觀：同樣的模型在ChartQA（單張獨立圖表問答）上能達到85%至91%的準確率，但放進五十多頁的長文檔背景後，圖表閱讀準確率普遍大幅下滑。OCR與視覺對比實驗中那46個百分點的差距，以及模型在視覺幻覺錯誤（憑空報出圖中不存在的數值）上的高度集中，都指向同一個結論：在長文檔的"噪聲"背景下，模型的像素級視覺解碼能力出現了系統性退化，這與它們在孤立圖表上的表現形成了鮮明反差。
六、細看錯誤，有哪些特別值得關注的發現？
研究團隊從1788道題里挑出了所有被測模型都得分不超過3分的109道"全員失敗題"，並對失敗原因進行了分類分析。在這109道題中，跨模態類問題占了58道（超過半數），而圖表閱讀類37道、複雜推理類14道。這說明在長文檔場景下，最難攻克的挑戰不是單純的圖表理解，而是在圖表和文字之間建立準確的量化聯繫。
在具體的錯誤類型中，視覺幻覺（模型自信地報出了圖中根本不存在的數值）是最主要的失敗原因，集中出現在密集數值圖表、啞鈴圖和多系列比較圖上。模型定位到了圖表，也識別出了目標元素，但在最後一步的像素級數值提取上出了錯，而且報錯通常非常有把握，不會說"我不確定"。圖表未找到（模型說文檔中找不到該圖，但實際上該圖確實存在）和精度錯誤（找對了圖表和元素，但數字的量級或單位出錯，比如把百分比當成絕對數值，或者把10億級別讀成百萬級別）也是高頻錯誤類型。
按問題細分類型來看，趨勢與模式判斷類問題是所有模型表現最好的，因為感知方向（"上升"還是"下降"）不需要精確數值提取，容錯空間大；而數值讀取和跨來源整合是最難的兩類，分別對應了視覺精度瓶頸和跨模態對齊瓶頸。在複雜推理類問題中，技術性或定量推理題的模型間差距最大——Gemini得0.643，GPT-4o只有0.111，InternVL3隻有0.156，這一64%對11%的鴻溝意味著定量多步推理能力才是區分頂級模型的真正試金石。
七、圖像呈現方式如何影響成績？
研究團隊還對圖像輸入方式做了一系列消融實驗（即單獨改變一個參數觀察效果的實驗），發現了幾個實用價值很高的規律。
首先是每條圖像條中包含的頁數。對Gemini來說，隨著每條包含的頁數從1增加到2、5、10，準確率從0.369持續上升至0.792，跨模態類問題的提升幅度最大（從0.339升至0.707），說明更多的上下文資訊對於需要跨頁整合證據的任務至關重要。但GPT-4o在每條2頁時表現最好（0.396），增加到10頁反而下降（0.354）；Claude-Sonnet-4.5在每條5頁時達到最優，之後保持平穩或略降。這表明不同模型對"最優資訊密度"的需求不同，不存在一個對所有模型通用的最佳設置。
其次是圖像解析度。對Gemini來說，144 DPI是最優解析度，提升到216 DPI性能反而略微下降，原因在於更高解析度會增大圖像文件大小，觸發API的4MB壓縮限制，JPEG壓縮會損失圖表的細節資訊，得不償失。
提示策略方面，對Claude來說，不使用系統提示詞（直接讓模型自由回答）時複雜推理類的準確率從0.337大幅跳升到0.515，說明"必須在2到4句話內回答"的指令約束反而壓制了需要展開推理步驟的問題的表現。鏈式思維提示（讓模型先拆分步驟再回答）對所有模型都有小幅提升，但在GPT-4o的圖表閱讀上反而有所下降，因為更長的輸出增加了引入中間幻覺步驟的風險。
八、這套測試台的可信度有多高？
研究團隊的外部效度檢驗（即驗證這套測試的結果是否與真實世界的能力排名一致）給出了一個溫和肯定的答案。SynthDocBench的整體準確率排名與MMLongBench-Doc（一個基於真實文檔的長文檔理解測試）的排名之間，Spearman等級相關係數為0.657，Pearson相關係數為0.683，說明兩者之間存在中等程度的正相關——在SynthDocBench上表現好的模型，在MMLongBench-Doc上通常也不差，但排名並不完全一致。
有意思的偏差出現在GPT-4o身上：它在MMLongBench-Doc上排名第二，但在SynthDocBench上只排到第三。研究團隊認為，這很可能是因為SynthDocBench對精確圖表數值讀取和跨模態對齊的要求遠高於MMLongBench-Doc那個更異質化的真實文檔題庫，而這兩項能力恰好是GPT-4o的薄弱環節。這種不完美的相關性本身就是一個有價值的信號：SynthDocBench測量的能力維度與現有測試並不完全重疊，它揭示的是額外的、此前被掩蓋的模型局限。
研究團隊在Gemini-3.1-Pro的突出優勢上也保持了應有的審慎。Gemini與第二名（Qwen3.5-VL-122B，0.655）之間的差距高達7個百分點，與第三名的差距接近14個百分點。但研究團隊指出，SynthDocBench使用HTML/D3.js渲染的圖表，這種風格可能與Gemini的訓練數據分布更相似，不能完全排除渲染風格熟悉程度對成績的影響，未來需要用其他渲染後端重複驗證才能確定。
歸根結底，SynthDocBench做的事情，是給整個視覺語言模型領域設置了一個更精確的標尺。當前最強模型在DocVQA（單頁文檔）上已經逼近甚至超過人類基線，但在這套控制變量的長文檔測試台上，即便是排名第一的Gemini也只拿到了72.5%——這還是在問題類型和文檔結構都經過精心設計、相對公平的條件下。那些在圖表上掙扎的模型、那些記不住文檔中間內容的模型、那些隨著問題變難而迅速崩潰的模型，它們在真實世界裡處理一份複雜的商業報告或科研文獻時，失敗的風險會比這些數字所呈現的更高。
這對普通人來說意味著什麼？如果你在工作中期望用AI來幫你處理那種又長又有圖的報告，這項研究的結論是一個清醒的提醒：現在的AI在處理這類文檔時，並不像它在處理短文本時那樣可靠。它可能看漏了圖表，可能把中間章節的數據搞混，也可能在需要對比第5頁圖表和第38頁數字的問題上一敗塗地。理解這些局限，才能更合理地使用這些工具，而不是把它們當作全知全能的"文檔助手"。
至於研究團隊本身，他們計劃未來將SynthDocBench擴展到更多文檔類型（如表格、表單、混合版式報告）、更長的上下文以及更多樣化的推理任務，持續拓展這套"駕考場"的覆蓋範圍。
Q&A
Q1：SynthDocBench和DocVQA這類現有文檔測試有什麼本質區別？
A：DocVQA等測試使用的是真實文檔，當模型答錯時很難判斷是因為圖表難、還是文檔太長、還是問題措辭模糊。SynthDocBench則完全合成生成，文檔長度、圖表數量、版式風格、問題難度都可以獨立控制，像實驗室實驗一樣逐一排查原因，這是它最核心的價值。
Q2：視覺語言模型在SynthDocBench上表現最差的是哪類題目？
A：跨模態類問題是所有模型共同的最難關，需要在不相鄰的文欄位落和圖表之間建立量化聯繫。在所有模型集體失敗的109道題中，跨模態題占了58道，超過了圖表閱讀類和複雜推理類的總和。
Q3：SynthDocBench里所說的"位置偏差"是什麼意思？
A：研究發現，模型對文檔中間部分的圖表理解能力普遍弱於前段和後段，八個被測模型中有五個出現了這一規律，這被稱為"迷失在中間"效應。最極端的例子是Qwen3.5-VL-122B，從前段到中段準確率下降了18.5個百分點。這意味著如果一份報告的關鍵圖表恰好在中間，AI更可能在那裡出錯。
