這項由Yellow.ai公司AI研究團隊的Vishesh Tripathi、Tanmay Odapally、Indraneel Das、Uday Allu和Biddwan Ahmed領導的研究發表於2025年6月的arXiv預印本平台，論文編號為arXiv:2506.16035v1。有興趣深入了解的讀者可以通過https://arxiv.org/abs/2506.16035訪問完整論文。
說到文檔處理，我們每天都在與各種PDF文件打交道——從工作報告到技術手冊，從學術論文到產品說明書。當我們人類閱讀這些文件時，我們的眼睛會自動識別表格、圖表、標題層次，理解內容的邏輯結構。但對於電腦來說，這個看似簡單的任務卻充滿挑戰。
傳統的文檔處理系統就像一個只會按固定長度切菜的廚師，不管遇到什麼食材都用同樣的刀法。這種方法在處理簡單文本時還算勉強，但面對複雜的PDF文檔時就暴露出嚴重問題。跨頁表格會被強行分割，圖表說明與圖片分離，操作步驟被打散，原本完整的資訊變得支離破碎。這就好比把一道精心製作的菜餚隨意切碎，不僅破壞了原有的味道，還可能讓人完全搞不清楚原來的配方。
Yellow.ai的研究團隊意識到這個問題的嚴重性，特別是在當前大語言模型和檢索增強生成（RAG）系統廣泛應用的背景下。RAG系統的工作原理是先將文檔分成小塊，然後根據用戶問題檢索相關塊，最後生成答案。如果文檔分塊質量不好，就像給大廚提供了變質的食材，再高明的烹飪技巧也做不出好菜。
為了解決這個根本性問題，研究團隊提出了一種革命性的解決方案：讓AI系統像人類一樣"看"文檔，而不僅僅是"讀"文字。他們開發的多模態文檔分塊方法就像給電腦裝上了一雙智慧的眼睛，能夠同時理解文字內容和視覺布局，把握文檔的整體結構和邏輯關係。
這種方法的核心創新在於批量處理機制。傳統方法是一頁一頁地處理文檔，就像近視眼看書一樣，只能看清眼前的內容，無法把握全局。而新方法採用批量視覺處理，一次處理4頁內容，並在不同批次之間保持上下文連續性。這就像從近視眼變成了有遠見的讀者，既能看清細節，又能理解整體脈絡。
研究團隊使用Google最新的Gemini-2.5-Pro多模態模型作為"大腦"，這個模型具有強大的文檔理解能力，特別擅長處理複雜布局和視覺元素。通過精心設計的提示工程，他們訓練模型識別文檔的層次結構，保持表格完整性，確保操作步驟不被分割。
在處理跨頁內容時，系統採用了類似接力賽的機制。當處理新的一批頁面時，系統會保留前一批的關鍵資訊作為"接力棒"，包括上下文摘要、最後一個文檔塊和標題層次結構。這確保了即使內容跨越多頁，語義關係也不會丟失。
為了驗證這種方法的有效性，研究團隊構建了一個綜合性的測試數據集，包含來自不同領域的複雜文檔：技術手冊、財務報告、研究論文、監管文件和商業演示文稿。這些文檔包含了各種挑戰性元素：多級標題結構、跨頁表格、嵌入式圖表、交叉引用和腳註等。
測試結果令人鼓舞。在完整的RAG系統評估中，使用視覺引導分塊方法的準確率達到89%，而傳統固定長度分塊方法只有78%。這個11%的提升看似不大，但在實際應用中意義重大，相當於從勉強及格提升到了優秀水平。
更重要的是，新方法在分塊質量方面表現出顯著優勢。人工檢查發現，視覺引導方法成功保持了跨頁表格的完整性，包括適當的表頭重複；完整保留了交叉引用系統，腳註與相關表格單元格的鏈接關係得到維護；監管合規部分的程序性指令序列保持完整；複雜文檔中的嵌套組織結構得到妥善處理。
有趣的是，研究還發現了分塊粒度方面的顯著差異。傳統方法由於其固定長度的限制，生成的文檔塊數量相對較少。而視覺引導方法產生的文檔塊數量大約是傳統方法的5倍，這表明AI模型在創建更系統化、上下文適當的分割方面表現出了智能。這種更細粒度的分塊使得檢索系統能夠識別和提取更具體、更相關的資訊，而不是檢索可能包含相關和無關內容的大型異構文本塊。
從技術實現角度來看，整個系統的架構設計相當精巧。PDF處理器負責文檔下載和批次創建，多模態接口管理與大語言模型的通信，上下文管理器維護跨批次的上下文和標題層次，文檔塊處理器從模型響應中提取和驗證文檔塊，資料庫集成組件則為RAG系統中的向量存儲和檢索準備文檔塊。
在提示工程方面，研究團隊投入了大量精力。他們設計的提示包含詳細的分塊指令和優先級規則、適當標題層次的示例、表格、步驟和多頁內容的特殊處理指令，以及上下文集成指南。這個過程涉及基於初始結果的疊代完善，特別關注涉及表格結構和跨多頁程序性內容的邊緣情況。
為了確保處理的一致性和可靠性，系統還實現了延續標記機制。每個文檔塊都會被標記為三種狀態之一：繼續（表示從前一內容繼續）、新開始（表示新內容的開始）或部分繼續（表示不確定的繼續關係）。這個標記系統使得後處理階段能夠自動合併相關內容，確保語義相關的文檔塊被適當組合，同時在不同主題之間保持適當的邊界。
當然，這種方法也面臨一些挑戰和限制。處理極其複雜的表格時仍有困難，特別是那些跨越8-9頁或更多頁面的表格，在如此大範圍內保持一致的列對齊和語義關係對當前的大語言模型來說仍然具有挑戰性。此外，高度複雜的圖形元素，如複雜的流程圖、多層技術圖表和包含嵌入子元素的密集統計圖表，在準確提取和描述方面仍然存在挑戰。
計算成本和處理時間也隨著文檔複雜性和批次大小的增加而大幅增長，這可能限制了實時應用的可能性。而且，該方法的有效性仍然依賴於底層大語言模型的視覺能力，這在不同模型架構之間可能有所差異，並且會隨著技術發展而持續演進。
儘管存在這些限制，研究團隊對未來發展充滿信心。他們計劃在幾個方向上繼續深入研究。在高級多模態集成方面，未來的工作可以探索通過改進圖形理解、更好的數學公式處理和更好地處理複雜圖表來更深入地集成視覺元素。研究更新的多模態架構及其在文檔理解方面的特定優勢也可能產生進一步的改進。
在可擴展性和優化方面，他們計劃研究更高效的批處理策略、通過模型優化降低計算成本以及實時處理能力。這包括研究基於文檔複雜性和內容密度的自適應批量調整技術。
特別值得一提的是，通過廣泛的評估過程，研究團隊發現了可靠、全面的PDF基準數據集在文檔理解任務中的可用性存在顯著差距。這為未來建立標準化評估框架提供了重要機會。
這項研究的意義遠超技術層面的改進。它代表了從簡單文本提取向全面文檔理解的重要轉變，展示了多模態AI在增強資訊檢索系統基礎組件方面的潛力。隨著多模態模型的持續改進和成本效益的提高，這種方法有望在生產環境的RAG應用中變得越來越實用。
研究團隊的工作為文檔理解在資訊檢索系統中開闢了新的途徑，為未來多模態RAG架構的研究提供了堅實基礎。他們鼓勵研究人員基於這個開源框架進行構建，探索特定領域的應用，並進一步推進視覺理解在文檔處理系統中的集成。
說到底，這項研究解決的是一個看似技術性但實際上與我們每個人都息息相關的問題。在資訊爆炸的時代，能夠讓機器真正"理解"複雜文檔，並準確回答我們的問題，這不僅僅是技術進步，更是讓知識變得更加accessible的重要一步。當AI系統能夠像人類一樣既看又讀地處理文檔時，我們就離真正智能的資訊助手又近了一步。
Q&A
Q1：什麼是RAG系統？它為什麼需要更好的文檔分塊？ A：RAG（檢索增強生成）系統是一種AI技術，它先將文檔切成小塊存儲，然後根據用戶問題檢索相關塊來生成答案。就像圖書管理員需要先把書分類整理，才能快速找到你要的內容。如果分塊質量不好，AI就可能檢索到不完整或錯誤的資訊，影響答案準確性。
Q2：這種方法會不會讓文檔處理變得更慢更貴？ A：確實會增加一些計算成本和處理時間，特別是處理複雜文檔時。但研究團隊認為這是值得的投資，因為質量的提升遠超成本的增加。就像精工製作雖然耗時，但產品質量更好。隨著AI技術發展，成本會逐漸降低。
Q3：普通用戶能使用這種技術嗎？ A：目前這還是研究階段的技術，普通用戶無法直接使用。但研究團隊提供了開源框架，鼓勵開發者基於此構建應用。未來隨著技術成熟，可能會集成到各種文檔處理軟體中，讓普通用戶也能受益於更智能的文檔理解能力。
