這項由加州大學聖克魯茲分校的劉彥青、李先航等研究人員，聯合蘋果公司和加州大學伯克利分校共同完成的研究，發表於2025年9月的arXiv預印本平台。感興趣的讀者可以通過項目頁面https://ucsc-vlaa.github.io/OpenVision2 或論文鏈接arXiv:2509.01644v1訪問完整研究內容。
想像一下教孩子認識世界的過程。傳統方法就像同時讓孩子看圖片、聽描述，還要他們把圖片和文字配對連線，這樣雖然學得全面，但過程繁瑣耗時。而現在，研究團隊發現了一個更簡單高效的方法：只要讓AI直接看圖片然後描述出來就夠了，就像讓孩子看到蘋果直接說"這是紅色的蘋果"一樣自然。
在人工智慧的世界裡，教會機器"看懂"圖片一直是個複雜的工程。就好比培養一個藝術鑑賞家，傳統做法需要讓他既學會看畫，又學會讀文字，還要學會把畫和文字對應起來。這種叫做"對比學習"的方法雖然效果不錯，但就像同時學三門課程一樣費時費力。UC Santa Cruz的研究團隊卻發現，其實只要專心訓練機器"看圖說話"這一項技能就足夠了。
他們開發的OpenVision 2系統，就像把原來的三合一課程簡化成了單科集訓。原本的OpenVision需要一個圖像編碼器來"看圖"，一個文本編碼器來"讀字"，還需要一個文本生成器來"說話"。而OpenVision 2直接砍掉了文本編碼器這個中間環節，讓圖像編碼器直接和文本生成器對話，就像讓學生跳過複雜的理論課，直接進入實踐操作一樣。
這種簡化帶來的效果令人驚喜。以ViT-L/14模型為例，訓練時間從83小時縮短到57小時，內存使用量從24.5GB降到13.8GB，這意味著研究人員可以用更小的計算資源訓練更大的模型。更重要的是，這種簡化並沒有犧牲性能。在各種視覺理解任務上，OpenVision 2的表現與原版不相上下，在某些OCR（光學字符識別）任務上甚至表現更好。
研究團隊的發現挑戰了長期以來的一個觀念：要訓練出優秀的視覺編碼器，就必須使用CLIP式的對比學習方法。他們證明，純粹的生成式訓練（也就是"看圖說話"的方法）不僅可行，而且在很多情況下更好。這就像發現了一條更直接的學習路徑，既省力又高效。
一、從複雜到簡單的革命性轉變
OpenVision的原始設計就像一個全能型學習系統。它需要處理兩種不同類型的圖片描述：一種是從網上抓取的原始描述，通常比較簡單粗糙，比如"一隻橙色的貓坐在台階上"；另一種是由高級AI模型生成的詳細描述，能夠描述"圖片中有一隻毛茸茸的橙色虎斑小貓，坐在風化的淺色木質台階上，它的眼睛大而圓，呈現柔和的橙棕色，給人以好奇的表情"這樣的細緻內容。
原來的訓練過程就像開辦一個三重課程的學習班。首先，系統要學會對比不同的圖像和文本對，就像讓學生練習看圖識字的配對遊戲。同時，它還要學會根據圖像和簡單描述來生成詳細描述，這相當於看圖作文的練習。整個過程需要維護三個獨立的神經網路組件，每個都需要大量的計算資源和存儲空間。
OpenVision 2的革命性改變就在於徹底拋棄了這種複雜的三重結構。新系統就像一個專心致志的學生，只專注於一件事：看圖說話。當給它一張圖片時，它直接學習如何生成相應的文字描述，不再需要複雜的對比和配對過程。這種方法借鑑了近年來CapPa和AIMv2等研究的思路，同時也與現代多模態系統如LLaVA的設計理念高度一致。
更巧妙的是，研究團隊還加入了一個"部分遮擋"的訓練技巧。就像讓學生練習看不完整的圖片也能寫出完整描述一樣，系統在訓練時會隨機遮住大約三分之二的視覺資訊，只用剩餘的三分之一來生成描述。這不僅進一步減少了計算負擔，還意外地提升了系統的理解能力，因為它必須學會從有限的資訊中推斷出更多內容。
這種簡化設計的另一個重要優勢是解決了訓練和應用之間的不一致問題。原來的OpenVision在訓練時使用對比學習，但在實際應用中（比如接入LLaVA這樣的對話系統）卻要進行生成式任務，這就像學生在課堂上練習選擇題，考試時卻要寫作文。OpenVision 2從一開始就專注於生成式訓練，使得預訓練階段與後續應用完美對接。
二、數據質量的關鍵突破
數據就像烹飪的原材料，質量決定了最終成品的水準。OpenVision 2的成功很大程度上依賴於一個叫做"ReCap-DataComp-1B v2"的高質量數據集。這個數據集的誕生過程就像請了一位頂級大廚來重新製作菜譜。
傳統的網路爬取數據就像從各家小餐廳收集的菜譜，質量參差不齊，有些描述過於簡單（"一隻貓"），有些又完全跑題。研究團隊決定用強大的LLaMA-3模型來重新"翻譯"這些圖片。這就好比請一位經驗豐富的美食評論家重新品嘗每道菜，然後寫出詳細而準確的評價。
ReCap-DataComp-1B v2數據集的製作過程特別精妙。它不是簡單地讓AI看圖寫話，而是同時參考原始的簡單描述和圖片內容，生成更加豐富和準確的描述。這就像讓評論家不僅要品嘗菜品，還要參考菜單說明，寫出既忠於原意又更加詳盡的評價。通過這種方法生成的描述既保持了多樣性，又確保了準確性。
實驗結果顯示，使用高質量合成描述訓練的模型在各項測試中都顯著優於使用原始網路描述訓練的模型。在TextVQA任務上，性能提升了5.1分，在OCR任務上更是提升了53分。這種巨大的改進證明了"好的老師勝過複雜的教學方法"這一樸素道理。
研究團隊還發現，完全使用合成數據訓練的效果比混合使用真實和合成數據更好。這個發現頗有些顛覆性，就像發現標準化的教科書比各種雜七雜八的參考資料更適合學習一樣。這種一致性和高質量的訓練數據使得模型能夠學習到更加穩定和可靠的視覺-語言對應關係。
三、訓練效率的顯著提升
OpenVision 2在訓練效率方面的提升就像從手工製作轉向工業化生產。所有實驗都在Google Cloud的TPU v4上進行，這些專門為機器學習優化的晶片就像是為AI訓練量身定製的超級工廠。
最直觀的改進體現在訓練時間上。使用ViT-L/14模型在224解析度下訓練時，時間從83小時縮短到57小時，相當於節省了約1.5倍的時間。當模型規模擴大到SoViT-400M時，這種效率提升更加明顯，訓練時間從241小時減少到121小時，幾乎縮短了一半。這就像把一個需要一周完成的項目壓縮到三天內完成，而質量絲毫不受影響。
內存使用量的改善同樣令人印象深刻。在相同的批處理大小下，OpenVision 2的內存需求大約是原版的一半。這意味著研究人員可以在相同的硬體上訓練更大的批次，或者用更少的設備完成同樣的訓練任務。具體來說，ViT-L/14模型的內存使用從24.5GB降到13.8GB，這使得最大批處理大小可以從2000提升到8000。
這種效率提升不僅僅是數字上的改進，它還開啟了新的可能性。研究團隊成功訓練出了參數量超過10億的視覺編碼器，這在原來的OpenVision架構下幾乎是不可想像的。就像更高效的生產線不僅能降低成本，還能製造出以前無法生產的大型產品一樣。
研究還詳細分析了不同優化策略的貢獻。CLIPA優化技術和token掩碼策略都對效率提升起到了重要作用，但兩者結合使用時效果最佳。CLIPA技術通過先在低解析度圖像上預訓練再在高解析度上微調的方式大幅減少計算量，而token掩碼則進一步減少了文本解碼器的工作負擔。兩種技術的結合就像同時使用了高效的教學方法和精簡的課程內容。
四、性能表現的全面驗證
為了驗證OpenVision 2的實際效果，研究團隊在兩個主要的多模態框架LLaVA-1.5和Open-LLaVA-Next上進行了全面測試。這就像讓一個新培養的學生同時參加不同學校的考試，以確保其能力的普適性。
測試涵蓋了八個不同類型的任務，包括文本問答（TextVQA）、圖表問答（ChartQA）、光學字符識別（OCR）、多模態評估（MME）、種子基準測試（SEED）、科學問答（SQA）、通用問答（GQA）和教皇測試（POPE）。這些測試就像全科考試，從不同角度檢驗AI系統的視覺理解能力。
在LLaVA-1.5框架下的測試結果顯示，OpenVision 2不僅保持了與原版相當的性能，在某些任務上甚至表現更好。特別是在OCR相關任務上，新系統表現尤為突出。以ViT-L/14模型在224解析度下的表現為例，TextVQA得分從57.7提升到59.0，OCR任務得分從315提升到327。這種提升就像學生不僅保持了原有的優勢科目，還在薄弱環節有了顯著進步。
更令人驚喜的是，當模型規模擴大時，這種優勢變得更加明顯。使用更大的H/14模型在448解析度下訓練時，OpenVision 2在TextVQA上達到65.6分，ChartQA達到18.1分，OCR任務達到416分，這些數字都顯著優於同等條件下的基線模型。
在Open-LLaVA-Next框架下的測試進一步證實了這些發現。OpenVision 2在保持高性能的同時，顯著減少了訓練成本。這種一致性表明，新方法的優勢不是偶然現象，而是一種可靠的改進。
特別值得注意的是，研究團隊還成功訓練出了參數量達到10.1億的超大模型OpenVision 2-g/14。這個巨型模型在各項測試中都表現出色，證明了新方法的可擴展性。這就像證明了一種新的教學方法不僅適用於小班教學，也能在大規模教育中發揮作用。
五、技術細節的深入探索
OpenVision 2的核心創新可以通過幾個關鍵的設計決策來理解。首先是架構簡化，原來需要三個獨立網路組件的複雜系統被精簡為兩個組件。這種簡化就像把複雜的多道工序合併成流水線作業，不僅減少了中間環節的損耗，還提高了整體效率。
token掩碼策略是另一個重要創新。在訓練過程中，系統會隨機隱藏大約三分之二的視覺token，只用剩餘的資訊來生成文本描述。這種做法看似反直覺，但實際上促使模型學習更有效的資訊提取方式。就像讓學生練習從不完整的材料中提取關鍵資訊，反而能提高他們的理解和推理能力。
實驗發現，保留25-35%的視覺token時效果最佳，這個比例既能提供足夠的資訊支持文本生成，又能強制模型學會抓住最重要的視覺特徵。如果保留太多token（如100%），模型可能會過度依賴細節而忽略整體理解；如果保留太少（如10%），則資訊不足以支撐準確的描述生成。
與之前的研究相比，OpenVision 2在多個維度上都有所改進。相比CapPa，它使用了更高質量的合成標註，採用了更簡單的融合方式，並且擴展到了更大的模型規模。相比AIMv2，它專注於純文本生成而不涉及圖像重建，使用了不同的token掩碼策略，並且數據完全基於合成標註。
數據處理方面，ReCap-DataComp-1B v2的生成策略特別值得關注。它在生成合成標註時同時考慮原始圖像和網路標註，使用加權top-k採樣來平衡多樣性和準確性。這種方法就像讓AI評論家既要看作品又要參考別人的評價，寫出既有獨特見解又有一定共識基礎的評論。
六、對現有認知的挑戰
OpenVision 2的成功對電腦視覺領域的一個基本假設提出了挑戰。長期以來，研究界普遍認為CLIP式的對比學習是訓練高質量視覺編碼器的必要條件。這就像人們一直相信學習外語必須同時練習聽說讀寫四項技能一樣。
然而，OpenVision 2證明了純粹的生成式學習同樣可以達到甚至超越對比學習的效果。這個發現的意義不僅僅在於技術層面，它還暗示著我們對機器學習本質的理解可能需要更新。生成式學習讓模型直接學習從視覺到語言的映射，這種端到端的學習方式可能更加符合人類認知的自然過程。
這種認知轉變的實際意義是深遠的。對於研究人員而言，它意味著可以用更簡單的方法達到更好的效果。對於產業界而言，它意味著更低的計算成本和更高的開發效率。對於整個AI發展而言，它可能指向一個更加高效和可持續的發展方向。
研究團隊特別強調了這種方法與下游應用的一致性優勢。由於OpenVision 2在預訓練階段就使用生成式目標，它與LLaVA等多模態對話系統的架構天然匹配。這種一致性就像讓學生從一開始就按照考試標準來學習，避免了後期的適應問題。
更重要的是，這種方法的成功為未來的研究開闢了新的方向。如果純生成式學習確實優於複雜的對比學習，那麼我們可能需要重新審視很多現有的技術假設。這就像發現了一條更直接通往山頂的路徑，雖然看起來簡單，但實際效果更好。
七、實際應用的廣闊前景
OpenVision 2的技術突破不僅僅停留在學術層面，它在實際應用中的潛力同樣令人興奮。更高的訓練效率意味著更多的研究團隊和公司能夠負擔得起訓練高質量視覺編碼器的成本，這將大大降低AI技術的准入門檻。
在商業應用方面，這種效率提升直接轉化為成本節約。企業可以用更少的計算資源訓練出更好的模型，或者在相同預算下訓練更大更強的模型。這就像找到了一種更高效的生產方式，既降低了成本又提高了產品質量。
對於科研機構而言，OpenVision 2使得大規模視覺編碼器的訓練變得更加可行。研究團隊已經成功訓練出了10.1億參數的模型，這在原有架構下是極其昂貴的。現在，更多的研究小組可以嘗試訓練大規模模型，推動整個領域的快速發展。
在具體的應用場景中，OpenVision 2訓練的視覺編碼器可以用於各種多模態任務。從圖像描述生成到視覺問答，從文檔理解到圖表分析，這些經過優化訓練的編碼器都能提供更好的性能。特別是在OCR相關任務上的突出表現，使得它在處理文檔、標誌、圖表等包含文字資訊的圖像時具有明顯優勢。
更重要的是，OpenVision 2的開源特性使得整個社區都能受益於這些改進。研究團隊不僅公布了完整的訓練代碼和預訓練模型，還提供了ReCap-DataComp-1B v2數據集。這種開放態度就像建設了一個公共圖書館，讓所有人都能獲得高質量的學習資源。
展望未來，這種高效的訓練方法可能會成為視覺編碼器訓練的新標準。隨著技術的進一步優化和硬體的持續發展，我們可能會看到更大規模、更高性能的視覺編碼器不斷湧現，推動整個人工智慧領域的快速發展。
說到底，OpenVision 2的成功證明了一個簡單而深刻的道理：有時候，最好的解決方案不是最複雜的那個，而是最簡單有效的那個。就像老話說的"大道至簡"，在AI的世界裡，簡單優雅的方法往往比複雜花哨的技術更有生命力。這項研究不僅為我們提供了一個更好的工具，更重要的是，它讓我們重新思考了解決問題的方式。當我們面對複雜挑戰時，也許答案並不在於增加更多的複雜度，而在於找到問題的本質，用最直接的方式去解決它。
對於那些想要深入了解技術細節或在自己的項目中應用這些創新的讀者，完整的研究論文和相關資源都已在項目網站https://ucsc-vlaa.github.io/OpenVision2 上公開提供。這種開放共享的精神正是推動科技進步的重要動力，讓更多的人能夠站在巨人的肩膀上，繼續探索AI的無限可能。
Q&A
Q1：OpenVision 2相比原版OpenVision有什麼主要改進？
A：OpenVision 2的核心改進是大幅簡化了訓練架構，去掉了原版中的文本編碼器和對比學習損失，只保留圖像編碼器和文本解碼器，專注於"看圖說話"的生成式訓練。這使得訓練時間縮短1.5倍，內存使用減少1.8倍，同時性能保持不變甚至更好。
Q2：為什麼OpenVision 2能夠在簡化架構的同時保持甚至提升性能？
A：關鍵在於使用了高質量的合成數據集ReCap-DataComp-1B v2和巧妙的token掩碼策略。高質量的訓練數據就像好的教材，而掩碼策略強制模型學會從不完整資訊中提取關鍵特徵，提高了模型的理解能力。同時，生成式訓練與下游應用更匹配。
Q3：OpenVision 2的技術突破對普通AI開發者有什麼實際意義？
A：最直接的好處是大幅降低了訓練成本和硬體要求，讓更多研究團隊和小公司能夠訓練高質量的視覺編碼器。研究團隊還開源了所有代碼、預訓練模型和數據集，開發者可以直接使用這些資源構建自己的多模態AI應用。
