這項由新加坡南洋理工大學的張思越、高嗣源等研究人員聯合耶魯大學、紐約大學上海分校、上海交通大學和中科院大學共同完成的研究發表於2025年10月，論文編號為arXiv:2510.09510v1。想要深入了解這項研究的讀者可以通過該編號查詢完整論文。
當你在谷歌上搜索"頭痛的原因"時，搜尋引擎能輕鬆找到相關網頁。但如果一位醫生想要尋找與某個複雜醫學影像相關的病例資料，或者工程師需要查找特定設計問題的解決方案時，現有的搜索技術就顯得力不從心了。這就好比你手裡拿著一張複雜的藏寶圖，卻沒有合適的工具來解讀其中的線索。
這正是研究團隊要解決的核心問題。他們發現，當前的多模態檢索系統就像是只會認字母卻不懂單詞含義的初學者，面對包含圖像和文字混合的專業文檔時，往往只能進行簡單的表面匹配，而無法進行深層的邏輯推理。比如，當系統看到一張顯微鏡下的組織切片圖像時，它可能能識別出這是一張醫學圖片，但卻無法理解這張圖片所反映的具體病理特徵，更別說找到相關的診斷指南了。
為了突破這一瓶頸，研究團隊創造了MRMR這樣一個全新的測試平台。這個平台就像是為AI系統設計的"專業資格考試"，涵蓋了從醫學診斷到工程設計，從藝術理論到商業分析等23個不同領域的1502個複雜查詢任務。每個任務都經過了人類專家的精心驗證，確保其準確性和專業性。
這項研究的創新之處在於三個方面。首先，它要求AI系統不僅要能處理單一的圖像或文本，還要能理解圖像和文字交織在一起的複雜文檔，就像人類專家在閱讀學術論文或技術報告時一樣。其次，這些查詢任務需要深度推理，而不是簡單的關鍵詞匹配。最後，研究還首次引入了"矛盾檢索"的概念，要求AI系統能夠識別出與查詢內容相衝突的資訊，這對於專業領域的風險防控具有重要意義。
研究團隊對14種前沿模型進行了全面測試，結果令人深思。表現最好的竟然是傳統的文本檢索模型配合AI生成的圖像描述，達到了52.1分的成績。而那些看似更先進的多模態模型反而表現不佳，這就像是專門訓練的全能運動員在某些單項比賽中輸給了專項選手。更有趣的是，這些模型在不同專業領域的表現差異巨大，在藝術領域表現出色的模型在醫學領域可能就表現平平。
這項研究不僅揭示了當前AI技術的局限性，更為未來的發展指明了方向。它告訴我們，要讓AI真正成為專業領域的得力助手，僅僅提高識別能力還遠遠不夠，更重要的是要提升其推理和理解能力。
一、構建專業領域的"考試題庫"：MRMR基準的設計理念
研究團隊面臨的第一個挑戰就像是為不同專業的學生設計統一的能力測試。他們需要創造一個既能覆蓋多個專業領域，又能真實反映專業工作複雜性的測試平台。
MRMR基準就像是一個精心設計的圖書館，裡面收藏著來自23個不同領域的"珍貴文獻"。這個圖書館不是簡單地按照學科分類，而是按照三種不同的"閱讀任務"來組織內容。第一類任務叫做"知識檢索"，就像是專業人士在遇到複雜問題時翻閱相關資料尋找答案。比如，當一位醫生看到一張複雜的醫學影像時，需要找到相關的診斷指南或類似病例。第二類任務叫做"定理檢索"，專門針對需要數學或物理計算的問題，就像是工程師在解決技術難題時需要查找相關的公式和定理。第三類任務最為獨特，叫做"矛盾檢索"，要求系統能夠找出與給定情況相衝突的規則或要求，這在風險管控和質量檢查中極為重要。
為了確保這些"考試題"的質量，研究團隊採用了非常嚴格的製作流程。他們從已有的多學科理解基準MMMU-Pro中精選出最具挑戰性的問題，這些問題即使對專業人士來說也需要仔細思考才能解答。然後，團隊邀請了來自各個領域的24位專家學者，就像是邀請各科的資深教授來審核試卷一樣，確保每個問題和答案都經過了專業驗證。
這個過程就像是製作一道複雜的菜餚，需要精選食材、精心搭配、反覆調味。研究團隊不僅要確保問題的專業性，還要保證答案文檔的準確性和相關性。他們開發了一套半自動化的流程，先由AI系統進行初步篩選和整理，再由人類專家進行最終的質量把關。這種人機協作的方式既提高了效率，又保證了質量。
特別值得注意的是，MRMR中的文檔不是簡單的純文本或單張圖片，而是像真實的專業文獻一樣，包含了圖像和文字的混合內容。這就像是要求AI系統能夠閱讀一本圖文並茂的教科書，而不僅僅是看單獨的圖片或文欄位落。這種設計更符合專業工作的實際場景，因為專業文檔往往需要通過圖表、示意圖等視覺元素來輔助文字說明。
二、三種檢索任務的深度解析：從知識查找到邏輯推理
研究團隊設計的三種檢索任務就像是三種不同難度級別的智力遊戲，每一種都考察著AI系統的不同能力。
知識檢索任務就像是讓AI系統參加一場跨學科的專業知識競賽。當系統面對一個包含複雜圖像的專業問題時，它需要從龐大的文檔庫中找出能夠幫助解答這個問題的相關資料。這不是簡單的關鍵詞匹配，而是需要理解問題的本質，識別圖像中的關鍵資訊，並將這些資訊與文檔庫中的內容進行深層關聯。
比如，當系統看到一張顯示胸部X光片的醫學圖像時，它不僅要識別出這是一張醫學影像，還要理解影像中可能存在的異常徵象，然後找到相關的診斷指南、治療建議或類似病例。這就像是一位實習醫生在遇到複雜病例時，需要查閱大量醫學文獻來尋找診斷依據。
定理檢索任務則更像是數學或物理課上的應用題求解。當AI系統面對一個需要計算的問題時，它必須能夠識別出問題背後的數學或物理原理，然後找到相應的公式、定理或計算方法。這種任務特別考驗系統的抽象思維能力，因為它需要從具體的問題情境中提取出抽象的數學關係。
研究團隊為這類任務專門構建了一個包含約14000個定理和公式的資料庫，涵蓋數學、物理、工程和商業等多個領域。這個資料庫就像是一個巨大的"公式寶典"，但關鍵在於AI系統能否在面對具體問題時，準確地找到適用的公式或定理。
最具創新性的矛盾檢索任務則完全是研究團隊的原創設計。這類任務要求AI系統具備一種特殊的"批判性思維"能力，能夠識別出與給定情況相衝突的規則、要求或標準。這在現實世界中具有重要的應用價值，比如質量檢查、風險評估和合規審核等場景。
研究團隊設計了三種不同類型的矛盾檢索測試。第一種是基於圖像的否定測試，就像是讓系統玩"找不同"遊戲，要求它識別出文字描述中與圖像內容相矛盾的資訊。第二種是車輛設計合規檢查，系統需要判斷給定的車輛設計是否違反了相關的技術規範。第三種是交通違規識別，要求系統能夠識別出交通場景中違反道路交通規則的行為。
這些任務的設計充分體現了研究團隊對現實應用場景的深刻理解。在專業工作中，找出潛在的問題和衝突往往比找到正確答案更加重要，因為這直接關係到安全性和可靠性。
三、測試結果揭示的技術現狀：意料之外的發現
當研究團隊對14種不同的AI模型進行測試時，結果出現了許多意想不到的情況，就像是一場充滿懸念的科學實驗。
最令人意外的發現是，傳統的文本檢索模型配合AI生成的圖像描述，竟然取得了最好的成績。這就像是在一場高科技競賽中，使用傳統工具的參賽者反而獲得了冠軍。具體來說，Qwen3-Embedding模型配合大語言模型生成的圖像說明文字，達到了52.1分的nDCG@10得分，這個成績超過了所有專門設計的多模態模型。
這個結果背後的原因值得深思。研究團隊發現，雖然AI生成的圖像描述可能會遺漏一些視覺細節，但它們能夠提供豐富的上下文資訊和背景知識，這對於專業領域的檢索任務來說反而更有幫助。這就像是一個經驗豐富的解說員，即使他無法看到比賽的每一個細節，但他豐富的背景知識和理解能力能夠幫助觀眾更好地理解比賽的進程。
相比之下，那些看似更先進的多模態模型卻表現不佳。最好的多模態模型Ops-MM-Embedding只獲得了45.4分，比最佳成績低了近7分。更令人關注的是，這些模型在不同類型任務上的表現差異巨大。在知識檢索任務中，Ops-MM-Embedding還能達到67.4分，但在定理檢索和矛盾檢索任務中，成績分別下降到30.1分和36.6分。
這種巨大的性能落差就像是一個在語文考試中表現優秀的學生，在數學和邏輯推理題上卻表現平平。這說明當前的多模態模型雖然在語義匹配方面有一定能力，但在需要深度推理和邏輯分析的任務上還存在明顯不足。
研究團隊還發現了另一個有趣的現象：同一個模型在不同專業領域的表現差異很大。比如，MM-Embed模型在醫學領域的表現與Ops-MM-Embedding相當，但在藝術領域卻明顯落後。這就像是一個醫學專家在面對藝術作品時可能會感到困惑一樣，不同的AI模型也有自己的"專長領域"。
最令人擔憂的是，幾乎所有模型在矛盾檢索任務中的表現都很差，特別是在最基礎的否定測試中，所有模型的準確率都低於25%，這相當於隨機猜測的水平。這個結果表明，當前的AI系統在批判性思維和邏輯推理方面還有很大的提升空間。
這些發現對於AI技術的發展具有重要的指導意義。它們告訴我們，要讓AI系統真正勝任專業工作，僅僅提高識別精度是不夠的，更重要的是要增強其推理能力和批判思維能力。
四、深度分析：為什麼多模態模型表現不如預期
研究團隊通過詳細的錯誤分析，揭示了當前多模態模型的兩個主要問題，這些發現就像是醫生通過病例分析找到了疾病的根源。
第一個問題是"視覺偏見勝過內容相關性"。這就像是一個人在圖書館裡找書時，只關注書的封面顏色而忽略了書的內容。研究團隊發現，多模態模型往往會被圖像的表面相似性誤導，而忽略了真正重要的語義關聯。
在一個農業科學的案例中，系統需要識別土壤中的生物。正確答案的文檔詳細討論了土壤動物群落的分類和特徵，這正是解答問題所需要的核心資訊。但是系統卻選擇了一個包含線蟲顯微鏡照片的文檔，僅僅因為這個文檔中的線蟲圖像與問題中的蚯蚓在視覺上有相似性。這就像是一個學生在回答生物題時，看到昆蟲的圖片就選擇任何包含昆蟲圖片的選項，而不考慮選項內容是否與問題相關。
類似的情況也出現在醫學影像分析中。系統會因為兩張眼部圖像在視覺上相似就認為它們相關，即使這兩張圖像分別來自不同的疾病案例。這種表面化的匹配方式顯然無法滿足專業應用的需求。
第二個更嚴重的問題是"高級推理能力的缺失"。在一個交通違規識別的案例中，系統需要判斷一輛車是否違反了"保持車道"的規定。雖然系統能夠識別出圖像中的車輛、隧道和車道標線等基本元素，但卻無法進行下一步的邏輯推理，即判斷車輛是否跨越了車道線。這就像是一個人能夠看到所有的棋子，卻無法理解當前的棋局形勢。
這種推理能力的缺失在專業領域尤為致命。專業工作往往需要基於觀察到的現象進行複雜的邏輯分析和判斷，而不僅僅是簡單的模式識別。一位醫生不僅要能識別X光片中的各種結構，還要能分析這些結構的異常變化並得出診斷結論。一位工程師不僅要能看懂設計圖紙，還要能判斷設計是否符合相關規範和標準。
研究團隊還發現，即使在相對簡單的否定任務中，所有模型的表現都很糟糕。這些任務本質上就是讓系統識別出文字描述與圖像內容的矛盾之處，類似於"找茬"遊戲。但令人意外的是，即使是最先進的模型也無法很好地完成這樣的任務，準確率基本等同於隨機猜測。
這些發現揭示了一個深層問題：當前的多模態模型主要是通過大量數據的統計學習來工作的，它們缺乏真正的理解和推理能力。它們就像是記憶力很好但缺乏思考能力的學生，能夠記住大量的知識點，卻無法靈活運用這些知識來解決新問題。
要解決這些問題，研究團隊認為需要在模型架構和訓練方法上進行根本性的改進，特別是要增強模型的邏輯推理能力和批判性思維能力。
五、推理增強：讓AI學會"深度思考"的新嘗試
面對多模態模型推理能力不足的問題，研究團隊探索了一種有趣的解決方案，就像是給AI系統配備了一個"思考助手"。
這種方法叫做"測試時推理擴展"，基本思路是讓大語言模型在回答問題之前先進行一番"深度思考"。就像學生在考試時不是直接寫答案，而是先在草稿紙上分析問題、整理思路，然後再給出最終答案。
具體的操作過程就像是讓AI系統變成一個會自言自語的思考者。當面對一個複雜的多模態查詢時，系統首先會生成一段詳細的推理過程，包括對問題的理解、對圖像內容的分析、相關知識的回顧，以及逐步的邏輯推導。然後，系統再基於這個詳細的推理過程來進行檢索和匹配。
研究團隊使用兩種不同規模的大語言模型來生成這種推理過程：一個是參數量較小的Qwen2-VL-2B模型，另一個是更大更強的Qwen2.5-VL-72B模型。結果顯示，這種方法帶來了顯著的性能提升。使用小模型生成推理過程時，檢索性能提升了16.5分；使用大模型時，提升幅度更是達到了26.5分。
這種提升效果就像是給一個匆忙的學生更多的思考時間，讓他能夠仔細分析問題而不是急著給答案。更有趣的是，大模型不僅生成了更詳細的推理過程，其推理文本的長度比小模型多出20%到60%，這表明更充分的思考過程確實有助於提高問題解決的質量。
但這種方法也有其代價。生成詳細的推理過程需要額外的計算時間和資源，這就像是為了得到更準確的答案而需要投入更多的思考時間。在實際應用中，需要在準確性和效率之間找到合適的平衡點。
研究團隊還發現，這種推理擴展方法在不同類型的任務上效果不同。在知識檢索任務中，效果非常明顯，因為這類任務需要廣泛的背景知識和上下文理解。但在定理檢索任務中，效果相對有限，可能是因為這類任務更多依賴於精確的數學推理而不是語言描述。
這個發現啟發了一個重要的思考：也許我們不應該期待一個通用的AI系統能夠在所有任務上都表現完美。就像人類專家一樣，不同的AI系統可能需要在不同的領域發揮各自的專長，通過協作來解決複雜問題。
這種推理增強的方法也為未來的研究指出了一個有前途的方向。如果我們能夠讓AI系統學會更好的推理和思考，而不僅僅是識別和匹配，那麼它們在專業領域的應用潛力將會大大增強。
六、跨領域性能差異：AI的"偏科"現象
研究團隊在分析結果時發現了一個非常有趣的現象，那就是不同的AI模型在各個專業領域的表現差異很大，就像是學生們都有自己擅長和不擅長的科目。
這種"偏科"現象在MRMR基準測試中表現得尤為明顯。同一個模型可能在某個領域表現出色，在另一個領域卻表現平平。比如，MM-Embed模型在臨床醫學和診斷學領域的表現能夠與最好的Ops-MM-Embedding模型相提並論，但在藝術相關任務中卻明顯落後。這就像是一個醫學天才在面對藝術史問題時可能會感到困惑。
更深入的分析顯示，這種差異背後有著複雜的原因。在藝術領域，AI系統往往能夠通過尋找視覺上相似的藝術作品來獲得不錯的成績。比如，當查詢涉及某種特定風格的繪畫時，系統可以相對容易地找到風格相近的作品。這種任務更多依賴於視覺特徵的匹配，這正是當前多模態模型比較擅長的能力。
但在醫學影像分析中，情況就完全不同了。兩張看起來相似的醫學圖像可能代表著完全不同的疾病或症狀。系統需要理解的不是表面的視覺相似性，而是深層的病理學意義。這就像是要求一個人不僅要能看出兩張照片在構圖上的相似性，還要理解照片背後的醫學含義。
研究團隊還發現，即使是同一個專業領域內部，不同子領域的任務難度也有很大差異。在知識檢索任務中，不同學科的平均得分從最低的27.3分到最高的70.4分，差異巨大。這反映出各個專業領域的知識結構和推理模式存在本質區別。
這種差異性實際上也反映了人類專業知識的特點。即使是受過高等教育的人，也很難在所有專業領域都表現出色。每個領域都有其獨特的知識體系、思維方式和分析方法。比如，醫學強調基於症狀的診斷推理，工程學注重基於物理原理的設計分析，而藝術史則更多涉及文化背景和風格演進的理解。
對於AI技術的發展來說，這個發現具有重要的啟示意義。它告訴我們，也許我們不應該追求一個在所有領域都完美的通用AI系統，而是應該開發在特定領域具有專業優勢的專門化系統。這就像是醫院裡有各科專家，每個專家都在自己的領域內提供最專業的服務。
同時，這也提醒我們在評估AI系統性能時需要更加細緻和全面。僅僅看整體的平均得分是不夠的，我們需要了解系統在不同領域和不同任務類型上的具體表現，這樣才能更準確地判斷系統的適用範圍和應用價值。
這種跨領域的性能分析為未來的AI系統開發提供了重要的指導。開發者可以根據目標應用領域的特點來優化模型，而不是試圖創造一個在所有方面都表現平均的通用系統。
說到底，這項研究為我們揭示了AI技術發展的一個重要現狀：雖然當前的多模態AI系統在某些方面已經取得了令人矚目的進展，但要真正勝任專業領域的複雜任務，特別是那些需要深度推理和批判性思維的任務，還有很長的路要走。
研究結果表明，簡單地增加模型參數或訓練數據並不能直接解決推理能力不足的問題。更重要的是要在模型架構、訓練方法和評估標準等多個層面進行系統性的改進。MRMR基準的提出為這種改進提供了一個重要的評估工具和發展方向。
對於普通人來說，這項研究的意義在於讓我們更清楚地認識到AI技術的現狀和局限性。雖然AI在很多方面已經表現得很出色，但在需要專業知識和複雜推理的任務上，人類專家仍然具有不可替代的價值。未來的AI系統更可能是作為專業人士的助手和工具，而不是完全的替代者。
這個研究也為AI技術的發展指出了一個清晰的方向：要讓AI真正成為各個專業領域的得力助手，我們需要更加關注其推理能力、批判思維能力和跨模態理解能力的提升。這不僅需要技術上的突破，也需要對人類專業工作模式的深入理解和借鑑。隨著這些技術的不斷發展和完善，我們有理由相信，AI系統將在未來為各個專業領域提供更加智能和有效的支持。
Q&A
Q1：MRMR基準與現有的AI測試有什麼不同？
A：MRMR是首個專門針對專家級多學科多模態檢索的基準測試。與現有測試不同，它涵蓋23個專業領域的1502個複雜查詢，每個任務都需要深度推理而非簡單匹配。更重要的是，它引入了全新的"矛盾檢索"任務，要求AI識別衝突資訊，這在風險防控中極為重要。
Q2：為什麼傳統文本檢索模型表現比多模態模型更好？
A：研究發現，傳統文本檢索模型配合AI生成的圖像描述能提供豐富的上下文資訊和背景知識，這對專業檢索更有幫助。而多模態模型容易被表面視覺相似性誤導，缺乏深層推理能力。這就像經驗豐富的解說員雖然看不到所有細節，但豐富的背景知識反而更有價值。
Q3：這項研究對未來AI發展有什麼啟示？
A：研究揭示了當前AI系統的兩大局限：過度依賴視覺相似性而忽視內容相關性，以及缺乏高級推理能力。這提示我們需要開發專業領域的專門化AI系統，而非追求通用完美系統。同時，推理增強技術顯示了讓AI學會"深度思考"的潛力，為專業應用指明了方向。
