要說當今人工智慧領域最熱門的話題之一，就是那些在自然圖像上訓練的大模型能否在其他領域也表現出色。就像一個在城市裡開車很熟練的司機，能否在鄉村小路上也遊刃有餘？最近，由帝國理工學院的Che Liu團隊領導的一項大規模研究，就對這個問題給出了詳細的答案。這項研究發表於2025年9月，匯集了來自帝國理工學院、中國科學技術大學、牛津大學、慕尼黑工業大學等多所知名學府的研究力量，對視覺基礎模型DINOv3在醫學影像領域的表現進行了全面而深入的評估。
DINOv3是什麼呢？它就像是一個在數十億張普通照片上"練眼力"的AI模型，能夠識別和理解各種視覺模式。研究團隊想要知道的是：這個只看過日常照片的AI，在面對X光片、CT掃描、病理切片這些醫學圖像時，能否也表現得同樣出色？這個問題的答案不僅關係到醫學AI的發展方向，更可能影響到未來醫療診斷的效率和準確性。
研究團隊設計了一場"全方位體檢"，讓DINOv3在各種醫學影像任務上接受考驗。他們測試了從二維X光片分類到三維CT掃描分割的多種任務，涵蓋了胸部X光、病理切片、電子顯微鏡圖像、正電子發射斷層掃描等多種醫學成像方式。就像讓一個通才學生參加不同學科的考試，看看他在哪些科目上能發揮特長，又在哪些科目上遇到挫折。
結果顯示了一幅複雜而有趣的圖景：DINOv3在某些醫學影像任務上表現令人刮目相看，甚至超過了專門為醫學領域設計的模型，但在另一些任務上卻遭遇了慘敗。更令人意外的是，傳統認為"模型越大性能越好"的規律在醫學領域並不總是適用，有時候小模型反而比大模型表現更佳。
一、從自然世界到醫學世界：一場跨界的挑戰
要理解這項研究的意義，我們首先需要明白什麼是基礎模型。如果把人工智慧比作學習能力，那麼基礎模型就像是一個博學的通才，通過閱讀大量書籍積累了豐富的知識和理解能力。DINOv3就是這樣一個在17億張自然圖像上訓練出來的"博學生"，它學會了識別各種物體、場景和視覺模式。
但是醫學影像和日常照片有著天壤之別。當你看一張風景照片時，能夠輕易識別出藍天、白雲、綠樹，但面對一張X光片時，可能完全不知道那些灰白色的陰影代表什麼。醫學影像有其特殊性：它們往往是黑白的，顯示的是人體內部結構，需要專業知識才能理解其中的異常模式。
研究團隊面臨的核心問題就是：一個在普通照片上訓練的AI模型，能否理解這些專業的醫學圖像？這就像讓一個只讀過文學作品的人去理解醫學教科書，能成功嗎？
為了回答這個問題，研究團隊設計了一套全面的評估體系。他們選擇了醫學影像領域最常見和最重要的任務類型：分類任務（判斷圖像顯示的是正常還是異常）和分割任務（準確標出病變區域的邊界）。同時，他們考慮了不同維度的數據：二維圖像（如X光片、病理切片）和三維體數據（如CT、MRI掃描）。
這種設計就像為一個學生準備了涵蓋各個學科的綜合考試。有些科目可能和學生的專長相近（比如胸部X光和普通照片都有明顯的形狀輪廓），有些則完全陌生（比如電子顯微鏡圖像顯示的細胞結構）。通過這樣的全面測試，就能客觀評估這個"跨界學生"的真實水平。
二、胸部影像：意外的成功故事
當研究團隊讓DINOv3去分析胸部X光片時，結果令人驚喜。在NIH-14數據集（包含11萬多張胸部X光片，需要識別14種不同的胸部疾病）上，DINOv3的表現甚至超過了專門為醫學圖像設計的BiomedCLIP模型。這就好比一個從未學過醫學的人，僅憑對普通圖像的理解，就能在胸部疾病識別上擊敗醫學院的學生。
為什麼會出現這種現象？研究團隊分析認為，胸部X光片中的許多病變模式實際上和自然圖像中的視覺模式有相似之處。肺部的紋理、心臟的輪廓、骨骼的形狀，這些都包含了DINOv3在自然圖像中已經學會識別的基本視覺元素。就像一個善於識別雲朵形狀的人，也能比較容易地識別肺部陰影的異常模式。
在肺炎檢測任務中，DINOv3也展現了出色的能力。研究使用了RSNA肺炎檢測挑戰賽的數據集，這個數據集包含了近3萬張胸部X光片。雖然DINOv3在這個任務上略遜於專業的醫學模型，但差距很小，充分證明了其跨領域應用的潛力。
更有趣的是，在三維CT圖像的分類任務中，DINOv3的表現更加搶眼。在CT-RATE數據集上，這個包含了4萬多個CT掃描的大規模資料庫中，DINOv3大幅超越了專門的CT分析模型CT-CLIP。具體來說，DINOv3-B模型在線性分類任務中達到了79.8%的準確率，而CT-CLIP只有73.1%。
這個結果特別令人意外，因為CT圖像是三維的，而DINOv3本質上是一個二維模型。研究團隊採用了一種巧妙的方法：將CT掃描的每一層切片都單獨輸入DINOv3進行特徵提取，然後將所有切片的特徵匯總起來代表整個三維掃描。這種方法就像把一本厚書逐頁閱讀，然後總結出整本書的要點。結果證明，這種"化整為零"的策略非常有效。
三、病理切片：專業壁壘的現實
然而，當面對病理切片這種高度專業化的醫學圖像時，DINOv3遇到了嚴重的挫折。病理切片是通過顯微鏡觀察經過特殊染色的組織樣本，用於診斷癌症等疾病。這些圖像充滿了複雜的細胞紋理和微觀結構，需要多年的專業訓練才能準確解讀。
在Camelyon16數據集的乳腺癌淋巴結轉移檢測任務中，DINOv3的表現只能用慘澹來形容。專門為病理學設計的UNI模型達到了96.5%的準確率，而DINOv3-S只有84.0%，DINOv3-B更是降到了80.5%。這種差距就像讓一個從未學過外語的人去翻譯高難度的醫學文獻，結果可想而知。
更令人困惑的是，在這個任務中出現了"大模型不如小模型"的現象。按照常規理解，參數更多、計算能力更強的大模型應該性能更好，但DINOv3-B（86M參數）的表現反而不如DINOv3-S（22M參數）。這打破了"越大越好"的傳統認知，暗示著在特定領域中，模型的適配性可能比規模更重要。
在跨數據集的泛化測試中，這種差距更加明顯。當研究團隊用在Camelyon16上訓練的模型去測試Camelyon17數據集時，專業模型依然保持了93%以上的準確率，而DINOv3的性能進一步下滑。這說明在高度專業化的醫學任務中，領域特定的知識和特徵仍然不可替代。
研究團隊分析認為，病理切片的失敗主要源於兩個方面：首先，這類圖像包含的是細胞級別的微觀資訊，而自然圖像主要是宏觀的物體和場景；其次，病理診斷需要識別非常細微的紋理變化和形態異常，這些特徵在自然圖像中很少出現。就像一個習慣了風景攝影的人，突然要去拍攝微距昆蟲照片，需要完全不同的技能和眼光。
四、三維分割：複雜任務中的得失
在三維醫學圖像分割任務中，DINOv3展現了複雜多樣的表現。分割任務要求AI不僅要識別出病變或器官，還要精確標出它們的邊界，這比簡單的分類任務難度更高，就像不僅要認出一個人，還要準確描繪出他的輪廓。
在醫學分割十項全能賽（MSD）這個涵蓋10種不同器官和病變的標準測試中，DINOv3的表現可以用"參差不齊"來形容。在某些任務上，比如肺部和脾臟分割，DINOv3-L甚至取得了最佳成績，分別達到了72.4%和91.2%的Dice分數（一種衡量分割準確性的指標）。但在整體表現上，它仍然落後於專門設計的分割模型nnU-Net。
這種結果反映了一個重要問題：DINOv3作為一個通用的特徵提取器表現不錯，但要在複雜的三維分割任務中達到最佳性能，還需要更精密的任務適配層。就像一個好的汽車發動機，配上合適的傳動系統才能發揮最大效能。
在電子顯微鏡神經元分割這個極其專業的任務中，DINOv3遭遇了徹底的失敗。電子顯微鏡圖像顯示的是納米級別的神經元結構，需要識別和分割極其複雜的神經元邊界。傳統專業方法的錯誤率通常在0.1-0.2之間，而DINOv3的錯誤率高達0.4-0.9，相當於完全無法勝任這個任務。
這種失敗並不令人意外。電子顯微鏡圖像和自然圖像之間的差異實在太大，就像讓一個只看過油畫的人去理解抽象藝術一樣困難。研究團隊通過可視化分析發現，DINOv3提取的特徵圖過於粗糙，缺乏識別細微神經元邊界所需的高頻細節資訊。
五、PET掃描：功能成像的挑戰
正電子發射斷層掃描（PET）是一種顯示組織功能活動的成像技術，主要用於癌症診斷。與顯示解剖結構的CT或MRI不同，PET圖像顯示的是組織的代謝活動，活躍的癌細胞會在圖像中顯示為"熱點"。
在AutoPET-II和HECKTOR 2022兩個PET圖像腫瘤分割數據集上，DINOv3的表現堪稱災難性。傳統方法能夠達到50-60%的分割精度，而DINOv3在大多數測試中的精度接近0%，基本上等於完全失效。
這種失敗的原因很容易理解。PET圖像顯示的是功能資訊而非形態資訊，這與DINOv3在自然圖像中學到的主要是形狀、紋理、顏色等形態特徵完全不匹配。就像讓一個只會看外表的人去理解內心活動一樣，根本不在一個維度上。
研究團隊通過可視化分析證實了這個假設。他們發現DINOv3在處理CT圖像時能夠識別出解剖結構的輪廓，但面對PET圖像時完全無法理解那些代表代謝活動的信號模式。這說明功能成像和結構成像之間存在著根本性的差異，需要完全不同的理解方式。
六、規模定律的失效：大不一定美
傳統觀念認為，在人工智慧領域，模型越大通常性能越好，這就是所謂的"規模定律"。然而，這項研究發現了一個意外現象：在醫學影像領域，這個定律經常失效。
在多個測試任務中，研究團隊觀察到了"逆規模"現象。例如，在NIH-14胸部X光分類任務中，當輸入圖像解析度從256×256提高到512×512時，所有模型的性能反而下降了。在某些病理切片分析任務中，小模型DINOv3-S的表現超過了大模型DINOv3-B和DINOv3-L。
這種現象說明了什麼？研究團隊認為，這反映了醫學影像領域的特殊性質。不同於自然圖像處理中"細節越多越好"的邏輯，醫學影像分析往往需要關注特定尺度的特徵。過多的細節資訊有時反而會干擾模型對關鍵病變特徵的識別，就像在嘈雜的環境中，降低音量反而能聽得更清楚一樣。
這個發現對醫學AI的實際應用具有重要指導意義。它提醒我們不能盲目追求更大的模型或更高的解析度，而應該根據具體任務的特點選擇合適的模型規模和輸入參數。就像選擇工具一樣，最合適的往往比最大的更有效。
七、跨領域遷移的深層思考
這項研究的結果揭示了一個重要的科學問題：什麼樣的視覺知識可以在不同領域之間遷移？通過系統的分析，研究團隊發現了一個有趣的模式：DINOv3在那些與自然圖像有相似視覺特徵的醫學任務上表現良好，而在差異較大的任務上則表現糟糕。
胸部X光片之所以成功，是因為其中包含了許多DINOv3熟悉的視覺元素：明暗對比、形狀輪廓、紋理變化等。這些都是自然圖像中常見的特徵。而病理切片、電子顯微鏡圖像和PET掃描失敗的原因，恰恰在於它們包含的視覺資訊類型是DINOv3從未接觸過的。
這個發現具有重要的理論意義。它表明，基礎模型的跨領域遷移能力並不是魔法，而是有其內在邏輯的。模型只能遷移它已經學到的知識類型，而不能憑空產生新的理解能力。就像一個會多種語言的人可以更快學會新語言，但如果要學習音樂，語言技能就幫不上太多忙了。
這也解釋了為什麼在某些任務中，專門訓練的小模型能夠超越通用的大模型。專業模型就像專科醫生，雖然知識面窄，但在特定領域有著深入的理解。而通用模型更像全科醫生，知識面廣但在某些專業問題上可能不夠深入。
八、方法論的創新與局限
這項研究在方法論上也有值得關注的創新點。為了將二維的DINOv3模型應用到三維醫學數據上，研究團隊採用了"逐層處理"的策略。他們將三維掃描分解為一系列二維切片，分別提取特徵，然後通過平均池化等方法整合成整體特徵。
這種方法的巧妙之處在於充分利用了現有模型的能力，而不需要重新訓練。就像用平面地圖拼接成立體地形圖一樣，通過合理的組合策略，二維工具也能處理三維問題。實驗結果證明，這種方法在CT分類等任務上非常有效。
但這種方法也有其局限性。在需要理解三維空間關係的複雜分割任務中，簡單的特徵聚合可能不夠充分。三維結構的複雜性往往體現在切片間的關聯關係上，而逐層處理的方法可能會丟失這些重要資訊。這就像只看電影的靜止畫面而無法理解完整的故事情節一樣。
研究團隊主要採用了線性探測的評估方法，即凍結DINOv3的參數，只訓練最後的分類層。這種方法的優勢是能夠客觀評估預訓練特徵的質量，但也可能低估了模型的潛力。如果允許精調整個模型，可能會獲得更好的性能。
九、實際應用前景與挑戰
這項研究的結果對醫學AI的實際應用具有重要指導意義。對於那些視覺特徵與自然圖像相似的醫學任務，比如胸部X光分析、CT掃描評估等，使用預訓練的通用視覺模型可能是一個高效的解決方案。醫院和研究機構不需要從頭訓練專門的醫學AI，而可以直接使用這些強大的基礎模型作為起點。
但同時，研究結果也清楚地表明了通用模型的局限性。對於高度專業化的任務，比如病理診斷、電子顯微鏡分析、功能成像等，仍然需要專門的醫學AI模型。這些領域的特殊性要求深入的領域知識和專門的特徵學習。
從成本效益的角度來看，這個發現很有價值。醫學AI的開發通常需要大量的專業標註數據和計算資源。如果能夠識別出哪些任務適合使用通用模型，哪些需要專門開發，就能夠更合理地分配資源，提高開發效率。
研究還發現了一個有趣的現象：在適合的任務上，DINOv3不僅能夠達到良好的性能，有時甚至能夠超越專門的醫學模型。這可能是因為自然圖像的多樣性為模型提供了更豐富的視覺先驗知識，在某些情況下這種多樣性比專業性更有優勢。
十、未來發展方向與展望
基於這項研究的發現，未來的醫學AI發展可能會走向更加精細化的方向。研究團隊提出了幾個有前景的發展方向。
首先是開發更好的適配技術。既然DINOv3在某些任務上展現了良好的基礎能力，如何通過更精密的適配層來充分發揮這種能力就成了關鍵問題。這可能包括參數高效的微調方法、更智能的特徵融合技術等。
其次是探索混合模型的可能性。能否將通用視覺模型的強大特徵提取能力與專業醫學模型的領域知識結合起來？這種混合方法可能會在保持專業性的同時，獲得更好的泛化能力。
第三是開發更好的三維適配技術。目前的逐層處理方法雖然有效，但還比較簡單。如何設計更精密的二維到三維的轉換機制，充分利用三維醫學數據的空間關係資訊，是一個值得深入研究的方向。
研究團隊特別提到了一個有趣的應用前景：利用DINOv3強大的視覺特徵來改進醫學圖像的三維重建。由於該模型能夠提取高質量的二維特徵，這些特徵可能有助於保持多視角之間的一致性，從而生成更準確的三維醫學圖像。
說到底，這項研究給我們上了重要的一課：人工智慧的跨領域應用並不是簡單的"一招鮮吃遍天"，而是需要深入理解不同領域的特點和需求。DINOv3在醫學影像中的表現就像一個多才多藝的演員，在某些角色中發揮出色，在另一些角色中卻力不從心。關鍵是要找到合適的"角色定位"，發揮其優勢，規避其劣勢。
這項研究不僅為醫學AI的發展提供了寶貴的實證數據，更重要的是為我們理解跨領域知識遷移提供了深刻的洞察。它提醒我們，在追求人工智慧通用性的同時，不能忽視專業化的價值。最終，通用能力和專業能力的有機結合，可能才是人工智慧在特定領域發揮最大價值的關鍵所在。
對於普通人來說，這項研究的意義在於讓我們看到了AI技術發展的複雜性和多樣性。它既不是萬能的魔法，也不是毫無用處的工具，而是需要在合適的場景中發揮合適的作用。隨著這類研究的深入，我們可以期待看到更多精準、高效的醫學AI應用走進臨床實踐，為醫療診斷和治療提供有力支持。
Q&A
Q1：DINOv3在所有醫學影像任務上都表現很好嗎？
A：不是的。DINOv3的表現很有選擇性，在胸部X光和CT掃描等任務上表現出色，甚至超過專門的醫學AI模型，但在病理切片、電子顯微鏡圖像和PET掃描等任務上表現很差，基本無法勝任。這主要是因為後者包含的視覺特徵與DINOv3在自然圖像中學到的知識差異太大。
Q2：為什麼大模型在醫學影像任務中不一定比小模型好？
A：研究發現醫學影像領域不遵循"越大越好"的傳統規律。在某些任務中，小模型DINOv3-S的表現反而超過了大模型DINOv3-B和DINOv3-L。這可能是因為醫學影像分析需要關注特定尺度的特徵，過多的參數和細節資訊有時會干擾模型識別關鍵的病變特徵，就像在嘈雜環境中降低音量反而能聽得更清楚一樣。
Q3：DINOv3作為二維模型如何處理三維醫學數據？
A：研究團隊採用了"逐層處理"的巧妙策略。他們將三維掃描（如CT）分解為一系列二維切片，讓DINOv3分別處理每個切片提取特徵，然後通過平均池化等方法將所有切片的特徵整合成代表整個三維掃描的特徵。這種方法在CT分類任務上非常有效，但在需要理解複雜三維空間關係的任務中可能有局限性。
