這項由芝加哥大學布斯商學院和外科數據科學集體共同完成的研究發表於2026年3月，研究編號為arXiv:2603.27341。有興趣深入了解的讀者可以通過該論文編號查詢完整內容。
當我們討論人工智慧在醫學領域的應用時，總是充滿樂觀色彩。畢竟，AI已經在諸多醫學考試中戰勝了人類專家，展現出驚人的診斷能力。然而，就像一位出色的理論家未必能成為優秀的實踐者一樣，AI在真實手術環境中的表現卻令人意外。
研究團隊就像一群好奇的偵探，決定深入調查一個看似簡單但至關重要的問題：AI能否準確識別手術過程中的醫療器械？這個問題乍聽之下可能顯得平凡無奇，但實際上它是醫學AI走向實用化的基礎門檻。就如同一位想要成為大廚的人首先必須能夠識別鍋碗瓢盆一樣，任何想要在手術室中發揮作用的AI系統都必須先學會準確識別各種手術工具。
研究者們選擇了神經外科的內鏡經鼻入路手術作為他們的"案發現場"。這種手術方式是治療腦垂體腫瘤的主要方法，醫生需要通過患者的鼻腔到達顱內，精確移除腫瘤。整個過程就像通過狹窄的通道進行精密的拆彈作業，每一個工具的準確使用都關乎成敗。
一、AI視覺模型的零分答卷
研究團隊首先測試了19個不同規模的視覺語言模型，參數量從20億到2350億不等。這些模型就像不同級別的"偵探"，從新手到資深專家都有。按照常理推測，規模更大的模型應該具備更強的觀察和識別能力，就如同經驗豐富的老偵探總是能發現新手忽略的細節。
然而，結果卻出人意料。即便是擁有2350億參數的最大模型，在識別手術器械這個看似簡單的任務上也幾乎完全失敗了。研究人員設定了一個基礎參照標準：如果AI什麼都不做，只是盲目猜測最常見的器械組合，準確率也能達到13.4%。而這些價值連城的大型AI模型，在經過零樣本測試後，幾乎沒有一個能夠顯著超越這個"閉眼瞎猜"的基準線。
最令人困惑的是，這些模型在通用視覺測試中的表現都相當出色。比如最強的模型在MMBench綜合評測中得到了90.6分的高分，這相當於一位在各種常規考試中都表現優異的學生。但一旦面對手術器械識別這個專業任務，它們的表現就像從學霸瞬間變成了學渣。
這種現象就好比一位博學的教授，能夠在各種知識競賽中表現出色，但當需要他實際操作顯微鏡時，卻連最基本的調焦都搞不定。看似相關的技能，在實際應用中卻存在巨大的鴻溝。
二、針對性訓練的微弱改善
面對零樣本測試的慘敗，研究團隊決定對AI模型進行"專業培訓"。他們選擇了Gemma 3 27B模型，使用一種叫做LoRA的技術進行微調。這就像給一位有潛力的學生請了私人教師，專門針對手術器械識別進行強化訓練。
訓練過程使用了67634個標註好的手術影片幀，涵蓋66個不同的手術案例。這些數據來自美國、法國和西班牙的7家醫療機構，由10位外科醫生提供。值得注意的是，標註工作並非由醫學專家完成，而是由三位沒有臨床經驗的標註員完成。這些標註員在接受工具描述和示例圖像培訓後，就能以接近完美的準確率完成標註工作。這個事實本身就說明，對於人類而言，識別手術器械確實是一個相對簡單的任務。
經過專門訓練後，AI的表現確實有了顯著提升。當使用生成式方法讓模型輸出結構化的JSON格式答案時，準確率從9.8%提升到了47.63%。當改用專門的分類頭進行訓練時，準確率進一步提升到了51.08%，這已經是研究中VLM方法所能達到的最好成績。
這種改善雖然令人鼓舞，但仍遠未達到實用標準。就像一個原本考試總是不及格的學生，經過補習後能考到五六十分，雖有進步，但距離優秀還有很大差距。
三、參數擴展的失敗嘗試
研究團隊並沒有滿足於這個結果，他們懷疑是否是模型容量不夠導致了性能瓶頸。於是他們進行了一個"擴容實驗"，將可訓練參數從470萬個一直增加到24億個，增長了將近1000倍。這就像給一個學生的大腦不斷擴容，看看是否能突破學習瓶頸。
實驗結果令人深思。隨著參數量的增加，AI在訓練數據上的表現確實越來越好，最終達到了98.6%的高準確率。這說明AI已經能夠完美地"背誦"訓練材料中的內容。然而，當面對從未見過的新手術場景時，AI的表現依然停留在40%以下，與訓練表現形成了巨大反差。
這種現象就如同一個學生能夠完美背誦教科書中的所有例題，但一旦遇到稍微變化的新題目就束手無策。AI模型出現了嚴重的"死記硬背"問題，無法真正理解和泛化所學知識。
四、專業選手的碾壓優勢
面對VLM的困境，研究團隊引入了一個"專業選手"：YOLOv12-m，這是一個專門用於物體檢測的電腦視覺模型，只有2600萬個參數。相比之下，它只有最佳VLM模型參數量的千分之一，就像是一位專注於某個特定領域的工匠，雖然知識面不如博學家廣泛，但在自己的專業領域卻有著精湛技藝。
結果再次出人意料。這個"小而美"的專業模型在手術器械識別任務上取得了54.73%的準確率，不僅超越了所有的大型VLM，還用更少的計算資源和更快的速度完成了任務。這就好比在修表這個專業任務上，一位專業鐘錶匠總是能夠超越那些知識淵博但缺乏實踐經驗的學者。
為了確保這個優勢不是因為訓練數據的差異造成的，研究團隊還使用了ResNet-50模型進行了公平比較。這個只有2360萬參數的模型接受了與VLM完全相同的標籤級別訓練，結果也達到了39.6%的準確率，仍然超越了所有零樣本VLM模型。
五、跨領域驗證的一致發現
擔心結果可能只適用於神經外科，研究團隊在另一個完全不同的外科領域進行了驗證：腹腔鏡膽囊切除術。這個名為CholecT50的數據集包含了50個手術影片，涉及6種不同的手術器械。
令人驚訝的是，之前發現的所有規律在這個新領域中都得到了完美復現。零樣本VLM的表現依然糟糕，專門訓練後的模型確實有所改善，而專業的電腦視覺模型依然以更小的規模取得了最佳效果。更有趣的是，研究團隊還測試了一些商業閉源模型，包括GPT、Gemini和Claude系列的最新版本，結果顯示即便是這些頂級的商業模型，在零樣本情況下的表現也無法超越經過專門訓練的開源模型和專業視覺模型。
這種跨領域的一致性就像是物理定律在不同環境中的普遍適用性，表明研究發現的並非偶然現象，而是反映了當前AI技術的根本局限。
六、數據不均衡的意外發現
在深入分析實驗結果時，研究團隊發現了一個有趣現象。由於他們按手術案例進行訓練和驗證數據的劃分（確保同一台手術的影片幀不會同時出現在訓練和測試集中），不同器械在訓練集和驗證集中的分布極不均勻。
比如，抽吸解剖器在訓練集中只出現88次，但在驗證集中卻有2319次。相反，Sonopet菠蘿頭刀在訓練集中出現1991次，而在驗證集中完全沒有。這種分布不均就像是一個學生在準備考試時只練習了加法，考試時卻遇到了大量乘法題目。
這個發現揭示了一個深層問題：AI模型對於在訓練中很少見到的器械幾乎無法識別，即便這些器械在實際手術中很常見。這種局限性反映了當前AI系統缺乏真正的理解能力，仍然嚴重依賴於訓練數據的覆蓋程度。
七、理論與實踐的巨大鴻溝
研究團隊進行了一個有趣的對比實驗。他們讓同樣的AI模型回答關於腦垂體腫瘤手術的理論問題，結果發現模型能夠給出幾乎完全正確的答案，展現出深厚的理論知識。但同一個模型在識別實際手術器械時卻表現糟糕。
這種現象恰恰反映了醫學實踐的本質特徵。正如研究團隊指出的，神經外科醫生的培訓主要依靠實踐，美國醫學研究生教育認證委員會要求7年的住院醫師培訓，通常還要加上醫學院期間的2年輪轉，而課堂和解剖學實驗室教育僅占2年。這個培訓結構揭示了一個重要事實：醫學實踐中的隱性知識遠比可以用文字描述的顯性知識更為重要。
這種現象在經濟學中被稱為"博蘭尼悖論"，指的是人類知道的遠比能夠表達的多。用通俗話說，就是"只可意會，不可言傳"的那部分知識。而目前的AI訓練數據主要來自可以用語言文字表達的知識，缺乏手術室中那些需要親身體驗才能掌握的實踐智慧。
八、解決方案的新思路
面對這些挑戰，研究團隊提出了一個頗具啟發性的解決思路：構建分層協作的AI系統。這個想法就像組建一支專業團隊，其中有一個見多識廣的總指揮（通用VLM），還有多個各司其職的專業技師（專門化感知模塊）。
總指揮負責理解整體情況、協調各個專業模塊，並與人類醫生進行交流；而專業模塊則專注於特定任務，比如器械識別、解剖結構定位等。當需要識別手術器械時，總指揮就將任務交給專門的視覺識別專家來處理。
這種架構的優勢在於既保持了通用AI模型的廣泛知識和交互能力，又充分利用了專業模型在特定任務上的高效表現。就如同現代醫院中既有全科醫生負責整體診療協調，又有各科專家負責專業治療一樣。
研究結果也支持這種思路的合理性。在器械識別的具體分析中，研究團隊發現YOLO模型在召回率和F1分數上表現更好，而Gemma模型在某些器械的ROC-AUC指標上有優勢，兩者的互補性為混合系統提供了理論基礎。
九、數據勝過算力的啟示
這項研究最重要的發現之一是：在專業醫學任務中，專門化的數據比巨大的模型規模更為重要。一個僅有2600萬參數的專業模型能夠擊敗千倍於己的通用大模型，這個結果就像是證明了在專業領域中，經驗和專精勝過天賦和規模。
研究團隊特別指出，目前制約手術AI發展的主要瓶頸不是計算能力或模型架構的限制，而是高質量專業數據的稀缺。準備手術數據進行AI訓練需要大量的專業知識，成本遠高於處理普通圖片或文本數據。同時，不同醫院、不同地區的手術習慣和器械使用存在差異，這使得創建通用性強的訓練數據集變得更加困難。
這個發現對整個醫學AI領域都具有重要啟示。它表明，簡單地將通用AI模型的成功經驗複製到醫學領域可能並不可行，醫學AI需要走出屬於自己的發展路徑。
十、團隊協作的必要性
研究團隊中的部分成員來自外科數據科學集體（SDSC），這是一個致力於推進開放、協作和臨床導向的手術AI研究的非營利組織。他們的實踐經驗表明，構建有用的臨床AI工具需要多機構協作，建立標準化的數據共享協議，以及開發開放訪問的工具平台。
SDSC的觀點是，手術AI的發展受限於臨床相關數據的可獲取性，而不是模型規模。儘管基礎模型取得了巨大進步，但在基本感知任務上的表現仍然有限，特別是在面對真實分布偏移時。這表明在領域特定數據覆蓋方面仍存在顯著差距，改進有賴於大規模、標準化手術數據集的開發，這些數據集需要能夠捕捉不同手術程序、機構和患者群體之間的變異性。
十一、局限性與未來展望
研究團隊誠實地承認了這項研究的局限性。首先，他們的評估僅限於手術器械識別這一個任務。雖然器械識別是任何手術AI系統的基礎要求，但他們並沒有評估更高階的能力，比如手術階段識別、決策支持或異常檢測。在這些更抽象的任務中，語言媒介推理髮揮更大作用的情況下，VLM可能會展現出更大優勢。
其次，他們主要評估的是開源模型，採用了特定的提示和解碼設置。更強的閉源模型、替代性提示策略或更廣泛的指令調優可能會產生不同結果。雖然在CholecT50數據集上對前沿專有模型的測試表明，即使是最好的零樣本API模型也被微調模型超越了14個百分點，但這個結論可能還需要更多驗證。
第三，研究結論推廣到其他外科專科、機構和記錄條件的程度仍有待探討。不過，CholecT50實驗結果與主要數據集結果的一致性表明，至少在兩個不同的外科領域中存在著相同的廣泛模式。
最後，雖然研究團隊在計算能力範圍內盡力進行了擴展實驗，但未來的模型如果在規模和訓練時長上超過某個尚未發現的閾值，仍可能顯示出非線性的"湧現"性能跳躍。
十二、對醫學AI發展的深遠影響
這項研究的意義遠遠超出了手術器械識別這個具體任務。它揭示了當前AI技術在專業醫學應用中面臨的根本性挑戰，質疑了單純通過擴大模型規模就能解決所有問題的"規模假說"。
研究結果表明，邁向可靠手術AI的進展更多地受到專業數據有限性的約束，而非AI架構規模和訓練資源的限制。小型專業模型在狹窄的手術任務上能夠以數量級更高的效率超越大型基礎模型。因此，未來匯集和標註跨機構手術數據的努力對於改善手術AI能力將至關重要。
這個發現也為醫學AI的發展方向提供了新的思路。與其追求單一的超級AI系統，不如專注於構建模塊化的協作系統，其中通用AI負責協調和交互，專業模塊負責特定的感知和分析任務。這種架構不僅能夠發揮各自優勢，還能夠根據具體需求靈活配置和升級。
說到底，這項研究告訴我們，醫學AI的發展不能簡單照搬其他領域的成功經驗。它需要醫學界、AI界和工程界的深度協作，需要大量投入來收集和標註專業數據，更需要對醫學實踐的深入理解。正如研究團隊所強調的，真正的突破可能來自於社區驅動的協作努力，而不是單個實驗室的技術突破。未來的醫學AI可能不會是單一的超級大腦，而是一個由專業化組件構成的智能協作網路，每個組件都在自己擅長的領域發揮最佳效能。
Q&A
Q1：為什麼最先進的AI模型在識別手術器械方面表現這麼差？
A：主要原因是這些通用AI模型缺乏手術室的實踐經驗數據。它們雖然在理論知識測試中表現出色，但手術器械識別需要大量的實際操作經驗，這類似於醫生需要通過多年實踐訓練才能掌握的技能，而不是僅靠書本知識就能學會的。
Q2：YOLOv12-m為什麼能夠擊敗大型語言模型？
A：YOLOv12-m是專門為物體檢測任務設計的專業模型，就像專業工匠在自己領域的精湛技藝。雖然它只有2600萬參數，遠小於大型語言模型，但它專注於視覺識別任務，訓練數據和算法都針對這個特定需求優化，因此效果更好。
Q3：這項研究對醫學AI的發展有什麼啟示？
A：研究表明醫學AI的發展瓶頸在於專業數據的稀缺，而非模型規模的限制。未來的醫學AI可能需要採用分層協作架構，讓通用AI負責協調和交流，專業模塊負責具體的醫療任務，這樣既能保持廣泛的知識面，又能在專業任務上達到實用水平。
