這項由香港中文大學領導、聯合中國科學院自動化研究所、微軟研究院、里海大學等多家機構共同完成的研究，以技術報告形式於2026年7月發布於arXiv平台，編號為arXiv:2607.10522。感興趣的讀者可通過該編號查閱完整論文。
醫學影像AI的開發，一直是一件極度依賴專家經驗的事。一位資深放射科工程師，需要花費大量時間，根據CT圖、MRI圖或病理切片的不同特性，手動調整模型訓練策略、驗證方式、評估指標，最終才能交付一個可用的預測模型。而這項研究所做的事情，簡單說來就是：能不能讓AI代替這個工程師，自己把這一整套事情從頭到尾做完，而且還要做得有據可查、經得起檢驗？
研究團隊給出的答案是一個名為AMID（Autonomous Multi-agent Framework for Medical Imaging model Development，醫學影像模型自主開發多智能體框架）的系統。在20項涵蓋不同成像模式和任務類型的醫學影像挑戰中，AMID的表現超越了已有的通用機器學習工程自動化系統，在部分任務上甚至接近或達到了人類專家團隊的水平。
一、為什麼醫學影像AI的"自動化"這麼難
醫學影像並不像人們想像的那樣，是一個統一的領域。CT圖像是三維體素構成的密度分布，MRI圖像反映的是不同組織的電磁響應，病理切片是通過顯微鏡看到的染色細胞，超聲圖像則充滿了斑點噪聲和偽影。同樣是"分割病變區域"這個任務，面對肺部CT和面對腦部MRI，所需要的預處理方式、模型架構、後處理邏輯、評估指標，可能完全不同。
這就像同一道題目——"請做一道主菜"——對一個只會中餐的廚師和一個只會法餐的廚師來說，理解和執行的方式可能天差地別。通用型的AI工程自動化系統，好比一個什麼菜都能"湊合做"的幫廚，它懂得通用的烹飪流程，但不懂為什麼宮保雞丁要先炸花椒，也不懂為什麼法式醬汁要小火慢熬。
研究團隊觀察到，當前通用機器學習自動化系統在醫學影像任務上暴露出兩個根本性的缺陷。第一個缺陷是搜索空間太粗。這些系統看到一個任務，只會把它歸類為"分類"或"分割"，然後從通用工具箱裡隨便拿一個方案去試。但醫學影像任務需要根據成像模態、解剖部位、標註語義、患者分組方式等具體條件，挑選真正適合當前數據的方法。用一把通用鑰匙去試圖打開所有鎖，既費時又徒勞。
第二個缺陷是驗證反饋不可靠。醫學影像實驗往往需要耗費大量GPU資源和訓練時間，一次實驗的結果可能因為數據切分方式、指標計算方向、預測文件格式等細節問題而嚴重失真。一個系統如果只是追求"得到一個分數"，卻不核驗這個分數是否真實可信，就可能被一個"虛假的好成績"誤導，最終交付一個根本無法實際使用的模型。
正是針對這兩個痛點，AMID被設計出來。
二、AMID的第一把鑰匙：數據條件驅動的方法規劃
AMID解決第一個缺陷的方式，可以用"偵察兵先行"來理解。在派出任何一支"施工隊"去訓練模型之前，AMID首先會派出一支專門負責偵察的隊伍，仔細研究手頭的任務和數據，把能知道的資訊全部摸清楚，然後根據這份情報，制定一份有針對性的作戰方案。
這個過程被研究團隊稱為"數據條件驅動的方法規劃"（Data-Conditioned Method Planning，DCMP）。它的工作分為兩個階段。
第一個階段是數據偵察。系統會仔細檢查任務說明文件、樣本提交格式、標註文件、元數據，以及所有可見的訓練數據。偵察的內容非常具體：文件的組織結構、訓練集和測試集的樣本數量、患者編號的規律、圖像的維度和數據類型、像素強度的範圍、體素的間距和朝向、標註的稀疏程度、類別的分布是否失衡，等等。對於不同的任務類型，偵察的重點也不同——分割任務要看前景像素的比例和連通區域的數量，檢測任務要看目標框的數量和尺寸分布，配對增強任務要核查圖像對之間的對齊情況。
這些偵察結果不只是描述性的報告，而是具體的規劃依據。比如，如果發現3D血管標註非常稀疏，偵察報告就會提示：這個任務需要補丁採樣策略、間距歸一化、感知拓撲結構的後處理，以及內存受限的推理方式。如果發現數據是病理切片，報告就會提示：需要圖塊切割、染色變化處理，以及基於切片或患者級別的聚合策略。
第二個階段是方法資源搜索。在拿到偵察報告之後，AMID會根據數據的具體特徵，在兩個資源庫中尋找匹配的工具。第一個是預置的本地資源庫，其中包含nnU-Net（一個在醫學圖像分割領域廣受認可的自配置框架）和MONAI（一個專為醫療健康深度學習設計的開源工具集）等經過驗證的工具。第二個是一個精心維護的醫學影像基礎模型註冊表，其中收錄了MedSAM、MedSAM2（可提示的通用醫學圖像分割模型）、TotalSegmentator（面向CT解剖結構的分割工具）、VISTA3D，以及面向病理學、胸部X光、CT、MRI和眼底成像等特定領域的基礎模型。
關鍵在於，AMID不會不加篩選地把所有熱門模型都推薦給後續的執行隊伍。它會檢查每個候選資源是否與當前任務的數據特徵匹配，是否可以獲取和驗證其可用的模型文件。只有真正適合當前任務、在當前環境中可以實際運行的資源，才會被納入方案。
經過這兩個階段，AMID會生成一個由多條"方法車道"（method lanes）組成的方案組合。每條方法車道相當於一條獨立的解題路線，包含具體的建模假設、支撐這個假設的數據證據、所需資源、實現要求、預處理假設、驗證義務、大致計算預算、預期產出以及可能遇到的失敗模式。這些方法車道通常包含一條穩健的基線車道（如nnU-Net風格）、一條基礎模型適配車道、一條特定任務架構車道、一條側重預處理或後處理的車道，以及專門用於驗證數據加載和指標電腦制的"校準車道"。
這樣的安排，確保後續的執行隊伍從一開始就站在有據可依的起點上，而不是在一片空白中盲目摸索。
三、AMID的第二把鑰匙：帶審核員的兩階段優化
解決了"搜索空間太粗"的問題之後，AMID還需要解決"驗證反饋不可靠"的問題。這裡用來解決問題的核心機制，是研究團隊所設計的"驗證引導的兩階段優化"（Verification-Guided Two-Stage Optimization）。
理解這個機制的關鍵，在於理解一個角色：審核員。在AMID的工作流程中，每個執行隊員（工作智能體）負責實現一條方法車道，跑完訓練和推理，生成預測文件，並提交一個包含代碼、驗證分數、日誌和預測產物的記錄。但是，這個工作智能體不能自己給自己的結果蓋章認證。它提交的記錄會被標記為"待審核"狀態，由一個獨立於工作智能體的審核員來評估。
審核員會檢查一系列問題：驗證切分是否合法？指標的計算方向是否正確（有些指標越高越好，有些越低越好）？預測文件是否完整？提交的內容是否與上一次重複？代碼與產物之間是否可以追溯？對於醫學影像任務來說，審核員還會特別檢查是否存在患者級別的數據泄漏、折交叉驗證是否被正確執行、平均分數的計算方式是否符合規範。只有通過了這些檢查，一次實驗記錄才成為"真實的、可歸因的、可比較的"證據。
在這個審核機制的保障下，優化過程被分為兩個階段展開。
第一階段叫做"行為門控探索"（Behavior-gated Exploration）。在這個階段，多個工作智能體被分配到不同的方法車道上並行工作，目的是快速覆蓋方案組合中主要車道的實際表現。每個工作智能體提交的記錄都會經過審核員的評估，只有通過審核的記錄才算作該車道的有效覆蓋。當各條車道都積累了足夠數量的有效記錄，並且表現趨於穩定時，系統管理員會根據各條車道的最佳有效成績，遴選出最具潛力的候選方案，進入第二階段。
第二階段叫做"選擇性精耕"（Selective Exploitation）。這個階段不再做寬泛的方法探索，而是把計算資源集中在第一階段遴選出的候選方案上，進行深度優化。優化的方向包括改進模型結構、調整訓練策略、優化推理過程、引入測試時增強、改進後處理，或者對多個模型進行集成。與此同時，審核員的核查標準進一步提升：第二階段的候選方案不僅要驗證分數過關，還需要在完整的交叉驗證折上跑完全部結果，確保折與折之間的流程保持一致，並且能夠從最終提交包追溯回某個經審核認可的實驗記錄。
這兩個階段相互配合，既避免了過早押注單一方向的風險，又保證了最終交付的模型包是基於可信證據選出來的，而不是基於某個碰巧看起來不錯、卻站不住腳的虛假成績。
四、AMID的第三把鑰匙：自組織的多智能體執行引擎
把上述規劃和優化邏輯落地運行，需要一套能夠讓多個AI編碼智能體協同工作的執行基礎設施。研究團隊稱之為"自組織智能體循環"（Self-Organizing Agent Loop）。
這套基礎設施的核心，是一個生命周期管理器（Lifecycle Manager）。它扮演的角色類似於一個工程項目的總調度，負責掌管每個工作智能體的狀態變遷：從初始化、代碼編寫、等待評估、反饋反思、任務重新分配，直到退休和產物準備。當一個工作智能體陷入停滯、耗盡了當前方向的潛力、或者快要觸碰上下文長度限制時，管理器不會坐視不管，而是主動介入——用一個定向提示打斷並恢復這個智能體的工作，而不是簡單地把它整個重啟。
多個工作智能體各自在獨立的代碼工作區中運行，但它們都共享同一個文件系統級別的記憶空間。這個共享記憶儲存了實驗記錄、方法車道文件、資源清單、驗證狀態、審核報告、最終產物記錄，以及可以在不同工作智能體之間復用的"技能"（Skills）。每個實驗記錄都把分數綁定到具體的代碼提交哈希值、智能體身份、驗證協議、方法車道歸屬和預測文件路徑上。這樣一來，後續的工作智能體可以查看前面的智能體已經嘗試過什麼、失敗在哪裡、哪些代碼路徑是成功的，而不需要每次重新發現同樣的約束條件。
系統還設計了"心跳干預"（Heartbeat Interventions）機制，專門用來防止長時間運行的工作智能體偏離軌道。管理器會監控實驗流的整體情況，當發現某個智能體長時間沒有進展、出現原地打轉的跡象時，會觸發不同類型的心跳提示。"反思心跳"讓智能體把近期的結果整理成有具體原因和下一步行動的實驗筆記；"整合心跳"讓智能體綜合所有已記錄的筆記，找出矛盾之處，梳理整體狀態，識別哪些方向還沒有被充分探索；"停滯心跳"強制智能體在停止改進時做出明確的轉向決策，要求它寫出當前專注方向、現有證據、剩餘預算和放棄條件。
在AMID中，這些心跳干預還被特別附加了醫學影像領域的提醒：智能體需要保持任務原生的數據處理方式，避免陷入本地調優的陷阱，在放棄某個有文獻支撐的方向之前先檢查參考資料，並且始終維護最終產物證據的完整性。
五、在20個醫學影像挑戰上，AMID表現如何
研究團隊選用了ReX-MLE這個專門為醫學影像自動化開發設計的挑戰基準，對AMID進行了系統評測。這個基準包含20個任務，覆蓋了全景X光、CT、MRI、CTA（CT血管成像）、MRA（MR血管成像）、病理切片、超聲和顯微鏡等多種成像模式，任務類型則涵蓋圖像分割、目標檢測、分類、圖像質量評估和圖像增強。
作為對比對象，研究團隊選取了ReX-MLE基準中已報告的三個通用機器學習自動化系統：AIDE、ML-Master和R&D-Agent。為了讓比較儘可能公平，所有對比系統都使用了GPT系列模型作為後端，AMID的主要測試版本使用的是搭配GPT-5.5的Codex後端。每個挑戰任務給予AMID 24小時的掛鍾時間預算和一張48GB顯存的NVIDIA RTX A6000 GPU。
在這20個任務中，AMID對全部任務都產生了通過審核的有效結果，並在其中19個任務上超越了對比系統中的最佳成績，僅在TopCoW-CTA-Cls這一個分類任務上與最強基線持平。
在圖像分割任務上，差距最為顯著。以ISLES'22腦卒中病灶分割為例，AMID獲得的Dice係數（一種衡量分割準確度的指標，滿分為1）達到0.71，而對比系統中最好的也只有0.04，差距近17倍。在NeurIPS-CellSeg細胞分割挑戰中，AMID達到了0.90的F1分數，而對比系統的最高成績是0.36。在PUMA病理組織分割任務中，對比系統全部失敗或得零分，而AMID獲得了超過0.56的Dice係數。在SEG.A主動脈分割中，AMID以0.91的Dice接近人類專家水平（0.92），而對比系統全部在0.02分以下徘徊。
在目標檢測任務上，DENTEX全景X光牙齒檢測是一個典型案例。AMID達到了0.49的平均精度（AP），相比對比系統最高的0.09，提升了約4倍。值得一提的是，DENTEX任務的人類專家參考成績也是0.40，也就是說AMID在這個任務上超過了人類專家團隊。在PUMA病理核檢測中，AMID在Track1獲得0.54的F1分數，在Track2獲得0.28，而在Track2的官方榜單上，這個成績實際上排在第一名——儘管絕對數值看起來並不高，但這是因為任務中包含大量稀有細胞類型，所有參賽者的成績都普遍偏低。
在圖像質量評估任務LDCT-IQA（低劑量CT感知質量評估）中，AMID獲得了2.74的評分，與人類參考成績完全持平。
當然，並非所有任務上的表現都令人滿意。超聲圖像增強任務USenhance是研究團隊專門分析的一個失敗案例。AMID提交的是一個基於pix2pix風格U-Net的五折集成模型，產物是完整有效的，但最終結果的LNCC（局部歸一化互相關係數，越高越好）只有0.18658。更強的CycleGAN風格生成對抗網路方案在探索階段被嘗試過，但由於生成器和判別器之間的訓練不穩定，早期損失曲線收斂緩慢，在固定預算內積累的有效證據太弱，反而被審核機制拒於門外，最終讓位給了更穩定但不夠強力的配對U-Net方案。這說明對於需要漫長、精細監控訓練過程的圖像生成類任務，當前的固定預算機制還存在明顯的短板。
兩個TopCoW血管拓撲分類任務也暴露了一種特殊的難題：當目標任務在本質上要求多個子任務（血管分割、拓撲後處理、圖分類）同時做好、相互配合時，在固定預算內只靠提升分割質量是不夠的。CTA版本的分類直接退化成了固定拓撲先驗，MRA版本雖然使用了SegResNet血管掩碼和接觸規則，但前段血管和後段血管的分類精度分別只有0.46和0.17，遠低於人類專家水平。
六、讓AMID成功的，是哪些具體的技術選擇
仔細觀察AMID在不同任務上取得成功的內部邏輯，可以發現一個反覆出現的模式：找到與任務結構真正匹配的方法，而不是用一個通用方法硬套所有任務。
DENTEX牙齒檢測任務的最終提交方案，是一個非常有意思的混合設計。它以一個針對全景牙科X光適配的YOLOv8檢測器為基礎，然後疊加了一個解剖校準層：根據牙弓模板，把無序的檢測框映射到FDI象限編號和牙位編號，並結合保守的診斷回退統計和學習到的替代牙位規則。這種設計的出發點非常直接——牙位枚舉這個任務，從本質上既是視覺檢測問題，也是解剖排序問題，所以正確的解法應該把學習到的檢測器和結構化的領域先驗結合起來，而不是把所有標籤都當成獨立的檢測類別來處理。
PUMA病理任務的成功則依賴於對病理學基礎模型的有效利用。組織分割的Track1方案，在凍結的UNI病理基礎編碼器之上疊加輕量級MLP分類頭，把局部組織token與RGB特徵和坐標線索結合；Track2則對Phikon-v2基礎模型的最後一個Transformer塊進行微調，並融合全圖、固定裁剪和滑動裁剪三種推理方式的結果。核檢測的方案選擇了不同的分解邏輯：Track1用CellViT-256先提出核候選和token嵌入，再用梯度提升分類器結合局部和鄰域上下文做分類；Track2用PathoSAM提議加上Midnight病理嵌入，配合一個小型經典分類器集成。這些選擇的共同點，是把基礎模型作為穩定的特徵提取骨幹，而不是從零開始訓練通用CNN。
在NeurIPS-CellSeg細胞分割任務上，AMID選擇微調Cellpose-SAM，一個專門針對細胞分割設計的結合了Cellpose和SAM能力的模型，最終獲得約0.90的F1成績。在SEG.A和ISLES'22這兩個3D醫學圖像分割任務上，AMID回歸到經過充分驗證的nnU-Net風格方案，輔以後期檢查點選擇和保守的解剖清理或召回導向的掩碼合併策略。在TopCoW血管檢測任務上，AMID沒有強行使用同一個通用檢測器處理CTA和MRA兩種模態，而是分別使用了幾何先驗、熱圖中心預測、分割推導框和輕量級直接檢測器的組合。
說到底，這些案例都在說明同一件事：兩階段優化的真正價值，不只在於"探索階段找到了很多方案，精耕階段挑了最好的那個"，而在於探索階段產生了真實可比的多車道證據，讓系統在精耕階段能夠基於可信的事實做出有依據的選擇，而不是被某個虛假的高分牽著鼻子走。
七、這項研究意味著什麼，又有哪些坦率的局限
研究團隊在討論部分開誠布公地指出了當前版本最明顯的局限，這種坦誠值得記錄。
代價高昂是最主要的限制。長時間運行的醫學影像AI開發流程，既消耗大量GPU計算時間，也消耗大量編碼智能體所需的語言模型token。正因如此，當前的實驗沒有窮舉所有挑戰任務在所有最新模型-運行時組合下的結果，而是主要依賴一個主要後端進行全套測試，把其他後端的測試限制在代表性任務上。Claude Code版本的AMID在PUMA-T1-Seg（Dice 0.64）和TopCoW-MRA-Cls（準確率0.50）上取得了比Codex版本更好的成績，但在DENTEX（AP 0.25 vs 0.49）上則不如Codex版本。這說明不同運行時後端在不同任務上各有優勢，混合後端的策略可能是更好的方向，但目前還無法系統地研究這一點。
AMID還依賴資源註冊表的質量和數據偵察的準確性。如果註冊表中某個基礎模型的資訊不準確，或者偵察階段漏掉了某個關鍵的數據特性，後續的規劃和執行都會受到影響。
研究團隊明確強調：挑戰基準上的表現，反映的是系統在定義明確的任務協議下產出預測文件的能力，不等於臨床安全性、前瞻性泛化能力、部署環境下的校準表現，更不等於適合直接用於患者診療。AMID的"可審核性"設計，是為了讓模型包保留足夠清晰的構建歷史，方便人類後續進行更深入的驗證和審查。這是朝著更負責任的醫學AI開發邁出的一步，但絕不是終點。
歸根結底，AMID講述的是一個關於"如何讓AI開發AI"這件事變得更嚴謹、更可靠的故事。它不是要證明AI已經可以完全取代醫學影像領域的工程師，而是在展示：如果能把領域知識、結構化搜索和嚴格的驗證機制三者結合在一起，一個自動化系統可以在複雜的醫學影像開發任務上走得比我們預期的更遠，同時留下一條清晰的、可供人類檢查的軌跡。
如果你對這項研究感興趣，可以通過arXiv編號2607.10522找到完整的技術報告，項目代碼和各挑戰任務的解決方案也已開放在GitHub上。未來系列論文將進一步補充後端對比實驗、各模組的消融分析，以及針對更長時間預算和更多任務類型的驗證。
Q&A
Q1：AMID系統能直接用於臨床醫療診斷嗎？
A：不能直接用於臨床診斷。AMID的設計目標是自動化完成醫學影像模型的開發流程，包括訓練代碼、模型權重、預測文件等，並留下可審核的構建記錄。研究團隊明確指出，挑戰基準上的表現不等於臨床安全性，不代表模型在真實部署環境下能可靠泛化，也不適合直接用於患者診療。AMID的價值在於讓模型構建過程更規範、更有據可查，方便人類專家後續進行臨床驗證。
Q2：AMID和普通的機器學習自動化系統有什麼本質區別？
A：最核心的區別有兩點。第一，AMID在開始訓練之前會先做詳細的數據偵察，根據成像模態、標註類型、數據規模等具體特徵，規劃多條有針對性的方法路線，而不是直接套用通用流程。第二，AMID設有獨立於工作智能體的審核員角色，每次實驗的驗證分數必須通過一系列合法性檢查才能被承認為有效證據，防止系統被虛假的高分誤導。
Q3：AMID在哪些醫學影像任務上表現最差？
A：超聲圖像增強（USenhance）和TopCoW血管拓撲分類是表現最弱的兩類任務。超聲增強任務的難點在於生成對抗網路訓練不穩定，在固定預算內無法積累足夠的有效訓練時間。TopCoW分類任務的難點在於它本質上要求血管分割、拓撲後處理和圖分類三個子任務同時做好、相互配合，僅靠提升分割質量不足以解決問題，這類多階段耦合任務對當前系統來說仍然極具挑戰。
