這項由復旦大學與上海財經大學聯合完成的研究，以預印本形式於2026年6月25日公開發布，論文編號為arXiv:2606.27339v1，感興趣的讀者可通過該編號在arXiv平台查閱完整論文。
**研究概要：摳圖這件事，比你想像的難得多**
手機里的背景虛化功能、電影裡的特效合成、直播間的虛擬背景——這些看似普通的日常體驗，背後都有一項叫做"圖像摳圖"的技術在默默支撐。說得更直白一點，摳圖就是讓電腦判斷出一張圖片裡哪些像素屬於主體（比如人、動物、透明水杯），哪些屬於背景，然後把主體"剪"出來。
單張圖片的摳圖技術已經相當成熟，但一旦把這件事放到影片裡，麻煩就來了。影片是由成百上千幀圖片組成的，不僅要每一幀都摳得乾淨，還要保證前一幀和後一幀的主體輪廓不會突然"抖動"或"跳變"——就像剪一段膠片電影，每一格的剪裁線必須對得上，否則放映時就會閃爍不止。
更棘手的是，影片中的主體往往在運動、有半透明的部分（比如薄紗裙擺、水流），甚至還會短暫消失後又重新出現。現有的影片摳圖方法為了解決這些問題，需要花費大量人力去標註專門的影片數據集——每一幀都要像素級地標出哪裡是主體、哪裡是背景，這種工作量極其龐大，導致現有數據集規模有限，而且大多數隻專注於"人"這一類主體，換成動物、蝴蝶、玻璃杯就會表現大打折扣。
復旦大學的研究團隊提出了一個叫做SAM2Matting的新框架，核心思路是：與其費盡心力去收集和標註昂貴的影片摳圖數據，不如把"追蹤物體"和"精細摳圖"這兩件事分開交給最擅長各自領域的工具來做。追蹤交給已經在海量影片數據上訓練好的追蹤模型，精細摳圖則用豐富的圖片摳圖數據來訓練專門的模組。最終的結果令人印象深刻：僅用圖片數據訓練的SAM2Matting，在影片摳圖的各項評測指標上超過了那些專門用影片數據訓練的競品，同時還能在不到5GB顯存的條件下以40幀每秒的速度處理1080p影片。
---
**一、為什麼影片摳圖是個"兩頭難"的問題**
要理解這項研究解決的核心矛盾，可以用一個生活場景來感受一下。假設你要追蹤一隻在花叢中飛舞的蝴蝶，並把它從影片中"剪"出來。這件事天然分成兩個層次的難度。
第一個層次是"找到它"：蝴蝶在運動，背景也在變化，你需要時刻知道蝴蝶在哪一幀的哪個位置。這屬於高層次的"理解"問題，需要模型具備跨幀的時序判斷能力，業內把這類任務叫做影片目標分割（Video Object Segmentation，簡稱VOS）。目前已經有非常成熟的模型專門做這件事，比如Meta公司發布的SAM2，它在大規模影片數據上訓練，追蹤能力相當強悍。
第二個層次是"剪乾淨"：蝴蝶的翅膀是半透明的，翅膀邊緣有極細的紋路，簡單地把翅膀輪廓內的像素全部選中是不夠的，需要對半透明區域的每個像素賦予一個介於0到1之間的"透明度值"（行業內叫alpha值）。這屬於極度精細的低層次感知問題，每一根髮絲、每一處半透明都要處理到位。做好這件事靠的是高質量的圖片摳圖數據集的訓練。
問題在於，現有的影片摳圖方法試圖用一套模型同時搞定這兩件事，而且依賴專門的影片摳圖數據集來訓練。這類數據集不僅標註成本極高，覆蓋的場景也主要集中在人物身上。結果就是，在人物影片上表現還算過得去，一旦換成蝴蝶、水流、騎自行車的人（連帶著自行車一起摳），就會出現明顯的錯誤——要麼追丟了，要麼邊緣一塌糊塗。
SAM2Matting的思路正是從這個兩難困境出發：既然追蹤和精細摳圖本來就是兩件性質不同的事，為什麼要強求用一個模型、一套數據來同時解決？
---
**二、"分工協作"的核心設計：讓追蹤歸追蹤，摳圖歸摳圖**
SAM2Matting的整體架構可以用一個流水線作業的場景來理解。在一條汽車組裝線上，不同工位各司其職——有人專門裝發動機，有人專門裝車窗，有人專門做最終的質檢和細節打磨。SAM2Matting的設計邏輯與此非常相似。
流水線的第一站是VOS追蹤器。研究團隊直接使用了SAM2.1或SAM3這類已經訓練好的成熟追蹤模型，讓它負責在影片的每一幀中定位主體，輸出一個粗糙的"主體輪廓遮罩"。重要的是，這個追蹤器在整個訓練過程中是被凍結的——研究團隊完全不去動它的參數，保留它原有的強大追蹤能力，只是把它的輸出結果拿來用。
追蹤器輸出的遮罩會同時傳遞給流水線的第二站和第三站，這兩部分是SAM2Matting真正的創新所在，統稱為"摳圖組件"，完全用圖片摳圖數據來訓練。
第二站叫做ROI檢測器（Region of Interest Detector，感興趣區域檢測器）。它的職責是在追蹤器給出的粗輪廓基礎上，進一步識別出"真正需要精細處理的區域"。並不是主體的每一個像素都需要精細摳圖——一個人的T恤中間部分顯然是實心前景，不需要特別處理；真正麻煩的是頭髮絲、半透明的薄紗、蝴蝶翅膀的邊緣這類區域。ROI檢測器的任務就是精準地圈出這些"難搞的地方"。
第三站叫做漸進式Alpha預測器（Progressive Alpha Predictor）。它接收ROI檢測器的輸出，從粗到細地逐步生成精細的alpha值圖（也就是每個像素的透明度圖），最終產出高質量的摳圖結果。
這套分工體系的最大優勢在於：追蹤器永遠是追蹤器領域最強的那一批，不會因為學習摳圖技能而"退化"；而摳圖組件可以專心從海量圖片摳圖數據中學習如何處理每一根髮絲，不需要依賴稀缺且昂貴的影片標註數據。
---
**三、ROI檢測器：找出那些"需要精心雕琢"的區域**
在介紹ROI檢測器之前，有必要先說一說它的前輩們是怎麼做的，這樣才能理解研究團隊的改進到底有多關鍵。
過去的大多數方法在確定"需要精細處理的區域"時，採用的是一種非常機械的辦法：把追蹤器給出的主體遮罩做膨脹和腐蝕操作。通俗來說，就是把主體輪廓向外擴一圈（膨脹），再向內縮一圈（腐蝕），兩者之間的環形區域就被認為是"需要精細處理的邊界區域"。
這個方法的問題在於，它對所有邊界一視同仁——無論是簡單的直線邊緣還是複雜的捲髮邊緣，給出的處理寬度都是一樣的。而現實中，飄逸的長髮需要極大範圍的精細處理，但緊貼身體的手臂輪廓其實很簡單，根本不需要那麼大的處理範圍。機械的膨脹腐蝕操作無法做出這種區分，要麼漏掉複雜區域，要麼在簡單區域浪費計算資源。另一種極端做法是把追蹤器輸出的整個主體遮罩都當作"需要精細處理"的區域，但這樣會引入大量不必要的干擾，主體內部明明是實心的前景，卻被要求重新計算透明度。
SAM2Matting的ROI檢測器則把這個問題重新定義為一個智能的分類任務。它綜合考慮三類資訊：追蹤器給出的粗遮罩（告訴它主體大概在哪裡）、當前幀的圖像（讓它看到實際的視覺細節）、以及圖像的多尺度特徵（讓它從宏觀到微觀地理解場景）。通過這三類資訊的融合，ROI檢測器能夠輸出一張精細的"難度地圖"，只在真正複雜的區域（飄起的頭髮、半透明的翅膀、手指縫隙）標記出需要精細處理的像素，而在簡單的實心區域直接復用追蹤器的結果。
研究論文中的對比實驗清楚地展示了這一差異：面對飄逸長發的場景，機械膨脹腐蝕產生的處理區域是均勻的寬邊框，而ROI檢測器則精準地定位到了每一縷頭髮的所在區域，完全不浪費在無需處理的位置。在一個葉片茂密的植物場景中，ROI檢測器能夠識別出樹葉之間的細小縫隙，而機械方法則完全忽視了這些關鍵細節。
在ROI檢測器確定了需要精細處理的區域之後，系統會自動生成一張"偽三分圖"（pseudo-trimap）。這張圖把畫面分成三類：肯定是前景的區域（遮罩內部的實心區域）、肯定是背景的區域（遮罩以外的區域）、以及需要精細計算的"未知區域"（ROI檢測器標記出的複雜區域）。這張三分圖就像一張工作指派單，明確告訴下游的alpha預測器："這些地方你要仔細算，那些地方直接按前景或背景處理就好。"
---
**四、漸進式Alpha預測器：從草稿到精稿的逐步打磨**
ROI檢測器完成了"找出麻煩區域"的任務之後，漸進式Alpha預測器接手，負責對這些區域的每個像素生成精確的透明度值。
它的工作方式採用了一種"由粗到細"的漸進策略，和設計師畫草圖的過程非常相似。一個設計師不會一開始就直接畫出精細的線條，而是先勾勒出大致輪廓，然後在此基礎上逐步細化，每一輪都在上一輪的基礎上添加更多細節。漸進式Alpha預測器的工作流程與此一致：它在多個解析度尺度上依次運行，低解析度尺度先生成一個粗略的透明度圖，這張粗略圖隨即被傳遞給下一個更高解析度的尺度，作為精細化的起點，如此循環，最終在最高解析度尺度上輸出詳盡的透明度圖。
每個尺度的預測都會接受監督和修正——這意味著不僅最終結果要被評估好壞，中間的每一步草稿也都要符合標準。這種"全程質控"的訓練方式能夠有效防止中間步驟偏離正軌，讓最終的精細化過程建立在可靠的基礎上。
訓練過程中，研究團隊還引入了兩個特殊的"糾偏機制"。其一是遮罩一致性懲罰：它的作用是確保生成的透明度圖不會在主體內部出現"空洞"——如果追蹤器認為某個區域是前景，最終的透明度圖也不應該把那裡算作接近透明，否則摳出來的主體會出現不該有的"漏洞"。其二是平滑度損失：它負責消除透明度圖邊緣的鋸齒感，讓摳圖結果的輪廓更自然流暢，而不是像素化的"階梯邊緣"。在論文展示的對比圖中，加入遮罩一致性懲罰之後，人物身體中間不再出現異常的透明孔洞；加入平滑度損失之後，頭髮的邊緣從參差不齊變得柔順自然。
---
**五、實驗結果：數字背後的真實差距**
SAM2Matting接受了系統性的評測，分別在圖片摳圖和影片摳圖兩大類任務上進行了測試，對比對象包括領域內多個主流方法。
在圖片摳圖領域，研究團隊在三個標準測試集上進行了評測，其中包括專注於人像的P3M-500-NP數據集、專注於動物與自然場景的AM-2K數據集，以及專注於人像細節的PPM-100數據集。評測指標包括平均絕對誤差（MAD，越低越好）、均方誤差（MSE，越低越好）、梯度誤差（Grad，越低越好）和連通性誤差（Conn，越低越好）等，這些指標從不同角度衡量摳圖結果與真實標註之間的差距。
SAM2Matting的三個變體（基於SAM2.1-Tiny、SAM2.1-Base+和SAM3的版本）在幾乎所有指標上都超過了此前的方法。以P3M-500-NP數據集上的MAD指標為例，SAM2Matting（SAM2.1-Tiny）的得分為3.92，而此前的MAM方法得分為15.40——這意味著SAM2Matting的平均像素誤差只有MAM的約四分之一。在AM-2K上，SAM3變體的MAD為4.32，在PPM-100上為4.23，均處於領域領先水平。
影片摳圖的結果更能體現這項研究的核心價值，因為SAM2Matting在影片上完全採用零樣本（zero-shot）評測方式——也就是說，訓練時完全沒有用過任何影片摳圖數據，直接拿去測試。對比方法則全部使用了影片數據進行專門訓練。在V-HIM60-Hard這個難度較高的人物影片測試集上，SAM3變體的MAD為14.37，而MatAnyone2（一個專門用影片數據訓練的方法）的MAD為45.75，相差三倍有餘。在衡量影片時序一致性的dtSSD指標上，SAM3變體得到4.37，也明顯優於大多數競品，這說明其從VOS追蹤器繼承的追蹤能力切實地保證了影片幀間的連貫性。
在速度和內存占用上，SAM2Matting同樣表現出色。以1080p影片為例，SAM2.1-Tiny變體能達到40.31幀每秒，SAM2.1-Base+也有30.36幀每秒，兩者都超過了實時處理的門檻（通常以30幀每秒為標準）。與之形成對比的是，MatAnyone和MatAnyone2在1080p下只能跑到約10幀每秒，在1440p和2160p解析度下更會直接因內存不足而崩潰（論文中標註為"oom"即Out of Memory），而SAM2Matting的三個變體在4K解析度下依然能正常運行，內存占用最高也不超過7GB。
---
**六、消融實驗：拆開來看，每一塊積木都有貢獻**
為了驗證每個設計選擇的必要性，研究團隊做了一系列"拆零件"實驗——依次去掉某個組件，看整體性能如何變化。
ROI策略的對比實驗清楚地說明了ROI檢測器相對於簡單替代方案的優勢。用機械的膨脹腐蝕操作代替ROI檢測器時，V-HIM60-Hard測試集上的MAD從18.20急升至29.82，升幅超過60%。直接用追蹤器的原始遮罩作為處理區域時，MAD為20.07，同樣明顯差於ROI檢測器。
漸進式尺度設計的重要性也在實驗中得到了驗證。去掉多尺度級聯精化機制（退化為單尺度預測）後，MAD從18.20上升至19.43，說明由粗到細的逐步細化確實帶來了顯著的質量提升。分別去掉遮罩一致性懲罰和平滑度損失後，指標也各有不同程度的下降，證明這兩個輔助監督信號都在各自的位置發揮了作用。
研究團隊還專門探討了一個誘人的問題：如果用影片摳圖數據對SAM2Matting進行微調，會不會進一步提升效果？實驗結果給出了一個頗有警示意義的答案。在人物影片測試集V-HIM60-Hard上，微調後的版本確實有小幅提升，MAD從18.20降至17.90。但在動物圖片測試集AM-2K上，微調後的版本反而變差，MAD從4.90升至5.23。更直觀的是論文中的圖像對比——微調之前，模型能夠穩健地跟蹤摩托車（連帶駕駛員一起），微調之後，即使是沒有遮擋的簡單場景，追蹤也開始出現明顯的偏移和誤判。這一結果直接印證了研究團隊的核心判斷：用領域狹窄的影片摳圖數據進行微調會"腐蝕"追蹤器原本的泛化能力，得不償失。
---
**七、靈活性與魯棒性：面對現實世界的各種挑戰**
一項技術要走出實驗室、進入實際應用，還需要應對各種研究者在論文裡不一定測得到的"現實挑戰"。SAM2Matting在這些方面同樣經過了測試。
提示方式的靈活性是一個實際使用中非常重要的便利性特徵。不同的用戶可能習慣不同的操作方式——有人喜歡在主體上點一個點，有人喜歡畫一個框，有人希望直接說"這個人"讓系統自動找。SAM2Matting繼承了底層追蹤器支持的所有提示類型：SAM2.1-Tiny和SAM2.1-Base+變體支持點擊、框選和初始遮罩輸入，而SAM3變體更進一步，額外支持文字描述（如"the man"這樣的文字提示直接作為輸入）。論文中展示了一段自拍影片的案例，用四種不同的提示方式都成功地生成了質量相近的摳圖結果。
追蹤誤差糾正能力也是SAM2Matting的一個值得關注的特性。ROI檢測器並不是無條件信任追蹤器的輸出，而是把追蹤器遮罩當作眾多參考資訊之一，與圖像的視覺特徵相結合。這使得系統具備一定的自我糾錯能力：當追蹤器漏掉了滑雪者的雪杖時，ROI檢測器通過圖像特徵識別出雪杖仍然屬於需要保留的區域，最終的摳圖結果里雪杖完好地保留了下來。反過來，當追蹤器誤把背景中的桌子劃入主體時，ROI檢測器根據視覺特徵判斷出桌子不是目標主體，成功地從結果中排除了桌子。
針對長影片的測試進一步展示了這套系統的實用價值。研究團隊測試了一段500幀的影片，其中主體多次完全離開畫面又重新出現。結果表明，SAM2Matting能夠在整個序列中持續穩定地追蹤和摳圖，主體消失期間不產生誤報，重新出現後能即時恢復準確的摳圖結果。
---
說到底，SAM2Matting解決的問題聽起來很專業——"影片摳圖"、"alpha遮罩"、"時序一致性"——但它背後的邏輯卻出奇地簡單：把一件本來就包含兩種不同難度的任務，交給兩個各自擅長不同方面的工具來分工完成，而不是強迫一個工具同時精通兩件事。
這種思路的價值遠不止於影片摳圖本身。它提供了一種可復用的範式：在面對"追蹤+精細感知"這類本質上包含兩個層次的視覺任務時，與其堆砌更多昂貴的標註數據、訓練更大的端到端模型，不如先想清楚任務的內在結構，再針對性地分配工具。
對於普通用戶而言，這項研究最直接的影響可能體現在不久後的影片編輯軟體和直播工具里：更精準的虛擬背景、更乾淨的主體提取、更低的設備門檻。一台普通的電腦，不再需要專業級顯卡，就能處理高清影片的實時摳圖。對於非人類主體——寵物、植物、透明物體——的支持，也意味著這類工具的適用場景將大幅拓寬。
一個值得進一步思考的問題是：SAM2Matting目前仍然需要用戶在第一幀提供某種形式的提示（點擊、框選或文字描述）來告知系統"你要摳的是哪個主體"。未來，如果追蹤器能夠自主理解更複雜的語義描述，或者系統能夠從影片內容本身推斷出用戶最可能想要保留的主體，那麼這套分工協作的框架還能釋放出更大的潛力。對這個方向感興趣的讀者，可以通過arXiv:2606.27339v1找到完整的論文，以及論文中提供的代碼倉庫進行深入研究。
---
**Q&A**
Q1：SAM2Matting為什麼能在不使用影片摳圖訓練數據的情況下，在影片摳圖任務上超過專門用影片數據訓練的方法？
A：SAM2Matting將影片摳圖拆分為追蹤和精細摳圖兩個子任務，追蹤部分由已在海量影片數據上訓練好的SAM2/SAM3模型負責，精細摳圖部分則通過豐富的圖片摳圖數據訓練，兩者各司其職、互不干擾。現有影片摳圖數據集規模有限且以人物為主，SAM2Matting繞開了這一瓶頸，泛化能力反而更強。
Q2：ROI檢測器和傳統的膨脹腐蝕操作有什麼具體區別，為什麼前者更好？
A：傳統膨脹腐蝕操作對主體的所有邊界均勻擴大一圈，無法區分複雜區域（如飄逸頭髮）和簡單區域（如平整的衣服邊緣）。ROI檢測器通過融合追蹤遮罩、當前幀圖像和多尺度圖像特徵，智能地識別出真正需要精細處理的像素，比如飛散的髮絲和半透明翅膀，避免在無需精細處理的區域浪費計算。實驗顯示，使用ROI檢測器的MAD比膨脹腐蝕方法低約40%。
Q3：SAM2Matting用影片數據微調之後為什麼效果反而變差了？
A：影片摳圖數據集規模有限且主要包含人物場景。用這類數據微調後，模型在人物影片上略有提升，但追蹤器原本強大的泛化追蹤能力被"覆蓋"，在非人類目標（如動物）和更複雜的運動場景中表現明顯下降。這說明窄領域的影片標註數據會導致模型過擬合到特定場景，破壞了SAM2Matting原本依賴的通用追蹤能力。
