這項由螞蟻集團（Ant Group）研究團隊主導的研究，以技術報告形式於2026年7月6日發布，編號為arXiv:2607.05247，感興趣的讀者可通過該編號在arXiv平台檢索完整論文。
**視覺系統的"阿喀琉斯之踵"**
人眼看世界，不只是認出"這是一隻貓"那麼簡單。當你把一杯咖啡放在桌子上，你的大腦會精確判斷杯子的邊緣在哪裡、桌面在哪裡、兩者之間的距離是多少。這種能力讓你可以準確地拿起杯子，而不是撲了個空。對於機器人和自動駕駛汽車來說，這種"密集空間感知"能力同樣至關重要——它需要從普通的相機畫面里，恢復出精確的三維結構資訊。
然而，當下最先進的視覺AI模型，普遍存在一個嚴重的短板。這些模型經過海量圖片訓練，擅長回答"圖里有什麼"，卻在"這些東西在哪裡、彼此距離多遠、邊界在哪裡"這類問題上表現平平。根本原因在於，大多數模型的訓練目標是"語義不變性"——也就是說，不管從什麼角度、什麼光線拍同一隻貓，模型都應該認出它是貓。為了做到這一點，模型會主動忽略空間細節，因為這些細節會隨角度和光線變化而變化。但恰恰是這些被忽略掉的細節，構成了空間理解的核心。
螞蟻集團的研究團隊注意到這個矛盾，並提出了一個全新的思路：**如果訓練過程中，讓模型把"找邊界"當成核心任務，而不是副產品，會怎樣？**
這個看似簡單的問題，催生了一套叫做"LingBot-Vision"的視覺預訓練系統，以及由此驅動的深度補全系統"LingBot-Depth 2.0"。在多項測試中，這個參數量約10億的模型，在空間感知任務上超越了參數量高達70億的同類競爭者。
---
一、為什麼"邊界"是視覺理解的核心密碼
回想一下上學時學過的物理課：當一束光從一種介質進入另一種介質時，會在交界面發生折射。圖像里的邊界，本質上也是類似的"交界面"——在這裡，物體的外形停止了，另一個表面開始了，深度發生了跳變，運動的方向改變了。
研究團隊的核心論點是，**邊界不應該只是AI感知的輸出結果，而應該成為AI學習的原始信號**。以往的做法是先訓練一個通用視覺模型，然後專門加一個"邊界檢測"的頭部模組來檢測邊緣——邊界是任務的終點。而螞蟻集團的團隊反其道而行之，把邊界的發現和學習放在了訓練的最核心位置。
為了實現這一點，他們借鑑了一種在"線段檢測"和"線框解析"領域已經使用多年的密集場表示方法——"吸引力場"（attraction field）。這種表示方法的核心思想，可以用一個直觀的類比來理解。
假設你在一張大地圖上畫了一條河流。傳統的做法是只把河流的輪廓線標出來，其他地方是空白。但"吸引力場"的做法是，讓地圖上**每一個點**都儲存一段資訊：我到最近這條河的距離是多少、河的走向是什麼、河的兩個端點從我這裡看分別在哪個方向。這樣，哪怕地圖的大部分被遮住了，你從任意一個可見的點，都能還原出整條河的大致形狀。這就是"過參數化"（over-parameterized）——用冗餘但穩健的方式編碼稀疏資訊。
正是這種冗餘性，給了整個系統一個驚人的性質：**即使吸引力場裡的具體數值還不準確，通過讓很多點"投票"匯總，依然能解碼出合理的線段**。這意味著，在模型訓練的最初階段，哪怕參數還是隨機初始化的，系統就已經能從自身的預測中提取出粗糙的邊界信號——這為整套"自舉"（bootstrapping）機制打下了基礎。
---
二、遮住最關鍵的部分，強迫模型真正理解場景
理解了邊界表示的原理，就可以進入這項研究最核心的方法設計了——**掩碼邊界建模**（Masked Boundary Modeling）。
在正式介紹這個方法之前，需要先了解一下它所基於的訓練範式，也就是近年來在視覺AI領域非常流行的"自蒸餾"（self-distillation）框架。簡單來說，這個框架維護兩個結構完全相同的網路：一個叫"學生"，一個叫"老師"。老師是學生經過時間平滑的版本（技術上叫EMA，指數移動平均），所以通常比學生更穩定、預測質量更高。學生的任務是，從一張被隨機遮住部分區域的圖片中，預測被遮住部分的特徵表示——老師看到完整的圖片，告訴學生"正確答案"是什麼。通過這種自我對比，模型逐漸學會理解圖片的內容。
這套框架有一個長期被忽視的問題：**遮住哪些部分？** 以往的做法是隨機選擇。隨機遮掩的問題在於，絕大多數被遮住的區域，都是物體的內部——紋理均勻、顏色單一——學生可以從周圍的鄰居那裡輕易推斷出它們長什麼樣。這就好比一道填空題，題目是"太陽從東邊____"，答案幾乎不需要思考就能填上。學生根本沒有受到真正的挑戰。
與此同時，最難、資訊量最豐富的區域——也就是邊界處，兩種不同紋理、不同深度的區域交匯的地方——反而經常僥倖逃過遮掩，沒有被要求去預測。
螞蟻集團團隊的解決方案是：**強制把邊界區域塞進遮掩集合里**。老師網路在預測完整圖片的邊界場之後，會把所有"包含邊界的像素塊"識別出來，強制加入學生需要預測的遮掩集合。學生必須從周圍的上下文中還原出這些邊界區域——既要給出語義層面的預測，又要給出幾何層面的預測（邊界到底長什麼樣、走向如何、端點在哪裡）。
這種"強制遮掩"的設計，把邊界位置變成了整個訓練過程中最難也最有價值的預測目標。一旦學生在這種高難度題目下反覆訓練，它所學到的特徵表示就天然地對幾何邊界高度敏感——這正是空間感知任務所需要的。
不過，這裡有一個雞生蛋、蛋生雞的問題：如果模型還沒訓練好，它怎麼知道邊界在哪裡，從而決定遮住哪些地方？研究團隊用兩個技巧解決了這個問題。
第一個技巧是藉助"角點檢測器"（corner-point detector）。這是一個極小的、固定權重的視覺模型，專門用來找圖片裡的角點和拐點。即使邊界場裡的數值完全是隨機的，只要有角點作為錨，投票機制就能把這些隨機數值匯聚成以角點為端點的線段——也就是粗糙的邊界。這是論文裡一個重要的發現（Finding 1）：邊界來自角點的錨定，不需要等到模型學好才出現。隨著訓練推進，邊界場的預測越來越准，提取出的邊界也越來越精細，形成一個良性循環。
第二個技巧是"範疇化重新參數化"（categorical reparameterization），這是讓整個系統穩定工作的關鍵數學設計。
---
三、把連續的幾何數值變成"投票選擇題"，解決訓練崩潰問題
直接讓神經網路預測連續數值形式的邊界場（比如"距離最近線段3.7像素，方向角47.2度"）存在嚴重的訓練穩定性問題。在老師-學生循環里，如果老師給出的目標是連續數值，這些數值很容易在訓練過程中漂移和崩潰，導致模型學到無意義的表示。
螞蟻集團的團隊提出了一個巧妙的解決方案：把每個連續數值"離散化"成若干個區間（bin），把原本的連續回歸問題，變成一個分類問題——不再預測"距離是3.7像素"，而是預測"距離落在第3個區間還是第4個區間"，就像在做單選題而不是填空題。
這個轉變有兩個重要好處。第一，分類問題可以直接使用和語義自蒸餾相同的"中心化"和"銳化"技術——這是防止自蒸餾系統崩潰的標準機制，現在幾何分支可以和語義分支共享同一套穩定機制。第二，分類問題天然對應一個統計檢驗：如果某個區域真的沒有邊界，那麼方向角的預測分布應該是均勻的（每個區間概率相等），就像隨機猜答案；如果某個區域真的有邊界，方向角的預測應該高度集中在某個特定區間。這正是"反事實"（a-contrario）理論的核心思想——通過比較預測分布與均勻分布的差距，判斷一個線段候選是否真實存在。這樣一來，**邊界驗證成了表示學習的天然組成部分**，不需要額外的人工標註或後處理步驟。
在實際操作中，老師網路的工作流程是這樣的：先對當前圖片預測一個密集的邊界場，然後結合角點檢測器的輸出，通過投票機制生成候選線段集合，接著對每個候選線段做反事實統計檢驗（用公式計算"如果方向是隨機的，出現當前這麼一致的投票的概率有多低"），只保留那些統計上顯著的線段，最後把這些驗證過的線段重新渲染回密集場，作為乾淨的監督信號傳給學生。通過這道驗證關卡，雜亂的噪聲和幻覺不會進入訓練信號，系統保持了自舉過程的清潔性。
---
四、在小規模實驗上先驗證，然後才放大
在把整套方法擴展到大規模訓練之前，研究團隊先在ImageNet-1K數據集上用ViT-L/16架構做了嚴格的對照實驗，以驗證每個設計決策的效果。他們用的基準線是DINO+iBOT——一個標準的語義自蒸餾框架，在完全相同的訓練配置下對比。
基準線在ImageNet圖片分類的k近鄰（k-NN）準確率是81.6%，在NYU-Depth v2深度估計數據集上的線性探針δ?指標（一種衡量深度預測精度的標準）是81.4%，均方根誤差（RMSE）是0.474。
研究團隊按照以下順序逐步加入各個組件，每步觀察指標變化。
僅加入範疇化邊界目標（純幾何監督），不改變其他任何東西，k-NN分類準確率幾乎不變（81.8%），但深度估計的δ?躍升到84.4%，RMSE下降到0.446。這證明幾何監督確實能夠大幅提升空間感知能力，同時幾乎不損害語義識別能力。
進一步加入"雙重監督"——在邊界區域同時保留語義自蒸餾目標和幾何目標，k-NN上升到82.0%，δ?進一步提升到84.7%，RMSE降至0.443。這說明語義目標和幾何目標不是競爭關係，而是互補的。
再加入旋轉位置編碼（RoPE）骨幹網路，最終的k-NN達到82.4%，δ?達到84.9%，RMSE降至0.440。
作為對比，有一個關鍵的控制實驗：如果只做強制邊界遮掩，但仍然用語義目標（而非幾何目標）來監督這些被遮住的邊界區域，結果是k-NN 81.4%，δ? 81.2%，RMSE 0.481——比基準線還要略差。這直接證明了"遮哪裡"和"預測什麼"必須配合使用，缺一不可。強制遮掩邊界，是告訴模型"在這些困難地方必須做功"；幾何目標，是給這些困難地方提供正確的學習方向。兩者結合，才能產生真正的增益。
---
五、把驗證過的方法放大到十億參數，打造LingBot-Vision
有了小規模實驗的充分驗證，研究團隊開始構建LingBot-Vision——一個基於ViT-g/16架構、參數量約11億的大型視覺基礎模型。
訓練數據方面，團隊遵循了與DINOv2類似的數據整理流程，但實現在自己的數據源上。原始候選池是約20億張網路圖片，最終通過基於相似度檢索的篩選，保留了約1.607億張經過質量控制的圖片。這批數據的規模與DINOv2使用的1.42億張數據集相當，但比DINOv3使用的16.89億張數據集小了一個數量級。為了覆蓋多樣的下游任務，檢索時用到了多個領域的種子數據集，包括ImageNet、谷歌地標數據集、Mapillary城市街景數據集，以及ADE20K語義分割、NYU-Depth v2深度估計等。
訓練本身分三個階段：30萬步的自蒸餾預訓練、10萬步的Gram錨定（用於修復長期訓練後密集特徵圖可能出現的退化現象）、以及10萬步的512像素高解析度適應。總訓練量不到DINOv3的三分之一。
工程效率方面，團隊做了大量優化。邊界預測頭只在邊界區域（而非所有像素）展開計算，因此計算量與邊界區域的數量成正比，而非與圖片總尺寸成正比。軟標籤構建和分類交叉熵損失被融合進自定義CUDA核心，消除了中間張量。老師網路的在線目標生成流水線（場解碼、角點匹配、反事實驗證、線段重渲染）全部實現為批量GPU操作，沒有任何CPU往返通信，最終開銷僅占總訓練時長的極小一部分。
在完成大模型（ViT-g）的預訓練之後，研究團隊進一步通過蒸餾，得到了更小的學生模型：參數量約3億的ViT-L、約8600萬的ViT-B、以及約2100萬的ViT-S。蒸餾時用凍結的大模型替代EMA老師，在相同流水線下訓練，使學生也能繼承大模型的幾何感知能力。
---
六、實驗結果：一個10億參數的模型，在深度估計上擊敗70億參數的競爭者
研究團隊在多個標準測試集上對LingBot-Vision進行了系統評估，所有評估都採用"凍結特徵探針"協議——骨幹網路的權重完全固定，只訓練一個線性層作為解碼頭，以確保性能差異真正來自特徵質量，而非解碼頭設計。
在深度估計上，測試數據集包括室內場景的NYU-Depth v2和室外駕駛場景的KITTI。在NYU-Depth v2上，LingBot-Vision（ViT-g/16，約10億參數）的RMSE達到了0.296，是所有對比模型中最好的——比參數量高達70億的DINOv3（RMSE 0.309）和20億參數的V-JEPA 2.1（RMSE 0.307）都要更低。與同等規模的競爭者相比，優勢更大：比AM-RADIOv2.5低13%，比DINOv3 ViT-H+低16%，比DINOv2低20%，比同規模影片預訓練模型V-JEPA 2.1 ViT-g低15%。在KITTI數據集上，LingBot-Vision以RMSE 2.552排在所有20億參數以下模型的第一位，僅次於70億參數的DINOv3（2.346）和20億參數的V-JEPA 2.1（2.461）。
在語義分割上，測試數據集包括ADE20K、Cityscapes和VOC12。LingBot-Vision的表現接近同樣是從70億參數教師蒸餾出來的DINOv3 ViT-H+，在ADE20K上51.74 mIoU對53.5 mIoU，在Cityscapes上持平（79.6 vs 79.5），在VOC12上（87.5 vs 85.8）甚至超過後者。與等規模的DINOv2相比，在三個數據集上都有約4 mIoU的一致性提升。值得注意的是，LingBot-Vision是從零隨機初始化開始訓練的，沒有藉助更大的教師模型；而DINOv3 ViT-H+是從70億參數教師蒸餾的，AM-RADIOv2.5則聚合了多個專門化教師的信號。
在影片物體分割上，研究團隊測試了DAVIS-2017和YouTube-VOS——這兩個測試需要把第一幀里標註的物體輪廓，通過特徵相似度"傳播"到後續幀，完全不需要在影片數據上做任何微調。LingBot-Vision在DAVIS上得到70.0分，在YouTube-VOS上得到73.5分，與DINOv3 ViT-H+（71.1和74.0）和70億參數DINOv3（71.1和74.1）非常接近，是所有其餘模型里最好的。與同規模的DINOv2相比，分別高出6.1和7.9分；甚至比在影片上預訓練的V-JEPA 2.1 ViT-g還要高出1.9和1.2分，儘管後者專門用影片數據訓練。
在ImageNet圖片分類上，LingBot-Vision（ViT-g）的線性探針準確率為86.32%，k-NN準確率為83.39%，與DINOv2的旗艦模型（87.00%和83.68%）基本持平，但低於DINOv3（87.87%和85.68%）和SigLIP 2（87.33%和84.75%）。這個差距符合預期：邊界導向的預訓練把模型容量更多地投入了局部幾何結構，而不是全局語義不變性。
蒸餾家族方面，ViT-L學生在NYU-Depth v2上取得0.310的RMSE，比同規模DINOv2（0.411）低25%，與70億參數DINOv3的0.309幾乎持平，但ViT-L只有約3億參數，約是70億參數模型的二十三分之一。ViT-B學生在同規模競爭者中取得最好的分類準確率（85.05%）和最好的深度表現（0.339 NYUv2，2.793 KITTI）。ViT-S學生在分類準確率上依然領先（82.22%）。
通過主成分分析（PCA）可視化，也能直觀看到特徵質量的差異：LingBot-Vision的特徵把物體呈現為邊界清晰的連貫區域，而DINOv2的特徵有明顯的逐塊"斑點"噪聲，SigLIP 2在非顯著區域退化成塊狀噪聲，V-JEPA 2.1的前景和背景紋理有明顯的混疊。
---
七、把空間感知能力應用到深度補全，驅動LingBot-Depth 2.0
LingBot-Vision最直接的應用場景之一，是驅動深度補全（depth completion）任務——從深度相機拍攝的不完整深度圖（裡面有大量空洞，比如玻璃表面、鏡子表面會讓深度相機返回無效值），結合RGB圖像，恢復出完整準確的深度圖。這對機器人抓取、空間導航等實際應用極為重要。
研究團隊之前已經有了第一代產品LingBot-Depth，其核心框架叫"掩碼深度建模"（Masked Depth Modeling, MDM）。這個框架把深度補全重新理解為一種掩碼自編碼問題：把RGB圖像和原始深度圖分別用兩個獨立的嵌入層處理成特徵序列，拼接在一起，然後讓深度相機本身產生的"無效區域"充當自然的掩碼——這些區域正好是最難的地方（玻璃、鏡子、無紋理表面），需要模型從視覺上下文中推斷。編碼器初始化自DINOv2，解碼器是一個層次化的卷積堆疊模組，用L1損失在有效真實深度的像素上訓練。
LingBot-Depth 1.0的訓練數據來自兩個渠道：合成數據通過Blender渲染室內場景，加上模擬的散斑投影雙目視覺，再通過半全局匹配算法產生帶有真實相機噪聲特徵的深度圖（約100萬樣本）；真實世界數據來自研究團隊自建的多相機採集裝置，涵蓋多種室內、商業和室外場景，用FoundationStereo從紅外雙目對中蒸餾出偽真實深度（約200萬樣本）。兩者加上公開數據集合計約1000萬樣本，公開釋放了其中300萬樣本。
LingBot-Depth 2.0隻做了兩處改動：把編碼器初始化從DINOv2換成LingBot-Vision（分別提供ViT-L/16和ViT-g/16兩個版本），並把訓練數據從公開的300萬樣本擴展到新整理的1.5億樣本。MDM框架本身的任何超參數和模組設計都沒有改變。
研究團隊做了一組嚴格的對照實驗，專門驗證編碼器初始化的價值：在完全相同的MDM流水線和相同的數據集上，分別用DINOv2 ViT-L/14、DINOv3 ViT-L/16和LingBot-Vision ViT-L/16作為初始化，在14個基準測試集上對比。結果顯示，LingBot-Vision的初始化在ViT-L規模下幾乎橫掃所有測試集，優勢在最難的大面積遮擋場景（DIODE-Indoor）上最為顯著（RMSE 0.094對DINOv2的0.152，DINOv3的0.114）。擴展到ViT-g規模後，LingBot-Vision（0.083）繼續領先DINOv2（0.118）。
數據量擴展的效果同樣經過了系統測試，分別用300萬、2000萬和1.5億樣本訓練，對比LingBot-Vision和DINOv2兩種初始化在各階段的表現。兩種初始化的精度都隨數據量單調提升，但提升速度不同：在D102（嚴格閾值準確率）指標上，兩者在300萬數據時幾乎持平（0.692對0.689），到2000萬時差距擴大（0.777對0.752），到1.5億時差距進一步擴大（0.795對0.755），而DINOv2在2000萬到1.5億之間的提升已經趨於飽和（0.752到0.755）。**更好的預訓練，遇到更多數據，優勢被放大而不是抹平**——這說明空間感知能力的優勢確實來自編碼器的內在特質，不會隨數據規模增加而消失。
在最終的評測中，LingBot-Depth 2.0（ViT-L）在8個大面積遮擋和稀疏深度點測試集中的7個上取得最好的RMSE，在8個真實傳感器測試集中的6個上取得最好的成績。在最困難的透明物體場景（ClearGrasp數據集，專門測試D415和D435相機拍攝玻璃物體的情況）上，LingBot-Depth 2.0的RMSE分別達到0.010和0.012，比競爭對手CDMs（0.017和0.013）更好，遠超OMNI-DC（0.042和0.027）和Any2Full（0.030和0.024）。在研究團隊自建的LingBot評測集（覆蓋辦公室、醫院、酒店、餐廳、停車場等35個不同室內場景，包含大量鏡面和玻璃表面）上，LingBot-Depth 2.0在D415、D435和D455三種相機上的RMSE分別為0.242、0.363和0.394，而前代LingBot-Depth 1.0分別為0.295、0.345和0.434。
擴展到ViT-g骨幹網路後，在大面積遮擋和稀疏深度點測試集上繼續改善（DIODE-Indoor RMSE 0.060，NYU兩種測試製度下分別為0.114和0.113），在LingBot傳感器套件上也有進步（三種相機分別為0.228、0.345和0.375）。
---
說到底，這項研究做了一件聽起來簡單、但執行起來相當精巧的事：把"找邊界"這件事，從AI視覺系統的輸出任務，變成了輸入任務——讓模型在最原始的學習階段就開始和邊界打交道，而不是等到專門的任務調優時才接觸它。
這件事的意義，可以用一個類比來理解。好比教人素描，一種方式是先教光影，後教輪廓；另一種方式從第一天起就讓學生把輪廓當成核心練習對象。長期下來，後一種教法培養出來的學生，對形狀和結構的直覺往往更紮實。LingBot-Vision的訓練，選擇了後一種路徑。
最終的結果是：用約10億參數、在約1.6億圖片上、花費不到DINOv3三分之一的訓練量，得到了在密集空間感知任務上超越70億參數模型的特徵表示。而把這個表示用於深度補全，僅僅替換編碼器初始化，不改變任何下游框架，就把LingBot-Depth從1.0推進到了2.0，並且隨著訓練數據的增加，這個優勢還在持續擴大。
螞蟻集團的研究團隊已經把LingBot-Vision的預訓練權重開放給了學術和工程社區（可通過Hugging Face上的robbyant/lingbot-vision檢索相關資源，GitHub地址為robbyant/lingbot-vision，完整論文可通過arXiv:2607.05247查閱）。對於需要讓機器真正"讀懂"空間結構的場景——機器人抓取、3D場景重建、自動駕駛的環境感知——這套系統提供了一條可以直接復用的路徑。至於邊界驅動的預訓練思路，能否進一步擴展到影片序列的時序感知、或者點雲這類三維數據，留給後續研究者繼續探索。
---
**Q&A**
Q1：LingBot-Vision的邊界感知能力，具體是怎麼在訓練過程中從零學出來的？
A：LingBot-Vision藉助了一種"密集吸引力場"表示：圖片裡每個像素都儲存著它到最近邊界的距離和方向。即使場的數值在訓練初期幾乎是隨機的，通過匯聚大量像素的"投票"，也能粗略解碼出線段位置。再配合一個輕量級角點檢測器提供端點錨定，以及反事實統計檢驗過濾掉虛假候選，系統從第一步起就有了可用的邊界信號，並隨著訓練不斷精化，完全不需要人工邊界標註或外部邊緣檢測器。
Q2：為什麼參數量只有10億的LingBot-Vision能在深度估計上超過70億參數的DINOv3？
A：兩者的訓練目標不同。DINOv3的核心目標是語義不變性，Gram錨定是為了維護密集特徵而額外添加的補丁機制，邊界感知屬於間接產物。LingBot-Vision從預訓練最開始就強制模型在邊界處做最難的重建任務，並用幾何目標直接監督這些區域。深度估計的誤差主要集中在物體邊界和深度跳變處，而這恰恰是LingBot-Vision特徵最精確的地方，所以用一個線性層做探針時就已經能體現出來，不需要用更大的解碼頭來彌補。
Q3：LingBot-Depth 2.0在處理玻璃和鏡子時表現好，具體好在哪裡？
A：主動深度傳感器（比如RealSense系列）對玻璃和鏡面幾乎完全失效，因為光線會穿透或鏡面反射，導致深度值缺失。LingBot-Depth 2.0需要從RGB圖像中理解這些區域的幾何形狀，然後"補全"缺失的深度。由於LingBot-Vision的特徵對物體邊界高度敏感，能清晰區分玻璃邊緣、背景和前景，補全出的深度在空間上是連貫的平面，而不是散點或扭曲的曲面。在ClearGrasp透明物體測試集上，LingBot-Depth 2.0的RMSE分別為0.010和0.012，優於其他主流方法。
