這項由密西根大學安娜堡分校、卡內基梅隆大學、紐約大學和范德堡大學聯合開展的研究，以預印本形式發布於2026年6月28日，論文編號為arXiv:2606.29600，有興趣深入了解的讀者可通過該編號查詢完整論文。
一、一個被忽視已久的"看穿問題"
站在一扇落地玻璃門前，你同時看到了兩樣東西：眼前那層光滑透明的玻璃表面，以及玻璃後面的房間、桌椅和人。你的大腦毫不費力地把這兩層景象都記下來，知道玻璃在近處，桌椅在遠處。但如果換成一台攝像機，然後讓人工智慧來判斷"眼前的東西離我多遠"，它該回答玻璃的距離，還是桌椅的距離？
這個看似簡單的問題，實際上揭示了當今最先進的AI視覺系統中一個深層的結構性困境。現代單目深度估計模型（所謂"單目"，就是只用一張普通照片，而非兩張像人眼一樣的立體圖像）被設計成對每一個像素給出唯一一個深度數值，就像每塊地磚只能標註一個海拔高度。這種設計在大多數場景下工作得很好，因為普通牆壁、地面、椅子等不透明物體每個位置確實只有一個表面。然而，當場景中出現玻璃、透明包裝、鏡面等半透明或透明材質時，同一條光線實際上穿過了多個物理層，每一層都是真實的、幾何上有效的表面。此時強行給出唯一深度，本質上是一種"強迫選擇"——模型必須押注於某一層，而另一層則被徹底忽視。
研究團隊將這種現象稱為"深度層偏好"，意思是每個模型都隱含著一種傾向，在遇到透明場景時，它會本能地傾向於報告哪一層。這種偏好不是模型的聰明判斷，而是訓練數據和監督信號無意中塑造出來的習慣。更關鍵的是，在標準的評估體系中，這種偏好從未被系統地測量和研究過，因為現有的評測指標只關心模型給出的深度是否接近標註值，而從不追問那個標註值本身選的是哪一層。
二、訓練數據里埋下的"偏見種子"
要理解為什麼會有這種層偏好，必須回到深度學習的核心邏輯：模型學什麼，取決於它被用什麼數據訓練。在深度估計領域，訓練數據的來源極其多樣，包括雷射雷達掃描、超聲波傳感器測量、立體相機對、合成渲染數據等等。
問題恰恰出在這裡。雷射雷達光束打到玻璃上，可能被反射掉，也可能穿過去打到背後的牆，取決於玻璃的材質和入射角；超聲波則往往被玻璃最近的那層表面直接彈回來。換句話說，不同傳感器對同一個透明場景給出的"正確答案"是不同的，甚至截然相反。當訓練數據混合了這些來源各異的標註時，模型學到的不是什麼是"客觀上正確的深度"，而是某種加權平均後的混合信號——一個被數據分布塑造的層偏好。
在合成數據中情況同樣如此。渲染引擎在遇到透明材質時，需要決定光線追蹤在哪一層"終止"，不同的渲染參數會產生不同的深度標註。Hypersim這樣的合成數據集就體現了渲染器在處理透明度時的特定選擇，而這些選擇又被編碼進了訓練模型的每一個權重之中。
由此，研究團隊得出了一個頗具哲學意味的結論：模型不是在學習場景的客觀幾何，而是在學習一套"約定"——一種由數據來源、標註方式和訓練機制共同決定的層偏好約定。這套約定在模型遇到透明場景時會自動觸發，讓模型傾向於匯報某一個特定層。
三、如何讓這種偏好變得可測量——MultiDepth-3k基準測試
研究團隊意識到，在沒有合適評測工具的情況下，這種層偏好會永遠停留在猜測階段。於是他們構建了一個名為MultiDepth-3k（簡稱MD-3k）的基準測試數據集，這是整個研究的核心基礎設施。
MD-3k包含3161張真實世界的RGB圖像，全部來自GDD玻璃檢測數據集，場景涵蓋各類含有透明物體的室內外環境。與傳統深度數據集追求稠密、精確的深度圖不同，MD-3k採用了一種更聰明、也更實際的方式：稀疏的序數關係標註。
具體來說，對於每張圖像，標註員在透明區域內選取一對稀疏的點，然後手動給出兩種標註：對於最近層（即透明玻璃本身所在的層），這兩個點哪個更近哪個更遠？對於第二層（即玻璃後面的背景所在的層），這兩個點哪個更近哪個更遠？由於玻璃的存在，同一對點在兩個層中的遠近順序有時相同，有時完全相反。
這種設計的妙處在於，它完全繞開了"哪一層的絕對距離是多少"這個傳感器無法中立回答的問題，轉而問一個更純粹的幾何問題：在你給出的深度圖中，這兩個點誰更近誰更遠？只要模型給出的深度圖與某一層的序數關係吻合，就說明模型在這張圖上"認同"了那一層的幾何。
MD-3k將3161張圖像分成兩個子集：同向子集（1783張）和反向子集（1378張）。在同向子集中，兩個層對於同一對點給出相同的遠近順序，所以模型無論偏向哪層都會得到一致的答案；在反向子集中，兩層給出的順序完全矛盾，模型只能同時滿足其中一層，這正是層偏好最清晰暴露的地方。
每一張圖片的標註都經過多名標註員的多輪交叉驗證，確保質量。這個數據集本身就是一項重要貢獻，因為它首次提供了一套可以系統衡量模型層偏好的工具。
四、用三把"尺子"衡量模型行為
有了數據集，研究團隊設計了三個互相配合的評估指標，共同描述模型的行為。
第一把尺子叫做空間關係準確率（SRA），衡量的是模型給出的深度圖與某一特定層的序數關係吻合的比例。對第一層（透明玻璃層）計算一個SRA(1)，對第二層（背景層）計算一個SRA(2)。數值越高，說明模型越"認同"那一層的幾何。
第二把尺子叫做深度層偏好α，計算方式很簡單：α = SRA(2) - SRA(1)。當α大於零，說明模型更傾向於背景層；當α小於零，說明模型更傾向於玻璃層。α的絕對值越大，偏好越強烈。這個指標讓每個模型的層偏好變成了一個可以比較的數字。
第三把尺子叫做多層空間關係準確率（ML-SRA），這是最複雜也最有意思的指標。它不評估單張深度圖，而是評估兩張深度圖組成的"候選對"能否共同覆蓋兩個層。具體來說，給定模型基於原始RGB圖像產生的深度圖和基於變換後圖像產生的深度圖，通過一個數據集級別的全局匹配，決定哪張圖對應哪一層，然後計算在這種最優匹配下，兩張圖能同時滿足兩層序數關係的比例。ML-SRA越高，說明這對深度圖越能互補地覆蓋透明場景的完整幾何。
研究團隊還設定了一個重要的參照基線：如果一個模型完美預測了主要層的深度，但把同一張圖複製一遍作為第二層的預測，這個"理想摺疊基線"的ML-SRA得分是56.4%。這56.4%來自於同向子集占全部數據的比例——在那些順序一致的圖像上，複製一張就能同時滿足兩層，但在反向子集上完全無能為力，得分為零。任何真正有意義的多層預測都必須突破這個56.4%的天花板。
五、十幾個頂尖模型的"透明考場"——層偏好的異質性
研究團隊在MD-3k上系統評測了一大批當前最先進的單目深度模型，包括Depth Anything系列（DAv1和DAv2的小、中、大三個規模版本，以及室內和室外專門調優版本），以及DPT、ZoeDepth、Marigold、GeoWizard、Depth Pro、UniDepth-v2、UniK3D等各路模型，涵蓋判別式、生成式、度量式等不同技術路線。
結果相當驚人，不同模型在透明場景下的層偏好截然不同，甚至在同一個家族內部也有明顯分裂。以Depth Anything v2系列為例，通用版（DAv2-S/B/L）和室內調優版（DAv2-I）都傾向於報告玻璃這一近處層，α值為負；而室外調優版（DAv2-O）則恰恰相反，傾向於報告背景這一遠處層，α值為正。
DAv1系列全部強烈偏好背景層，在反向子集上的SRA(2)高達94%至96%，SRA(1)則只有可憐的4%至6%，這意味著DAv1幾乎完全無視透明物體的近表面，專注於看穿玻璃報告背景。生成式模型Marigold和GeoWizard也傾向於背景層，但偏好強度相對溫和。Depth Pro則是個有趣的異類，它明顯偏好近處的玻璃層，α值約為負35%，在所有測試模型中屬於少數偏好近層的類型。
這些結果完美印證了研究團隊的理論：模型的層偏好源於其訓練數據和訓練目標的混合方式。室外訓練數據中透明物體相對少見，背景層的標註往往是主要信號；室內場景中玻璃門窗更常見，某些數據集可能更多地捕捉到了近表面。每種數據配方造就了不同的層偏好口味。
在同向子集和DA-2K（一個非透明場景基準）上，幾乎所有模型的表現都與普通場景相當，說明MD-3k的難度不在於讓基礎幾何判斷變得更難，而在於反向子集這個專門暴露層偏好矛盾的子集。
六、拉普拉斯視覺提示——一把意外的"層切換鑰匙"
測量出層偏好之後，研究團隊提出了一個更大膽的問題：能不能在不改變模型權重的前提下，僅僅改變輸入圖像的樣子，就讓模型匯報另一個層？
這個想法催生了拉普拉斯視覺提示（Laplacian Visual Prompting，LVP）。在信號處理中，拉普拉斯算子是一種檢測圖像中高頻細節（如邊緣和紋理）的經典數學工具。它的工作原理可以理解為：用一個特定的3×3小矩陣在圖像上滑動，每一個位置的輸出值代表該點像素強度與周圍像素平均值的差異。平坦區域的輸出接近零，邊緣區域則有強烈的正負響應，最終形成一張突出輪廓、壓制均勻色塊的新圖像。
研究團隊的操作分兩步完成。第一步，對輸入的RGB圖像的每個顏色通道單獨做浮點精度的拉普拉斯卷積，得到一張充滿正負符號的"差異圖"。第二步，把這張差異圖通過最小-最大歸一化壓縮回0至255的正常像素範圍，讓它看起來像一張普通圖像，然後把它餵給深度模型，就像餵一張普通RGB圖片一樣——不動模型的任何一個參數，不做任何微調，完全是在輸入端做文章。
理論上，這不過是換了一張奇怪的"素描風格"圖像給模型看，並沒有任何特別的理由認為模型會因此改變深度層報告。然而實驗結果令研究團隊本身都大感意外：對於DAv2通用版，LVP輸入觸發了強烈的層切換效果。以DAv2-L為例，在反向子集上，用原始RGB輸入時該模型傾向於近層（SRA(1)=65.3%，SRA(2)=34.7%）；換成LVP輸入後，偏好發生了接近完全翻轉（SRA(1)=15.9%，SRA(2)=84.1%），α值從-30.6%跳變到+68.2%，變化幅度達到近99個百分點。
DPT和ZoeDepth也表現出類似的強烈切換，而DAv1系列和Marigold、GeoWizard等生成式模型對LVP基本不敏感，偏好方向沒有顯著改變。這種模型依賴性表明，LVP並非一個萬能開關，而是一把只對特定結構的模型起作用的鑰匙。研究團隊將這種特性稱為"譜感受性"——某些模型架構對輸入頻率內容的變化更加敏感，當高頻邊緣資訊被大幅增強後，它們處理透明區域的內部邏輯會走向不同的路徑。
七、RGB與LVP組合——突破單一預測的天花板
一旦有了原始RGB輸入產生的深度圖和LVP輸入產生的深度圖，就可以把這兩張圖當作一個"候選對"來評估ML-SRA，看它們能否共同覆蓋透明場景的兩個層。
DAv2-L的組合在整體MD-3k上達到了75.5%的ML-SRA，其中在反向子集（最難的部分）達到52.2%，而同向子集達到93.6%。回憶一下之前提到的56.4%天花板：理想的單一預測複製對的得分，意味著在反向子集上得分為零。DAv2-L的RGB/LVP組合在整體上比這個天花板高出19.1個百分點，而在反向子集上從零直接跳到52.2%，這是實質性的突破——意味著這對組合真的在覆蓋兩個幾何上矛盾的層，而非只是用一張圖對付一切。
其他對LVP響應較強的模型也有相當的表現，DPT的組合達到70.2%，ZoeDepth達到68.8%，DAv2-B達到73.3%。響應較弱的DAv1和生成式模型則徘徊在57%至63%之間，基本上沒能突破天花板。這說明ML-SRA的提升確實與LVP觸發的層切換有直接關聯。
研究團隊還將LVP方案與一個依賴語義先驗的對比方法進行了比較。那個方法先用玻璃檢測模型（mIoU 0.88）預測出透明區域的掩碼，再用另一個深度模型（DAv1-L）的背景偏好深度圖，在掩碼邊界進行空間插值來估計近層深度，最終得到75.8%的ML-SRA。有趣的是，兩種方法的整體得分幾乎相同（75.5% vs 75.8%），但用到的資源完全不同：語義先驗方法需要額外的透明物體分割模型，而LVP方法只需要一次簡單的數學變換，無需任何額外模型。如果再用上真值掩碼（理想情況下的語義先驗），ML-SRA可以達到82.5%，說明未來如果有更好的自動層選擇機制，性能還有進一步提升空間。
八、消融實驗——LVP為何有效，而不是其他變換
為了確認LVP效果的來源，研究團隊做了一系列比較實驗。
第一個比較是高頻與低頻的對決：用高斯平滑（低頻保留）代替拉普拉斯（高頻增強）作為輸入變換。結果非常清晰：在反向子集上，高斯平滑對所有模型幾乎沒有任何切換效果，反向ML-SRA普遍接近零；而在同向子集上，高斯平滑反而比LVP更好，因為它保留了場景的低頻結構，不破壞原始預測。這種不對稱性非常重要——高頻提示在兩層順序相反時起作用，低頻提示在順序一致時更穩定，兩者覆蓋的正是不同的幾何情境。
第二個比較是測試LVP的設計穩健性。研究團隊嘗試了將拉普拉斯核從4鄰域擴展到8鄰域，以及翻轉拉普拉斯核的符號，還有將彩色輸入改為灰度輸入。這三種變體的ML-SRA相對於默認LVP的變化幅度都非常小（在±4個百分點以內），說明LVP的效果不依賴於某一種特定的實現細節，而是源於"高頻增強"這一更廣泛的特性。
第三個比較是測試其他高頻算子的效果：Sobel邊緣檢測、傅里葉高通濾波、小波變換。這些算子都能在一定程度上觸發類似的層切換效果，但沒有一種算子在所有模型和子集上同時優於LVP。Sobel在DAv2-S的反向子集上略好，LVP在DAv2-B和DAv2-L上最強。總體而言，多種高頻算子的共同有效性支持了一個更廣泛的結論：重要的不是拉普拉斯這一特定算子，而是"高頻增強"這個操作方向。LVP作為最簡單的無參數實現，是一個實用的默認選擇。
第四個比較是與Canny二值邊緣圖的對比。Canny邊緣檢測也能提取圖像的邊緣資訊，但它輸出的是0/1二值圖，丟失了拉普拉斯殘差中包含的連續幅度資訊。在DAv2-S/B/L上，LVP的反向子集得分一致優於所有四種Canny閾值設置（LVP分別為36.9%、48.2%、52.2%，最佳Canny分別為24.2%、39.8%、49.4%）。這說明連續的高頻幅度資訊確實比簡單的二值邊緣圖攜帶了更多對模型有意義的信號。
九、不隨規模增大而消失的現象——模型大小與層切換的關係
隨著DAv2從Small到Base再到Large規模擴大，LVP觸發的層切換效果沒有消失，反而在通用版中變得更加明顯。DAv2-L的α變化幅度（+98.8）是DAv2-S（+59.8）的約1.6倍，ML-SRA從67.2%提升到75.5%。這表明規模擴大並沒有讓模型"變聰明"到能自動中立地處理透明場景的程度，反而可能讓模型把從訓練數據中學到的層偏好習慣表達得更加徹底。
在反向子集上，當RGB和LVP輸入恰好傾向於不同的層時，更大的模型往往能從這種分歧中獲得更高的ML-SRA。相反，在同向子集和DA-2K（普通無歧義場景基準）上，隨著模型規模增大，LVP引起的性能下降幅度反而在縮小，說明大模型在非歧義場景下對輸入擾動的抵抗力更強。這兩種趨勢共同描繪了一幅微妙的圖景：規模讓模型在歧義場景下的層偏好更加鮮明，同時讓它在清晰場景下更加穩健。
十、LVP不是萬能的——失敗案例與局限
研究團隊非常坦誠地報告了LVP失效的情況。當透明物體是曲面玻璃（如弧形玻璃門）時，玻璃表面的邊緣特徵相對清晰，LVP能夠增強這些特徵，觸發層切換。但當透明材質是有紋理的半透明表面時，近層和遠層的高頻信號高度混合，拉普拉斯算子無法將它們分開，LVP產生的變換圖在頻率上與原始RGB差異不大，無法觸發足夠強的切換。
此外，如果模型在原始RGB輸入下就對透明區域給出了錯誤的預測，LVP也無法"修正"這個錯誤，只能改變報告的層，而不能改變每一層預測本身的質量。LVP改變的是模型選擇匯報哪一層，而非改變模型對任何一層的幾何理解能力。
還有一個根本性的使用限制：LVP在本文中依賴數據集級別的全局匹配來決定哪張深度圖對應哪一層，並沒有實現逐圖自動判斷。在實際部署中，如果需要可靠地知道RGB輸出對應近層還是遠層，必須有額外的標定數據、語義信號或不確定性估計器來輔助決策。LVP目前是一個診斷和探測工具，而非開箱即用的多層深度估計系統。
十一、LVP在非透明場景中的代價
為了評估LVP是否損害了模型在普通場景下的性能，研究團隊在NYU-D（室內深度基準）、KITTI（室外自動駕駛深度基準）和ETH3D（多視角立體基準）三個無歧義數據集上進行了測試。結果表明，LVP會導致一定程度的性能下降：絕對相對誤差在不同模型上增加0.003至0.060，δ1（預測與真值的比值在1.25倍以內的比例）最多下降約10.9個百分點。KITTI上的下降較小，ETH3D上的下降較大。這證明LVP不是普通RGB推斷的替代品，而是一個專門用於探測歧義場景的工具。
十二、內部特徵的變化——LVP在做什麼
為了給LVP為何能觸發層切換提供一些定性的內部解釋，研究團隊對DAv2-L的編碼器和解碼器特徵做了主成分分析可視化。在LVP輸入下，模型內部的中間層激活對背景層的高頻邊緣信號有更強的響應，而在原始RGB輸入下，激活更多地集中於前景（玻璃）相關的特徵。這個定性觀察支持了"頻譜調製"的解釋框架，但研究團隊明確聲明，這不是證明模型內部存在兩套獨立的深度表徵，只是說明高頻增強在特徵層面確實產生了有別於RGB的激活模式，而這種模式的差異最終反映在了輸出的深度層選擇上。
十三、下游應用——從診斷工具到實際用途
研究團隊展示了RGB/LVP深度對在兩個下游場景中的潛在應用。第一個場景是條件圖像生成：將RGB深度圖和LVP深度圖分別作為條件輸入傳給ControlNet（一種可以根據深度圖控制圖像生成的系統），兩種條件產生了結構迥異的生成圖像，一種強調前景玻璃的幾何結構，另一種更多呈現背景空間的布局。這說明即使沒有真正的多層深度估計，從同一個凍結模型獲得的兩種深度假設也可以給創作工具提供更豐富的控制維度。
第二個場景是影片深度流：逐幀對影片的每一幀同時運行RGB和LVP推斷，產生兩條平行的深度流，讓透明場景中的層歧義隨時間可見。這種可視化本身就有診斷價值，可以幫助研究者或工程師了解某個模型在影片序列中的層偏好是否穩定。
說到底，這項研究揭示的是現代深度AI系統中一個被長期忽略的盲點。當我們讓AI"看"一個有玻璃的場景時，它並不像我們想像的那樣客觀中立地感知三維空間，而是帶著從訓練數據中習得的"習慣"，本能地傾向於某一個層。這種習慣深藏在模型權重中，無法從模型的表面行為看出來，需要專門的測量工具才能暴露。研究團隊建立的MD-3k數據集和相關指標，正是這樣一套測量工具，讓以前無法量化的偏好變得可以比較、可以研究。
更有意思的是，拉普拉斯視覺提示的發現說明，模型權重中其實潛藏著表達不同層假設的能力，只是在標準RGB輸入下，這些能力被固定在某一個偏好上。通過改變輸入的頻率特徵，可以在不改變任何權重的情況下讓某些模型"換一種眼光"看同一個場景。這對我們理解深度基礎模型的內部表徵有深遠意義：它們學到的可能不只是一種固定的層約定，而是某種更豐富的幾何知識，只是在單一輸出的約束下，這種豐富性被掩蓋了。
歸根結底，這項工作的意義不只是解決透明場景的深度估計問題，而是呼籲整個電腦視覺社區重新思考深度監督和評估的基本框架：當真實世界裡多層可見表面共存時，把每個像素強制映射到一個深度值，本質上是一種有損的約定，而不是對物理現實的真實描述。未來的深度系統或許需要學會表達、保留和利用這種幾何歧義，而不是把它視為噪聲壓制掉。有興趣進一步探討這個問題的讀者，可通過arXiv編號2606.29600查閱完整論文。
Q&A
Q1：什麼是深度層偏好，為什麼深度估計模型會有這種偏好？
A：深度層偏好指的是，當一個深度估計模型遇到透明玻璃等場景時，它會本能地傾向於報告玻璃本身（近層）或玻璃後面的背景（遠層）其中一個，而不是兩者都報告。這種偏好不是模型的主動選擇，而是由訓練數據的來源決定的。雷射雷達可能記錄背景層，超聲波可能記錄玻璃層，合成數據又有自己的渲染邏輯。當模型用混合了這些不同標註的數據訓練時，它實際上學到的是一種"加權平均"後的層偏好習慣，而非場景的客觀幾何。
Q2：拉普拉斯視覺提示為什麼能改變深度模型報告的層？
A：拉普拉斯視覺提示（LVP）通過一種經典的數學變換，把原始圖像轉化為一張強調邊緣和紋理細節（即高頻資訊）、壓制大面積平坦區域（即低頻資訊）的新圖像。當這張"高頻增強版"圖像餵給某些架構的深度模型時，模型內部的激活模式會發生變化，對背景層的高頻邊緣產生更強的響應，從而傾向於報告背景層。這種效果是模型架構依賴的，對Depth Anything v2等模型效果顯著，對DAv1和生成式模型則幾乎沒有影響。
Q3：MD-3k基準測試與普通深度數據集有什麼本質區別？
A：普通深度數據集對每個像素給出一個精確的絕對深度值，用來訓練和測試模型的整體深度預測精度。MD-3k則完全不關注絕對深度，而是在透明場景的歧義區域內，對一對稀疏點標註兩套序數關係——一套對應近層（玻璃），一套對應遠層（背景）。這種設計繞過了傳感器無法中立記錄多層深度的根本困難，專注於測量模型"選擇了哪一層的幾何邏輯"，是第一個系統化測量深度層偏好的評測工具。
