想像你要向一個朋友描述你家客廳的樣子。你不會只拍一張照片，你會繞著屋子走一圈，從沙發角度拍一張，從窗戶旁邊拍一張，從門口再拍一張。這樣朋友才能建立起立體的空間感，知道電視在沙發對面,茶幾離你多近。
現在問題來了。如果這個"朋友"是一個AI模型,你給它看的每一張照片都會被切成幾百個小方塊,每個方塊變成一個"視覺詞",AI靠這些詞來理解畫面。一張照片能生成700多個視覺詞,那12張照片呢?接近9000個。這些詞全部要塞進AI的大腦里處理,而AI處理的時間和內存消耗,跟詞的數量是平方級增長的關係。詞越多,算得越慢,越費顯存。
這就是當下所有想讓二維視覺語言模型理解三維空間的方法,共同撞上的一堵牆。
**核心問題:為什麼"看得越多"反而是個包袱**
先說清楚背景。讓AI理解三維世界,理論上最直接的辦法是專門訓練一個三維模型,餵給它點雲數據、三維標註。但問題是,三維標註數據實在太少了,可能只有二維圖文數據的幾百分之一。相比之下,像LLaVA-OneVision這樣的二維視覺語言模型
VLM*：Vision-Language Model,視覺語言模型,能同時理解圖片和文字,並用語言回答關於圖片內容的問題的AI系統
已經在海量網際網路圖文數據上訓練得非常成熟,認字、認物體、理解空間關係的能力都很強。於是一個取巧的思路自然浮現:與其重新訓練一個三維模型,不如把三維場景拍成一組多視角照片,直接餵給現成的二維模型,讓它"假裝"自己在看三維空間。
這個思路聽起來很聰明,但代價立刻顯現。12個視角的照片餵進LLaVA-OneVision-7B,會產生8748個視覺token
Token*：這裡指的是視覺詞元,AI把一張圖片切分成若干個小方塊,每個方塊被編碼成一串數字,這串數字就是一個token,是AI理解圖片的最小單位
這麼大量的token,直接導致推理成本飆升。而且這些token里藏著一個巨大的浪費:不同攝像機角度往往會拍到同一堵牆、同一張桌子的不同側面,這些重複觀測在AI眼裡會變成好幾個不同的token,但它們描述的其實是同一塊空間。論文裡給出的數據是,大約31%的token在空間上是重疊的。換句話說,近三分之一的計算量,花在了重複觀察同一個地方上。
這就好比你請了三個速記員,分別站在客廳的三個角落記錄家具位置,結果三份記錄里有三分之一的內容都是在重複描述同一張沙發。你雇了三倍的人力,但真正新增的資訊量遠沒有三倍那麼多。
**現有的兩條路,為什麼都走不通**
論文把已有的token精簡方法分成兩大類,並且指出這兩類方法在多視角三維場景里都有硬傷。
第一類叫學習式重要性方法
學習式重要性方法*：根據AI模型內部的注意力分數或者視覺特徵,給每個token打一個"重要程度"分數,然後只保留分數最高的那些token,這是目前最常見的token精簡思路
這類方法的邏輯是,AI在處理資訊時會對某些區域"格外關注",那就把這些被關注的區域的token留下來,其他的刪掉。聽起來合理,但在多視角三維場景里會出問題。因為不同攝像機會重複拍到同一個顯眼的物體,比如一把造型獨特的椅子,如果三個視角都拍到了這把椅子,注意力機制很可能對三個視角里的這把椅子都打高分,於是這三份幾乎一樣的記錄全部被保留下來,而房間角落裡那盞沒人特別關注的檯燈,可能一個token都沒留住。
這就像你讓一個記者去報道一場婚禮,他被新娘的婚紗吸引,於是從入場、致辭、切蛋糕三個環節都拍了婚紗的特寫,結果整場婚禮的報道里,來賓席上發生的趣事、伴郎伴娘的互動全都沒有記錄。如果不做任何約束,記者的注意力會自然地反覆聚焦在最搶眼的那一個點上,而不是均勻地覆蓋整個事件。這不是記者不專業,而是"哪裡顯眼就往哪裡看"這套邏輯,天生就會導致重複和遺漏並存。
第二類叫體素化方法
體素化方法*：把三維空間切成一個個小立方體格子(叫做體素),把落在同一個格子裡的token合併或者只保留一個代表,以此消除來自不同視角但描述同一空間位置的重複token
這個思路本身是對的,它抓住了問題的本質:三維場景里的冗餘是空間性的,應該按空間位置去重,而不是按"重要程度"去重。但體素化有一個致命的技術缺陷,它沒法精確控制最終留下多少個token。
這是為什麼呢?因為格子的大小(體素尺寸)一旦固定,一個場景里到底會產生多少個"被占用的格子",完全取決於這個場景的幾何形狀、大小、以及攝像機拍攝的重疊程度。有的房間形狀複雜,格子數量就多,有的房間很規整,格子數量就少。論文裡做了個實驗,固定體素尺寸為0.2米,目標是留下1342個token,結果56%的場景實際留下的token數量比目標少,44%的場景又超過了目標。
這意味著什麼?意味著如果你想把這套系統部署在一個對顯存和延遲有嚴格上限的設備上,比如機器人上的實時推理系統,你沒法保證每一次處理都不超預算。哪怕平均下來token數量是達標的,單獨某個場景可能就爆表了,而系統在那個瞬間可能直接崩潰或者嚴重卡頓。這就像你給一輛車定了每次裝貨不超過500公斤的規矩,但實際裝貨全憑工人目測,大部分時候確實在500公斤左右,可總有那麼幾次,因為貨物形狀特殊,實際裝了600公斤還渾然不知,直到輪胎爆了才發現出了問題。平均達標不等於每次都安全。
而且體素化還有第二個問題,叫飽和。你可能會想,那就把格子切得更小一點,格子越小,占用的格子數量不就越多嗎?理論上是這樣,但實際情況是,當格子小到一定程度之後,繼續切小已經沒有意義了,因為很多token本來就是對同一塊物理表面的重複觀測,不管格子多小,它們還是會掉進同一個格子裡。論文測算,在實際可行的解析度範圍內,體素化能保留的token比例最多到69%左右,在冗餘度特別高的場景里甚至只有46%到57%。也就是說,哪怕你願意花更多計算資源去切更細的格子,體素化這條路也永遠到不了很低的token保留比例,它有一個天花板。
**CoVeR的解法:不問重要不重要,只問覆蓋沒覆蓋**
論文提出的方法叫CoVeR
CoVeR*：Coverage-based token pruning for multi-view 3D reasoning的縮寫,一種基於空間覆蓋度的token篩選方法,完全不依賴AI的注意力分數或視覺特徵,只根據token在三維空間中的坐標位置來做篩選
它的出發點非常直接:既然三維場景里的冗餘本質上是空間冗餘,那就應該直接用空間覆蓋度作為篩選標準,而不是繞道去看AI的注意力或者語義特徵。CoVeR要解決的問題可以用一句話概括,給定一個必須嚴格遵守的token數量預算,如何選出這些token,讓它們儘可能均勻地覆蓋整個場景的每一個角落,不留死角。
這個目標在數學上有一個專門的名字,叫k中心問題
k中心問題*：一個經典的幾何優化問題,目標是從一堆點裡選出k個點作為"代表",使得原始點集中離這k個代表點最遠的那個點,與它最近的代表點之間的距離儘可能小,通俗理解就是讓選出的這幾個點能最大限度地"罩住"整片區域
論文用一個叫豪斯多夫距離的指標來衡量覆蓋得好不好
豪斯多夫距離*：衡量兩個點集之間差異的一種距離,這裡特指從原始token集合里,找出離已選中的token子集最遠的那個點,這個最遠距離越小,說明選出的子集覆蓋原始場景越充分
如果這個距離很小,說明場景里沒有哪個區域被完全"遺忘"。這正是學習式重要性方法給不出的保證,它可能因為過度關注某幾個顯眼區域,導致場景另一半完全沒有token代表。
CoVeR具體怎麼實現這個目標呢?它分成兩個階段,叫覆蓋初始化和覆蓋擴展。
覆蓋初始化這一步,其實就是先做一次體素化,但這次體素化的目的不是直接產出最終結果,而是先粗略地把整個場景的重複觀測去掉,留下一個稀疏但覆蓋全場景的骨架。這裡有個細節值得說一下,論文沒有用固定的格子大小,而是針對每一個場景單獨去搜索一個合適的格子尺寸,搜索的方法是二分查找,不斷調整格子大小,直到產生的格子數量落在目標範圍附近。因為不同場景大小、形狀差別很大,一刀切的格子尺寸根本行不通,這也是CoVeR比之前的體素化方法聰明的地方。
在每個被占用的格子裡,CoVeR選哪個token作為代表呢?它選的是離這個格子裡所有token的平均位置最近的那一個,而不是隨便選一個邊緣的token。這個細節很有講究,如果選了一個偏在格子邊緣的token,它可能離相鄰格子的代表token特別近,導致兩個格子的代表點擠在一起,削弱了均勻分布的效果。選中心附近的點,才能讓整個覆蓋網路保持均勻。
覆蓋初始化解決完之後,預算可能還沒用完。這時候就輪到第二階段,覆蓋擴展登場了。這一步用的方法叫最遠點採樣
最遠點採樣*：FPS,Farthest Point Sampling的縮寫,一種疊代式的採樣方法,每一步都從剩餘的候選點裡挑出離當前已選點集合最遠的那一個,不斷重複直到達到目標數量
它的邏輯非常樸素,每次都往"當前覆蓋最薄弱"的地方補一個token,這樣一步步把預算里剩下的名額,精準地投放到覆蓋初始化階段還沒顧上的區域。
這兩個階段是互補的,體素化速度快,能一次性把整個場景鋪開一層粗網,但它的產出數量受限于格子解析度,沒法精確到達任意預算。最遠點採樣可以精確控制數量,但如果從零開始一個一個點地鋪,效率會比較低,而且前期鋪得慢。CoVeR把兩者結合,先用體素化快速打底,再用最遠點採樣精細收尾,補足體素化天生做不到的精確預算控制。
這裡必須提一個很關鍵的類比,來說明為什麼這個"先粗後細"的兩階段設計是必要的,而不是隨便拼湊的。
假如你要給一個大公園做安保巡邏計劃,預算只夠安排20個巡邏點。如果你完全靠最遠點採樣式的思路,從頭開始一個一個挑選,每次都往"離現有巡邏點最遠"的地方增派一個人,這個過程本身沒問題,但從零開始意味著前幾步選出來的點位置會比較隨意,因為公園還完全沒有被覆蓋,誰離誰遠都無所謂,直到點數夠多了才開始真正體現出優化效果。而如果你先用體素化的思路,把公園粗略劃成若干片區,每片區先派一個人,這樣瞬間就有了一個大致均勻的骨架,之後再用最遠點採樣去補那些骨架還沒顧上的犄角旮旯,效率會高得多,而且最終的巡邏網路也會更均勻。如果跳過體素化直接上最遠點採樣,雖然最終結果理論上也能收斂到不錯的覆蓋效果,但論文裡的實驗顯示,這樣做的耗時會明顯增加,大約慢了1.5倍,因為體素化那一步本可以並行地一次性去掉大量重複觀測,而不用一個個疊代判斷。
這裡論文還設了一個安全閥。如果體素初始化階段產生的token數量,不小心超過了總預算,系統會退而求其次,只保留占用人數最多的那些格子的代表點,確保總數不超標。不過論文提到,在他們測試的所有場景和預算設置下,這個安全閥從來沒有真正被觸發過,說明他們選定的參數搭配是穩妥的。
**為什麼原始token比"平均出來的token"更好用**
除了兩階段的設計,論文還做了一個特別值得展開講的對比實驗,涉及一個容易被忽略但很關鍵的問題:當你要把一個格子裡的多個token合併成一個的時候,應該怎麼合併?
一種直覺做法是把這個格子裡所有token的特徵向量求平均,生成一個全新的"合成token"。之前的體素化方法VTC用的就是這個思路。但CoVeR選擇了完全不同的做法,它不生成任何新特徵,而是直接從這個格子裡挑一個真實存在的、編碼器原本就生成過的token作為代表。
論文用實驗證明了這個選擇的重要性。在最緊的token預算下,直接保留真實token(而不是平均合成)讓ScanQA數據集的EM@1指標提升了7.7個百分點,在SQA3D數據集上更是提升了18.1個百分點。差距最大的問題類型是那些需要精確空間定位的問題,比如"能不能"和"哪一個"這類問法,分別提升了37和29個百分點。
為什麼會有這麼大的差距?論文給出的解釋是,一個粗糙的格子裡,可能同時混進了不同物體、不同表面材質、來自不同攝像機視角的token,把它們的特徵直接平均,得到的是一個在語義上"四不像"的合成特徵,語言模型很難解讀這種人工拼湊出來的東西。而如果保留一個真實的、來自編碼器原始輸出的token,它的空間身份是清晰、可信的。
這就好比你要寫一份關於三個目擊者證詞的報告。三個人分別從不同角度目睹了同一場車禍,如果你把三份證詞逐字逐句地取平均,拼湊出一份"綜合證詞",這份文本很可能語句不通,邏輯混亂,因為三個人描述的重點和用詞天差地別。但如果你選擇保留其中最可靠的一份完整證詞,哪怕只是三選一,讀起來至少是一段連貫、可信的敘述。語言模型面對token的處理方式其實也類似,它更擅長理解一段"原汁原味"的資訊,而不是被人為攪拌過的混合物。如果不這樣做,堅持用平均合成的策略,損失的不僅是準確率數字,更是模型對空間關係判斷的可靠性,尤其是那些需要精確定位的問題。
**為什麼"純空間距離"比"加了語義"的距離更好**
第二個值得展開的設計決策,出現在覆蓋擴展階段的最遠點採樣里。這一步用來判斷"哪個token離已選集合最遠"的距離標準,CoVeR選擇了純粹的三維空間歐氏距離,完全不摻入任何語義特徵的相似度。
這個選擇乍一看有點反直覺。畢竟同時考慮空間位置和語義內容,聽起來應該比只看位置更全面。之前的方法SeGPruner就是採用了空間加語義的混合距離。但論文的消融實驗顯示,純空間距離在幾乎所有預算下都優於混合距離,也優於純語義距離。在最緊的預算下,純空間距離比混合方案高出1.7到2.1個百分點,比純語義方案高出2.9到4.3個百分點,差距最大的問題類型是需要數數或者在多個物體之間定位的問題,比如"多少"和"什麼",分別高出6.8和6.2個百分點。
原因在於,如果引入語義相似度作為篩選標準,系統會傾向於把長得很像的物體判定為"冗餘",從而只保留其中一個。但現實場景里經常出現好幾把一模一樣的椅子分布在房間不同角落,或者好幾盞樣式相同的燈掛在不同位置。這些物體的視覺特徵幾乎完全一樣,如果按語義相似度去重,系統會誤以為它們是同一個物體的重複觀測,把大部分都刪掉,只留一兩個代表。可它們其實是不同位置的不同物體,對於"房間裡有幾把椅子"這類需要計數的問題,這種誤刪是致命的。
這就像你要統計一個停車場裡有多少輛同款白色轎車。如果你用的判斷標準是"長得像不像",那系統一看,這幾輛車外觀完全一致,判斷它們是"同一輛車的重複記錄",於是只統計了一輛。可實際上停車場裡明明停著五輛一模一樣的白色轎車,只是恰好都是同一款車型。真正可靠的判斷標準應該是"它們停在停車場的什麼位置",位置不同,就是不同的車,不管它們長得多像。CoVeR選擇只看空間位置,不看語義相似度,正是為了避免這種"以貌取物"導致的誤判。
**實測數據說話**
理論講了這麼多,最終還是要看實際效果。論文在三個基準測試上做了驗證,分別考察不同維度的三維推理能力。
ScanQA
ScanQA*：一個評測AI對三維室內場景空間理解能力的問答數據集,題目涉及物體識別、屬性判斷、計數、定位、空間關係等多個方面
考察的是空間場景理解。SQA3D
SQA3D*：一個評測情境化推理能力的數據集,要求AI先判斷自己(或者被提問的那個虛擬主體)在場景里的位置和朝向,再回答相關問題
考察的是"設身處地"式的空間推理。OpenEQA
OpenEQA*：一個開放詞彙的具身問答基準,考察AI在真實場景里像一個具身智能體一樣理解和回答開放性問題的能力
考察的是更自由開放式的場景問答。
在只保留8%到9%視覺token的極端壓縮條件下,CoVeR在三個數據集上的綜合表現保持了滿token情況下93.5%的水平,而兩個此前最強的對比方法SeGPruner和VisPruner分別只能保持89.6%和85.9%。差距不算小,尤其是考慮到這只是保留了不到十分之一的token量。
具體到ScanQA這個數據集,CoVeR在只保留23%token的情況下,EM@1指標甚至反超了使用全部token的原始模型,達到28.5分對28.2分。這意味著刪掉了超過四分之三的視覺資訊,回答準確率不降反升。這個結果乍一聽有點奇怪,但仔細想想是合理的,原始的8748個token里,確實有大量是純粹的空間重複,刪掉它們不僅沒有丟失資訊,反而減少了語言模型需要處理的"噪音",讓模型能更專注地處理真正有資訊量的那部分內容。
效率方面的提升同樣明顯。在ScanQA上以14%的token保留比例運行,CoVeR相比全token基線,把語言模型的計算量減少到八分之一以下,把顯存里用來儲存中間計算結果的KV緩存減少到七分之一,同時整體推理速度提升了2.5倍,而準確率的相對損失只有1.1個百分點。
論文還專門測試了CoVeR是不是只對某一個模型有效。他們把同一套篩選邏輯,不改動任何參數,直接搬到另外三個視覺語言模型上,包括Qwen2.5-VL-7B、Qwen3-VL-8B,以及專門為三維場景設計過的Video-3D LLM。結果是,在這些架構、編碼器、token生成方式都不一樣的模型上,CoVeR依然保持了類似的優勢,在token保留比例高於20%時,基本能維持超過96%的原始性能。這說明CoVeR依賴的是幾何坐標這種通用資訊,而不是綁定在某一個特定模型內部結構上的技巧,這也正是它被稱為"即插即用"模組的原因。
**寫在後面**
讀完這篇論文,最讓我意外的一點其實是覆蓋初始化那一步里"選格子裡最靠近中心的token"這個細節。這是一個很容易被寫論文的人忽略的技術選擇,大部分人可能覺得"隨便選一個格子裡的token不都一樣嗎",但作者專門做了推導,說明選邊緣token會導致相鄰格子的代表點擠在一起。這種對細節較真的程度,反而是判斷一篇工程論文靠不可靠的一個信號。
還有一個值得單獨說的地方,是論文裡那張關於視角數量和準確率關係的圖。學習式重要性方法在視角數量增加到一定程度後就飽和了,不管你多給它幾個攝像機角度,它的準確率提升幅度會越來越小。而CoVeR隨著視角增多持續在漲。這背後的原因其實很好理解,因為學習式方法本質上是把預算花在"哪裡最顯眼",視角越多,顯眼的地方還是那幾個,重複觀測只會越來越多,而不會帶來新資訊。CoVeR則是把預算花在"哪裡還沒覆蓋到",視角越多,能看到的新區域自然也越多,這個設計天然就能吃到"多視角"這個紅利,而學習式方法反而吃不到。
這讓我聯想到一個和AI完全無關的領域,城市規劃里的公共資源分配問題。如果一個城市決定在"人流量最大"的地方建更多的公交站,時間久了會發現,人流量大的地方本來就已經有站了,新建的站只是在原地加密,而那些交通不便、沒什麼人流的偏遠片區,永遠輪不到資源投放,直到那些片區徹底被邊緣化。而如果換一種邏輯,優先在"離最近站點最遠"的地方建站,城市的公共運輸網路會自然而然地變得更均衡。這兩種邏輯的分歧,和這篇論文裡學習式重要性對比空間覆蓋度的分歧,本質上是同一件事。
論文自己也坦承了局限,CoVeR依賴深度資訊和相機位姿,主要針對室內場景設計,對戶外大範圍場景或者深度資訊不準確的情況,效果可能會打折扣。這留下一個挺自然的問題,如果換成一個沒有精確深度傳感器、只能靠單目視覺估計的機器人,這套基於精確三維坐標的覆蓋邏輯還能撐得住嗎?
Q&A
Q1：CoVeR是什麼？
A：CoVeR是一種針對多視角三維場景的視覺token篩選方法,它完全不依賴AI的注意力分數或視覺特徵,只根據token在三維空間中的坐標位置來判斷該保留哪些、刪除哪些,目標是讓保留下來的token儘可能均勻地覆蓋整個場景。
Q2：CoVeR和之前的體素化方法有什麼區別？
A：傳統體素化方法沒法精確控制最終保留多少個token,同一個格子尺寸在不同場景下產生的數量差異很大,而且格子切得再小也存在飽和上限。CoVeR針對每個場景單獨搜索合適的格子尺寸,再用最遠點採樣精確補足預算,保證每次都能剛好達到指定的token數量。
Q3：只保留很少的token會不會讓AI回答變差？
A：論文實測顯示,在只保留8%到9%視覺token的情況下,CoVeR依然能保持滿token狀態下93.5%的性能,部分場景下甚至用23%的token就超過了使用全部token的原始效果,因為刪掉的大多是空間上重複的資訊。
