這項由韓國科學技術院(KAIST)領導的突破性研究發表於2026年電腦視覺與模式識別會議(CVPR)，論文編號為arXiv:2604.02870v1。有興趣深入了解的讀者可以通過該編號查詢完整論文。
當你站在房間裡看著桌子上的杯子在書的右邊，但如果你向右轉45度，會發生什麼？杯子還會在書的右邊嗎？對於人類來說，這種"腦補"不同角度畫面的能力再自然不過，但對於當今最先進的AI視覺模型來說，這卻是一個巨大的挑戰。
這個看似簡單的問題，實際上觸及了人工智慧領域的一個核心難題：空間推理能力。就像一個從未離開過家鄉的人很難想像其他城市的樣子一樣，現有的多模態大語言模型雖然能夠識別圖像中的物體，甚至能回答覆雜的視覺問題，但一旦需要從不同的視角去理解同一個場景時，它們往往束手無策。
KAIST的研究團隊敏銳地觀察到了這個問題。他們發現，即使是那些在視覺推理任務中表現出色的AI模型，當面臨需要變換視角的任務時，表現往往令人失望。這就像是給一個擅長描述照片的人蒙上眼睛，讓他想像從另一個角度看到的景象一樣困難。
研究團隊沒有選擇傳統的解決方案——直接對像素進行變形處理，而是提出了一個頗具創新性的想法：既然AI模型是通過"圖像標記"來理解圖片的，那為什麼不直接對這些標記進行變換呢？這就像是重新排列積木，而不是試圖融化再重塑每一塊積木。
這種被稱為"標記變形"的新方法，核心思想是將AI理解圖像的基本單元——圖像標記，通過幾何變換的方式重新排列，從而生成新視角下的場景表示。這種方法的優勢在於，它避免了像素級變形可能帶來的失真和偽影，同時保持了場景的語義連貫性。
為了驗證這個想法的有效性，研究團隊還構建了一個專門的測試基準ViewBench，用於評估AI模型在視角變換任務中的表現。通過大量的實驗，他們證明了標記變形不僅在技術上可行，而且在實際效果上顯著優於傳統方法。
這項研究的意義不僅僅局限於學術層面。隨著虛擬現實、增強現實和自動駕駛等技術的快速發展，能夠從不同視角理解場景的AI系統將變得越來越重要。從某種程度上說，這項研究為AI獲得更像人類的空間理解能力鋪平了道路。
一、傳統方法的困境：為什麼像素變形行不通
當我們談到讓AI理解不同視角時，最直觀的想法可能是對圖像進行幾何變換——就像用圖像編輯軟體拉伸、旋轉圖片一樣。這種被稱為"像素級變形"的方法在理論上聽起來很合理，但在實際應用中卻問題重重。
問題的根源在於深度資訊的不準確性。電腦需要知道場景中每個點的距離資訊才能正確地進行視角變換，但現有的深度估計技術仍然存在誤差。這些看似微小的誤差在像素級變形過程中會被顯著放大，就像放大鏡下的指紋，原本細微的紋路變得扭曲不堪。
更要命的是，像素級變形往往會產生幾何畸變。研究團隊通過實驗發現，即使是很小的深度錯誤也會在變形後的圖像中造成嚴重的視覺扭曲。原本平直的線條可能變得彎曲，物體的形狀可能發生改變，這些畸變會嚴重干擾AI模型的理解能力。
此外，像素級變形還容易產生空洞和重疊。當從一個視角變換到另一個視角時，有些區域可能會被拉伸得過大，形成空白區域，而有些區域可能會重疊在一起，造成資訊丟失。這就像是試圖把一張照片貼到一個形狀完全不同的表面上，必然會出現褶皺和空隙。
研究團隊通過一個簡單而有效的實驗驗證了這些問題。他們故意在圖像標記獲取過程中加入位置擾動，模擬深度估計誤差可能帶來的影響。令人驚訝的是，他們發現AI模型對這種標記級別的擾動具有很強的魯棒性，即使標記的位置偏移了相當大的距離，模型仍然能夠正確識別圖像內容。
這個發現為後續的研究奠定了重要基礎。它表明，與其在脆弱的像素層面進行變形，不如在更加穩健的標記層面進行操作。這就像是與其試圖修補一面破碎的鏡子，不如重新排列鏡子的碎片，讓它們形成一個新的圖案。
二、圖像標記：AI理解視覺世界的基本單元
要理解標記變形的工作原理，我們首先需要了解現代AI模型是如何"看"圖像的。與人類的視覺系統不同，AI模型並不是一次性處理整張圖片，而是將圖像切分成許多小塊，稱為"圖像塊"或"標記"。
這個過程就像是將一幅巨大的拼圖拆分成許多小塊。每個小塊都包含了局部的視覺資訊，比如顏色、紋理、邊緣等。AI模型通過分析這些小塊以及它們之間的關係來理解整幅圖像的內容。
具體來說，一張高解析度的圖像會被均勻地劃分成固定大小的方形區域，每個區域對應一個圖像塊。這些圖像塊然後被轉換成數學向量，稱為圖像標記。每個標記不僅包含了視覺資訊，還包含了位置資訊——它知道自己在整幅圖像中的位置。
這種設計的巧妙之處在於，每個標記都是一個相對獨立的資訊單元。它既包含了局部的視覺特徵，又保持了與整體結構的聯繫。這就像是一個樂高積木，既有自己的形狀和顏色，又能與其他積木組合成更大的結構。
研究團隊意識到，這些標記實際上為視角變換提供了一個理想的操作層次。與像素相比，標記更加穩健和語義豐富。一個標記丟失或位置稍有偏移，不會像像素級的錯誤那樣造成嚴重的視覺畸變。
更重要的是，標記天然地編碼了局部區域的語義資訊。比如，一個包含"杯子把手"的標記，即使被移動到新的位置，它仍然代表著杯子把手的概念。這種語義的穩定性使得標記變形能夠在改變空間布局的同時保持內容的連貫性。
為了驗證這個假設，研究團隊設計了一系列巧妙的實驗。他們故意擾動標記的位置，讓AI模型基於這些"錯位"的標記進行推理。結果顯示，即使標記的位置偏移達到了相當大的幅度，AI模型的性能下降仍然很小。這證明了標記級操作的魯棒性遠遠優於像素級操作。
這個發現為整個研究奠定了理論基礎。它表明，在標記層面進行視角變換不僅在技術上可行，而且在理論上更加合理。
三、前向變形與後向變形：兩種不同的思路
在確定了標記變形的可行性之後，研究團隊面臨著一個關鍵的技術選擇：如何實現這種變形？他們探索了兩種截然不同的方案：前向變形和後向變形。
前向變形的思路相對直觀。它從源圖像開始，將每個標記按照幾何變換公式投影到目標視角中。這就像是拿著一把彈弓，將每個標記"射向"新視角中的相應位置。這種方法的優點是概念簡單，計算過程直觀易懂。
然而，前向變形很快就暴露出了嚴重的問題。由於幾何變換的特性，原本在源圖像中規整排列的標記在目標視角中可能會變得稀疏不均。有些區域可能聚集了過多的標記，而有些區域可能完全沒有標記覆蓋，形成空洞。這就像是用散彈槍射擊，彈丸的分布往往不夠均勻。
更糟糕的是，這種不規則的標記分布對AI模型來說是一種"超出分布"的輸入。現有的AI模型都是在規整、密集的標記網格上訓練的，當面對稀疏、不規則的標記排列時，它們的性能會顯著下降。
認識到前向變形的局限性後，研究團隊轉向了後向變形的方案。這種方法採用了完全相反的思路：不是將源標記投影到目標位置，而是從目標位置"回溯"找到對應的源標記。
後向變形首先在目標視角中建立一個規整的標記網格，然後為每個網格位置計算其在源圖像中的對應位置，最後從源圖像中"抓取"相應的標記來填充目標網格。這就像是在目標位置放置一系列"捕獲器"，每個捕獲器都伸出觸手去源圖像中抓取最合適的內容。
這種方法的最大優勢在於，它天然地保證了目標視角中標記分布的規整性。無論源圖像和目標視角之間的幾何關係多麼複雜，後向變形都能確保目標視角中的標記網格保持密集和規整，這正是AI模型所期望的輸入格式。
研究團隊通過大量實驗證實了後向變形的優越性。在所有測試場景中，後向變形的表現都顯著優於前向變形。這不僅體現在定量指標上，更重要的是體現在生成結果的視覺質量和語義連貫性上。
為了進一步優化後向變形的效果，研究團隊還探索了兩種不同的標記獲取策略：最近鄰獲取和自適應獲取。最近鄰獲取選擇距離目標位置最近的已有標記，而自適應獲取則重新提取以目標位置為中心的圖像塊。實驗結果表明，這兩種策略的性能相當，但最近鄰獲取在計算效率上更有優勢。
四、構建測試基準：ViewBench的誕生
任何優秀的科學研究都需要嚴格的實驗驗證，而要進行驗證就必須有合適的測試基準。研究團隊發現，現有的測試數據集都無法很好地評估AI模型的視角變換能力，因此他們決定構建一個全新的基準測試集——ViewBench。
ViewBench的設計理念是模擬真實世界中需要視角變換的各種場景。研究團隊從ScanNet數據集中選擇了大量真實的室內場景，這些場景都包含了豐富的深度資訊和精確的相機位姿數據。基於這些場景，他們構建了成千上萬個源視角-目標視角的圖像對。
每個圖像對都經過精心篩選，確保源視角和目標視角之間有適度的重疊——既不能完全相同（那就失去了測試意義），也不能完全不同（那就無法進行有意義的比較）。研究團隊根據重疊程度將測試樣本分為三個難度等級：5-15%重疊、15-25%重疊和25-35%重疊，分別對應困難、中等和簡單三種情況。
ViewBench包含三個不同的子任務，每個子任務都針對視角變換能力的不同方面。第一個子任務是基於文本標記的空間推理，系統需要判斷兩個用字母標記的物體在目標視角中的左右關係。第二個子任務使用幾何圖形替代文字標記，測試系統對抽象符號的空間推理能力。第三個子任務則要求系統描述目標視角中特定位置的物體，這是對視角變換保真度的直接測試。
為了確保測試的公平性和可靠性，研究團隊設計了嚴格的質量控制流程。他們首先使用真實的目標視角圖像作為"標準答案"來驗證問題的正確性，只有在真實目標視角下能夠正確回答的問題才被納入測試集。此外，他們還確保所有的測試問題都涉及在源視角和目標視角中都可見的區域，避免了由於遮擋導致的不公平測試。
ViewBench的另一個重要特點是其評估方式的多樣性。對於空間推理任務，使用準確率作為評估指標；對於物體描述任務，則使用大語言模型作為評估器，對描述的準確性和完整性進行打分。這種多維度的評估方式能夠更全面地反映系統的視角變換能力。
五、實驗驗證：標記變形的卓越表現
理論再完美，也需要實驗來驗證。研究團隊在ViewBench上進行了大規模的比較實驗，將標記變形方法與各種基線方法進行了全面對比。這些基線方法包括傳統的像素級變形、專門針對空間推理任務訓練的特化模型，以及基於生成式模型的新視角合成方法。
實驗結果令人印象深刻。在所有三個子任務中，後向標記變形都取得了最佳性能。在最困難的5-15%重疊情況下，標記變形在文本標記空間推理任務中達到了77.89%的準確率，顯著高於最強基線方法的70.35%。在幾何圖形推理任務中，標記變形同樣表現出色，準確率達到了67.44%，而最佳基線方法只有50.00%。
更令人驚喜的是，標記變形不僅在準確率上獲得了提升，在計算效率上也表現出了明顯優勢。與需要重新生成整幅圖像的生成式方法相比，標記變形只需要重新排列已有的標記，計算開銷要小得多。這使得它在實際應用中更具可行性。
研究團隊還進行了一系列深入的分析實驗。他們發現，標記變形的優勢在不同的重疊程度下都能保持穩定，這說明這種方法具有良好的泛化能力。同時，他們還驗證了標記變形在使用估計深度資訊時仍然能夠保持較好的性能，這對實際應用來說非常重要。
特別值得注意的是，研究團隊還設計了一個幾何驗證實驗。他們構建了一個純幾何的基線方法，該方法不依賴AI模型，而是直接通過幾何計算來確定空間關係。結果顯示，這個幾何基線能夠達到93%以上的準確率，這證明了標記變形所依賴的幾何變換過程是高度準確的。剩餘的性能差距主要來自AI模型本身的感知和推理局限性，而非幾何變換的誤差。
研究團隊還通過定性分析展示了標記變形的直觀效果。在視覺上，經過標記變形處理的結果明顯比像素級變形更加自然和連貫。像素級變形往往會產生明顯的視覺偽影，比如扭曲的線條和模糊的邊緣，而標記變形則能夠很好地保持物體的形狀和紋理特徵。
六、技術細節：標記變形的具體實現
標記變形的成功不僅來自其創新的理念，更來自其精巧的技術實現。研究團隊在論文中詳細描述了整個實現過程，這些技術細節對於理解和復現這項工作至關重要。
後向標記變形的核心是建立從目標視角到源視角的幾何映射關係。這個過程首先需要構建一個三維幾何代理。研究團隊選擇了一種輕量級的方法：基於源圖像的深度資訊構建三角網格。具體來說，他們將深度圖中的每個像素點轉換為三維空間中的點，然後將相鄰的點連接成三角形，形成一個簡化的三維場景表示。
有了這個三維代理後，後向映射就變成了一個光線投射問題。對於目標視角中的每個標記位置，系統會從對應的相機位置發出一條光線，計算這條光線與三維代理的交點，然後將交點投影回源圖像，得到對應的源圖像坐標。
這種實現方式的巧妙之處在於其簡潔性和高效性。相比於複雜的三維重建或神經輻射場方法，這種基於三角網格的代理構建過程計算量很小，但足以支持準確的幾何變換。同時，光線投射是一個高度並行化的操作，可以很容易地在GPU上加速執行。
在標記獲取方面，研究團隊實現了兩種策略。最近鄰獲取策略預先計算源圖像的所有標記，然後為每個目標位置選擇距離最近的預計算標記。這種方法的優點是效率高，因為源圖像的標記只需要計算一次。
自適應獲取策略則更加精確。對於每個目標位置，它都會基於映射得到的源圖像坐標重新提取圖像塊，並計算相應的標記。這種方法的計算開銷稍大，但能夠提供更精確的標記內容。
實驗結果表明，這兩種策略的性能相當，這再次證明了標記表示的魯棒性。即使存在一定的位置誤差，AI模型仍然能夠正確理解標記的語義內容。
為了處理遮擋和視野範圍變化的問題，研究團隊還實現了有效性檢查機制。當光線投射無法找到有效交點時（比如由於遮擋或超出源圖像視野範圍），系統會將對應的目標標記標記為無效，避免引入錯誤資訊。
七、深度估計的魯棒性測試
任何基於幾何的方法都面臨一個現實問題：如何處理不準確的深度資訊？在實際應用中，我們往往只能獲得估計的深度資訊，而這些估計值不可避免地包含誤差。為了驗證標記變形方法的實用性，研究團隊進行了廣泛的魯棒性測試。
他們使用了兩個流行的單目深度估計模型：Depth Anything v2和Depth Pro。這些模型代表了當前深度估計技術的先進水平，但仍然存在一定的誤差。研究團隊用這些模型的輸出替代了理想的真實深度值，然後測試標記變形的性能變化。
結果令人鼓舞。即使使用估計的深度資訊，後向標記變形仍然能夠顯著優於其他基線方法。在ViewBench的幾何圖形推理任務中，使用Depth Anything v2估計深度時，標記變形達到了65.84%的準確率，而使用Depth Pro時達到了67.74%。雖然這些數字略低於使用真實深度時的70.99%，但仍然遠高於不進行任何視角變換的基線方法的31.48%。
更重要的是，標記變形相對於像素級變形的優勢在使用估計深度時依然保持。這表明標記變形的魯棒性優勢不僅存在於理論上，在實際應用條件下也能夠體現出來。
研究團隊還測試了同時估計深度和相機位姿的更具挑戰性的場景。他們使用VGGT和DUSt3R等方法從圖像對中估計幾何資訊，然後基於這些估計值進行標記變形。即使在這種更加困難的條件下，標記變形仍然能夠保持一定的性能優勢。
這些魯棒性測試的結果證明了標記變形方法的實用價值。它不需要完美的幾何資訊就能發揮作用，這為其在真實場景中的應用奠定了基礎。
八、極限測試：處理大角度變換和遮擋
為了全面評估標記變形的能力邊界，研究團隊還進行了一系列極限測試。這些測試故意選擇了更具挑戰性的場景，包括大角度視角變換和嚴重遮擋情況。
在大角度變換測試中，他們選擇了重疊度僅為2-5%的圖像對。這種情況下，源視角和目標視角之間的差異非常大，共同可見的區域極其有限。在如此困難的條件下，後向標記變形仍然達到了65.08%的準確率（使用真實深度）和66.14%的準確率（使用估計深度），遠高於無變換基線的34.39%。
遮擋測試則使用了合成場景，其中某個在源視角中可見的物體在目標視角中完全被遮擋。這種情況模擬了真實場景中常見的可見性變化問題。測試結果顯示，標記變形達到了46%的準確率，仍然優於像素級變形的38%和基礎模型的32%。雖然絕對性能有所下降，但相對優勢依然明顯。
這些極限測試的結果表明，標記變形不僅在標準條件下表現優異，在極端困難的條件下也能保持相對優勢。這種穩健性對於實際應用來說非常寶貴。
九、與專業模型的對比：通用方法的勝利
標記變形的另一個令人驚喜的發現是，這種通用方法甚至能夠超越專門為空間推理任務設計和訓練的特化模型。研究團隊將標記變形與多個專業的空間推理模型進行了對比，包括SpatialReasoner、VLM-3R、ViLaSR等。
這些特化模型都經過了專門的訓練，有些整合了先進的3D特徵提取器，有些使用了大量的空間推理訓練數據。按理說，它們應該在空間推理任務中表現更好。然而，實驗結果卻出人意料。
在ViewBench的所有子任務中，後向標記變形都顯著優於這些特化模型。這個結果的深層含義是，正確的表示和變換方法可能比大量的專門訓練更重要。標記變形通過顯式的幾何變換直接解決了視角變換問題，而不是試圖讓模型"學會"處理視角變換。
這種對比結果也揭示了當前AI研究中的一個重要趨勢：有時候，精巧的方法設計比暴力的數據訓練更加有效。標記變形沒有改變底層的AI模型，也沒有進行任何專門的訓練，但通過巧妙的表示變換就實現了顯著的性能提升。
十、未來影響與應用前景
這項研究的影響遠遠超出了學術論文本身。標記變形方法為AI的空間理解能力開闢了新的可能性，其應用前景十分廣闊。
在虛擬現實和增強現實領域，標記變形可以幫助AI系統更好地理解和響應用戶的視角變化。當用戶在虛擬環境中移動時，AI可以實時預測不同位置的場景外觀，提供更加沉浸和流暢的體驗。
在自動駕駛領域，這種技術可以增強車輛的環境感知能力。通過從當前視角推斷其他角度的場景資訊，自動駕駛系統可以更好地理解複雜的交通狀況，做出更加安全的決策。
在機器人學方面，標記變形可以幫助機器人更好地進行空間導航和任務規劃。機器人可以基於有限的觀察來推斷環境的整體布局，從而更智能地執行各種任務。
在內容創作領域，這種技術可以為虛擬場景生成、電影製作和遊戲開發提供新的工具。創作者可以基於少量的參考視角生成豐富的多角度內容，大大提高創作效率。
更重要的是，標記變形展示了一種新的AI能力提升路徑。它證明了通過精巧的表示設計和變換方法，我們可以在不增加模型複雜度的情況下顯著提升AI的性能。這種思路可能對其他AI任務也具有啟發意義。
當然，這項研究也存在一些局限性。標記變形目前主要適用於小到中等程度的視角變換，對於極大角度的變換效果有限。此外，它依賴於深度資訊的質量，雖然對誤差有一定的魯棒性，但在深度資訊嚴重錯誤時性能會下降。
儘管存在這些局限性，標記變形仍然代表了AI空間推理能力的一個重要進步。它為構建更智能、更通用的AI系統提供了新的思路和工具。隨著深度估計技術的不斷進步和計算能力的提升，我們有理由相信這種方法會在更多領域發揮重要作用。
從某種意義上說，這項研究讓AI向擁有人類一樣的空間想像力邁出了重要一步。雖然我們距離真正理解空間的AI還有很長的路要走，但標記變形無疑為這個旅程指明了一個有希望的方向。正如研究團隊所展示的，有時候最優雅的解決方案不是讓機器變得更複雜，而是讓它們以更聰明的方式使用已有的能力。
Q&A
Q1：什麼是標記變形技術？
A：標記變形是一種讓AI模型能夠從不同角度理解同一場景的新技術。它不是直接變形像素，而是重新排列AI理解圖像的基本單元——圖像標記，就像重新排列積木一樣。這種方法能避免像素變形帶來的失真問題，讓AI更好地"腦補"不同視角下的畫面。
Q2：ViewBench測試基準包含哪些任務？
A：ViewBench包含三個子任務來全面測試AI的視角變換能力。第一個是基於文本標記的空間推理，讓AI判斷兩個字母標記在新視角中的左右關係；第二個使用幾何圖形替代文字進行推理；第三個要求AI描述新視角中特定位置的物體。每個任務都按重疊度分為簡單、中等、困難三個級別。
Q3：標記變形為什麼比像素變形效果更好？
A：標記變形優於像素變形主要有三個原因。首先，圖像標記比像素更穩健，即使位置稍有偏移也不會嚴重影響AI理解；其次，標記天然編碼了語義資訊，移動後仍保持內容意義；最後，標記變形能保持目標視角中資訊分布的規整性，符合AI模型的預期輸入格式，而像素變形容易產生空洞和畸變。
