這項由弗吉尼亞理工大學與伊利諾伊大學香檳分校聯合開展的研究，於2026年4月以預印本形式發布，論文編號為arXiv:2604.08645，有興趣深入了解的讀者可以通過該編號查詢完整論文。
想像你雇了一個助手幫你在家裡找東西。你告訴他："去廚房看看有沒有微波爐。"他卻信誓旦旦地回來告訴你"有"——但實際上廚房裡根本沒有微波爐，他只是因為"廚房一般都有微波爐"這個印象，就直接告訴了你一個錯誤答案。這個場景，正是當前AI機器人在3D世界裡頻繁犯下的錯誤。研究團隊把這種現象叫做"幻覺"——AI不是真的看到了什麼，而是根據訓練時積累的語言習慣，猜測出一個聽起來合理卻不符合真實場景的答案。
這個問題在2D圖片領域（比如看照片回答問題）已經有不少解決方案，但當AI需要在真實的三維空間裡工作時，比如家庭服務機器人、倉儲自動化機器人、室內導航助手，原有的修複方法就完全失效了。原因很簡單：在三維世界裡，AI犯錯不只是"看錯了顏色"，而是"搞不清楚這個東西在哪、它有多大、它究竟存不存在"。研究團隊因此提出了一套全新的方法，稱為3D-VCD（三維視覺對比解碼），專門針對三維場景里的AI幻覺問題。這是目前已知的首個專為三維具身智能
體（也就是能在三維空間裡感知和行動的AI）設計的無需重新訓練的幻覺緩解框架。
一、為什麼機器人會"睜眼說瞎話"？
要理解這項研究解決的問題，得先弄清楚AI為什麼會產生幻覺。現代的AI助手，尤其是多模態大語言模型（簡單說，就是能同時理解文字和圖像的AI），在訓練時讀了海量的文字和圖片資料。這個過程讓它們積累了大量的"常識"——比如"廚房裡經常有冰箱"、"臥室里通常有床"。這些常識在大多數情況下很有用，但也帶來了一個隱患：當AI在一個新場景里工作時，如果它對眼前的三維環境理解不夠清晰，它就會悄悄地用這些"常識猜測"來代替真實的感知結果，然後以非常自信的口吻給出錯誤答案。
在三維環境裡，這個問題尤為嚴重。機器人看到的不是一張清晰的照片，而是從多個角度拍攝的深度圖像、點雲數據（一大堆三維空間裡的點組成的場景描述）或者場景圖（記錄了房間裡每個物體的位置、大小和類別的結構化數據）。這些資訊本身就有遮擋、噪聲和不完整的問題。當AI需要判斷"這個房間裡有沒有電視"時，稍微有一點理解偏差，它就可能憑空"發明"一台電視出來。
更嚴重的是，在真實的機器人應用場景里，AI的判斷會直接驅動機器人的行動。如果AI說"有電視"，機器人就可能走過去試圖操作一台根本不存在的電視，導致任務失敗甚至碰撞事故。這不僅僅是答題出錯，而是會影響安全性的真實問題。
二、已有的修複方法為何在3D世界"水土不服"？
在2D圖片領域，研究者們已經發展出了一類叫做"視覺對比解碼"的技術來對付幻覺。核心思路非常直覺：給AI看一張正常的圖片，讓它給出答案；同時給它看一張故意搞壞的圖片（比如模糊處理、遮住部分區域），再讓它給出答案。如果某個詞彙（比如"沙發"）在正常圖片和搞壞圖片下，AI給出的置信度差不多高，那就說明AI說出這個詞不是真的"看到了"，而是靠語言習慣猜出來的——然後就在最終答案里壓低這個詞的權重。
這個方法在2D場景里效果不錯，但放到3D世界就遇到了根本性的障礙。三維環境裡的幻覺，不是因為像素看起來不對，而是因為空間關係、物體存在性、幾何位置判斷出了問題。你沒辦法靠"把圖片弄模糊"來測試AI是否真的理解了一個物體在三維空間裡的位置。你需要的是能夠在三維層面上製造矛盾——比如改變物體的位置資訊、替換物體的類別標籤——才能測出AI是否真正依賴了三維場景證據，還是只是在靠語言直覺亂猜。
研究團隊正是看到了這個空白，決定從結構化的三維場景圖入手，設計一套專門適用於三維世界的對比解碼方案。
三、3D-VCD的核心思路：給AI設一個"反事實陷阱"
研究團隊採用的核心策略，可以用一個偵探審訊的比喻來理解。優秀的偵探不會直接問嫌疑人"你是不是撒謊了"，而是會設計一個與真實情況相矛盾的問題，看嫌疑人的反應是否改變。如果無論你怎麼改變問題的前提，嫌疑人都給出同樣的回答，那他很可能是按照固定劇本回答，而不是根據真實記憶。
3D-VCD的運作方式與此一脈相承。整個過程分為三個階段，一氣呵成、環環相扣。
第一階段是建立"真實場景圖"。當機器人進入一個房間，它會掃描整個空間，生成一個結構化的三維場景圖。這個場景圖就像一份詳細的"房間檔案"：記錄了每個物體的類別（比如"椅子"、"冰箱"、"書架"）、在三維空間裡的中心坐標（x、y、z三個方向的位置）以及空間占據的範圍（長、寬、高）。這份檔案是對真實場景的忠實記錄，也是AI回答問題的核心依據。
第二階段是製造"破壞版場景圖"。研究團隊設計了幾種方式來擾亂這份檔案。一種是語義擾亂：把物體的類別標籤隨機打亂或替換，比如把"椅子"改成"桌子"，讓物體的名稱變得與真實不符。另一種是幾何擾亂：在每個物體的坐標和尺寸上加入隨機的微小偏差，相當於把整個房間的三維結構稍微錯位，就像把一張地圖上的所有標記點都隨機挪動了一點點。這個擾亂版的場景圖在表面上看格式還是正確的，AI可以正常讀取，但其中的內容與真實場景存在矛盾。
第三階段是對比推理。AI同時接收真實場景圖和破壞版場景圖，分別生成對同一個問題的回答概率。然後，研究團隊用一個簡潔的數學公式把兩個結果結合起來：最終答案 = （1 + α）× 真實場景下的預測 – α × 破壞場景下的預測。這裡的α是一個控制"懲罰力度"的參數，實驗中默認設為1.0。這個公式的意思是：如果某個詞（比如"有"）在真實場景和破壞場景下都被AI高度看好，說明AI給出這個詞與場景內容無關，是純靠語言習慣猜的，就壓低它的權重。反過來，只有在真實場景下才被看好、在破壞場景下明顯降低的詞，才被認為是真正依賴了三維證據的判斷，會被保留甚至加強。
這套方法不需要修改AI模型的任何參數，不需要額外的訓練數據，只需要在每次回答問題時多做一次"破壞場景"的推理，就能有效壓制幻覺。整個額外開銷僅僅是多一次前向推理計算，配合研究團隊設計的批處理和緩存優化，實際延遲僅增加約25%——原本每個問題需要2秒，用了3D-VCD之後大約需要2.5秒，代價極其有限。
四、針對不同場景的靈活適配
3D-VCD在設計上體現了相當的靈活性，能夠適配不同類型的三維推理任務。
在3D-POPE基準測試中，場景以幾何資訊為主，每個物體有明確的三維坐標和尺寸。對於這類場景，3D-VCD採用的是直接對場景圖進行語義和幾何層面的擾亂：隨機替換物體類別標籤，或者給坐標和尺寸加入高斯噪聲（一種符合正態分布的隨機誤差，日常理解就是"隨機地把數字稍微改大或改小一點"）。
在HEAL基準測試中，情況有所不同。這個測試模擬了更複雜的具身任務場景，比如機器人接到一個任務："檢查所有毛衣上的棉絨，確保沒有棉絨，然後把它們放到床上。"但測試者會在任務描述里偷偷插入一個不存在的物體（比如微波爐），看AI是否會把這個不存在的物體也寫進它的行動計劃。對於這類場景，3D-VCD的"破壞"方式不是修改場景圖，而是直接用這個含有干擾資訊的任務描述作為"破壞上下文"，與正常的任務描述形成對比。核心邏輯不變：只有對真實場景資訊敏感的預測才會被保留。這種統一的框架設計，讓3D-VCD能夠跨越幾何中心型和任務中心型兩類完全不同的三維推理場景，體現了其作為通用推理工具的潛力。
五、實驗結果：數字背後的真實意義
研究團隊在兩個專門為三維幻覺設計的基準測試上驗證了3D-VCD的效果。
3D-POPE基準測試分為三個難度遞增的子集。隨機子集是最基礎的測試，隨機選取場景里存在或不存在的物體來提問。流行物體子集提問的是那些在訓練數據里頻繁出現的物體，這類物體更容易觸發AI的語言直覺猜測。對抗子集是最難的，專門挑選那些在語言上很像場景里真實物體、但實際上並不存在的物體來提問，最容易引發幻覺。
與基準線模型3D-LLM相比，3D-VCD的表現提升是全面性的。3D-LLM的一個典型問題是"過度肯定"——幾乎對任何問題都回答"有"，其肯定率高達99.81%（隨機子集）和99.94%（流行和對抗子集），這意味著它幾乎從來不拒絕承認一個物體的存在，準確率也就只有約50%，和隨機猜測沒什麼兩樣。3D-VCD將隨機子集的肯定率從99.81%壓低到75.15%，準確率從50.07%提升到67.99%，精確率從50.03%提升到62.16%，F1分數（一個綜合衡量精確率和召回率平衡性的指標，滿分100%）從66.67%提升到74.48%。在流行子集和對抗子集上，3D-VCD同樣保持了92%以上的召回率，同時顯著提升了精確率和準確率，全面超過了其他三個對比模型（3D-VisTA和LEO），而那三個模型都經過了專門的訓練微調。
HEAL基準測試的結果同樣令人印象深刻。研究團隊將3D-VCD應用於兩個通用語言模型（Llama-3-8B-Instruct和Qwen-14B-Instruct），通過將干擾注入版本的任務描述與正常版本形成對比，來評估其對抗幻覺的能力。評估指標採用CHAIR（一種專門衡量幻覺率的指標，數值越低代表幻覺越少），分別統計物體幻覺率和狀態幻覺率。對於Qwen-14B模型，狀態幻覺率從16.45%驟降至5.0%，降幅超過三倍，物體幻覺率也從4.13%降至3.55%。對於Llama-3-8B模型，物體幻覺率同樣從2.58%降至2.39%，而狀態幻覺率的變化則說明不同模型的幻覺模式有所差異，也提示了未來進一步研究的空間。
六、擾亂方式的精細比較：哪種"陷阱"最有效？
研究團隊不滿足於一個粗略的"擾亂"方案，而是系統地比較了多種不同的破壞方式，逐一測試哪種方式最能激發模型對三維真實證據的依賴。
語義層面的擾亂分為兩種程度。低替換率（約10%的物體類別被替換）和高替換率（約25%的物體類別被替換），前者模擬輕微的標籤混淆，後者模擬較嚴重的類別錯誤。此外還有一種"修飾詞刪除"的擾亂方式，比如把"廚房櫥櫃"變成"櫥櫃"，去掉限定性的描述，測試AI對細節標籤的敏感性。
幾何層面的擾亂同樣分為兩個強度。低噪聲版本給坐標和尺寸加入標準差為0.05米的高斯噪聲，大約相當於5厘米的隨機偏差，模擬傳感器精度誤差。高噪聲版本則使用0.20米的標準差，相當於20厘米的偏差，模擬較差的場景重建質量。
結構層面的擾亂則更進一步，包括隨機刪除約20%的場景物體、翻轉30%的空間關係標籤（比如把"在……上面"改成"在……旁邊"），以及加入無關的干擾物體來模擬場景噪聲。
實驗結果顯示，不同擾亂方式的效果都明顯優於不做任何擾亂的基線，而過於溫和（ε=0.01）或過於極端（ε=0.45）的幾何噪聲都會導致效果下滑——前者因為擾亂不足以產生有效的對比信號，後者因為場景結構被破壞得太徹底，失去了作為有意義的"反事實"的價值。綜合考慮效果、可解釋性和計算效率，研究團隊最終選擇將低強度語義替換與低強度幾何擾亂結合使用，作為3D-VCD的默認配置。
七、效率考量：不犧牲速度的情況下更聰明
研究團隊還專門分析了3D-VCD的計算效率問題，畢竟一個在真實世界中服務機器人的系統，不能因為"思考太久"而讓用戶等待。
在場景物體數量從10個增加到50個的過程中，3D-VCD的推理時間從約3.8秒增長到約6.7秒，增長曲線平緩而線性，說明方法能夠隨場景規模的增加而穩定地擴展，不會出現"場景越複雜就慢得不成比例"的情況。這種可擴展性對於真實部署至關重要。
使得這種效率成為可能的，是兩項關鍵的工程優化。其一是批處理雙重前向傳播：把真實場景圖和破壞版場景圖打包成一個批次，讓AI在一次推理調用中同時處理兩個輸入，避免重複加載模型和處理文本。其二是鍵值緩存：在自回歸生成（AI一個詞一個詞地生成答案）的過程中，緩存每一步已經計算過的注意力狀態，下一步只處理新生成的詞，而不是從頭重算整個歷史序列。這兩項優化疊加，使得雙上下文解碼相比單次解碼只多消耗約25%的時間，而不是理論上的兩倍。
歸根結底，這項研究在不犧牲速度、不需要重新訓練任何模型的前提下，給三維具身AI加上了一個實時的"事實核查員"。它的核心洞察在於：一個真正理解了三維場景的AI，在面對被故意破壞的場景資訊時，應該給出不同的答案；如果它的答案完全不受場景破壞的影響，那它的答案多半就是在靠語言慣性說話，而不是在真正"看"這個世界。通過設置這個巧妙的"反事實陷阱"，3D-VCD迫使AI更誠實地面對眼前的三維證據，而不是躲在語言常識的舒適區里隨意發揮。
對普通人來說，這意味著未來家裡的服務機器人在告訴你"廚房沒有番茄醬"時，背後有一套更可靠的機制在確保它真的是在看廚房，而不是在憑印象亂說。這項研究公開了代碼和詳細實現，為整個具身AI領域的可靠性研究提供了一個可直接復用的工具，對有興趣的研究者和開發者來說，查閱arXiv:2604.08645即可獲取全部技術細節。
Q&A
Q1：3D-VCD方法需要重新訓練AI模型嗎？
A：不需要。3D-VCD完全在推理階段工作，不修改任何模型參數，也不需要額外的訓練數據。它只是在AI回答問題時，額外做一次"破壞版場景圖"的推理，並通過對比兩次結果來壓制幻覺。這意味著它可以直接套用在已有的三維AI模型上，無需重新訓練，極大降低了應用門檻。
Q2：3D-VCD中的場景圖擾亂會不會影響AI的正確判斷？
A：研究團隊專門測試了這個問題。實驗表明，過於微弱的擾亂（比如只有5毫米的坐標偏差）提供的對比信號太弱，效果有限；而過於劇烈的擾亂會破壞場景的基本結構，同樣會降低效果。中等強度的擾亂效果最好，既能產生足夠的對比信號，又保留了場景的高層結構，讓對比推理有意義。
Q3：3D幻覺問題只在機器人領域存在嗎？
A：不只是機器人。任何需要AI理解三維空間的應用場景都面臨這個問題，包括室內導航助手、AR/VR中的智能助手、醫療影像分析中的空間理解，以及倉儲自動化系統等。只要AI需要在三維環境裡判斷"某個物體在哪、存不存在、有多大"，幻覺問題就可能出現並導致錯誤決策。
