這項由荷蘭烏得勒支大學語言與人工智慧研究團隊完成的研究，於2026年6月以預印本形式發布，論文編號為arXiv:2606.31719，有興趣深入了解的讀者可以通過該編號查詢完整論文。
兩個人對話，真的意味著兩個人理解了同一件事嗎？這個問題在日常生活中往往被我們忽略，因為大多數時候，說話的兩個人處於幾乎相同的資訊環境裡。但假設你手裡拿著一張地圖，朋友手裡也拿著一張地圖，看似一模一樣，其實上面的地標有些不同——這時候，當你說"在那個停車場旁邊轉彎"，對方點了頭，你們真的說的是同一個停車場嗎？
這種場景並不只是一道燒腦的哲學題。在現實世界裡，誤解往往正是以"表面同意"的面目出現的——雙方都以為彼此懂了，但其實各自理解的是完全不同的東西。這個現象在語言學裡有個專有名詞，叫做"共同基礎"（common ground）的建立，或者更學術地說，叫"接地氣化"（grounding）。
烏得勒支大學的研究團隊把目光投向了一類越來越強大的AI系統——視覺語言模型（Vision-Language Models，簡稱VLMs）。這類AI既能看圖，又能讀文字，理論上應該能很好地理解對話中的資訊。研究團隊想搞清楚：當這類AI充當一個旁觀者，同時拿到兩張不一樣的地圖，再讀完兩個人的對話，它能不能準確判斷：這兩個人，真的在說同一件事嗎？
答案令人頗為意外。這些AI模型看到地圖之後，反而更容易犯一種特定的錯誤——它們會因為"兩張地圖上都有某個地標"就誤以為兩個人已經達成了一致，完全忽視了對話過程中真正形成理解所需要的那些互動細節。
說到底，"能看見"和"已經共享"是兩回事，但AI們往往分不清這個區別。
一、當兩張地圖上的地標不一樣，對話就變成了猜謎
要理解這項研究，得先認識一個經典的心理語言學實驗工具，叫做HCRC地圖任務（HCRC MapTask）。這是1991年由英國一組語言學家設計的實驗框架，至今仍是研究對話與理解的重要參照。
實驗的設置非常精妙。兩個人分別拿著一張地圖，這兩張地圖看起來差不多，但其實存在一些刻意設計的差異：某些地標只出現在其中一張地圖上；某些地標在兩張地圖上名字不同，比如一張叫"白水"，另一張叫"激流"；還有些地標在一張地圖上出現了兩次，在另一張上只出現一次。兩個人看不到對方的地圖，只能通過對話協作完成任務：其中一人（叫"引導者"）根據自己地圖上的路線，引導另一人（叫"跟隨者"）在自己的地圖上畫出同樣的路線。
這個設計的妙處在於，它把"誤解"的可能性直接嵌入了任務結構里。當引導者說"到那個停好的貨車旁邊"，而自己的地圖上有兩輛停好的貨車，跟隨者的地圖上只有一輛，雙方就很可能在"表面同意"的情況下各自理解成了不同的地標。這種錯位，正是研究者想要研究的核心現象。
最近，烏得勒支大學的團隊在一份名為"透視視角標註數據集"的資源基礎上開展了這項研究。這份數據集包含了128段完整的地圖任務對話，共13077個標註好的"參考表達式"（也就是對話中提到某個地標的具體說法）。對於每一個參考表達式，數據集分別記錄了引導者的理解和跟隨者的理解——即使兩個人都覺得自己明白了，兩者的理解也可能指向完全不同的地標。
研究團隊的核心任務，就是把這些對話和地圖餵給AI，讓它判斷：在這個時間點上，兩個參與者對某個參考表達式的理解，是一致的（YES）還是不一致的（NO）？數據顯示，在這13077個例子裡，約72.1%是"已經達成一致"的情況，另外27.9%則是"尚未一致"——其中大部分是"尚未真正建立理解"的懸而未決狀態，極少數（僅239個）是"雙方各自以為理解了但其實指向了不同地標"的真正誤解。
二、研究團隊怎麼測試這些AI——一場精心設計的資訊控制實驗
研究團隊測試的AI並不只有一個，而是來自兩個主流開源模型家族：Qwen3-VL系列（由阿里巴巴研發）和Gemma3系列（由谷歌研發），參數規模從20億到120億不等，共五個模型。其中，綜合表現最好的Qwen3-VL-8B-Instruct被作為主要研究對象，進行了最詳細的條件測試。
整個實驗的巧妙之處，在於研究團隊精心控制了兩個變量，就像廚師在調整食譜時，每次只改變一個配料的用量，觀察菜品口味的變化。
第一個變量是"對話上下文窗口"，也就是AI能看到多少對話內容。研究團隊設計了四種不同的"閱讀範圍"：最窄的只讓AI看到包含目標地標表達的那一行對話（curL），稍寬的讓AI看到目標所在的整個"交易單元"（curT，大概是一段圍繞某個地標展開的對話段落），更寬的讓AI從對話開始看到目標所在行（startL），最寬的讓AI從對話開始看到目標所在交易單元結束（startT）。通過這樣的設計，研究者可以觀察：知道更多對話歷史，有沒有幫助AI更準確地判斷兩人是否達成了共識？
第二個變量是"地圖資訊的形式"，也就是AI能獲得什麼樣的地圖資訊。這裡設計了多種條件，形成了一個完整的對比網路。在基礎條件下，AI可以完全不知道地圖內容（純文字條件），也可以同時看到兩張真實的地圖圖片（雙圖條件），或者只看引導者的地圖（單圖-引導者），或者只看跟隨者的地圖（單圖-跟隨者）。
為了進一步弄清楚究竟是"視覺圖片"本身在影響AI，還是地圖上的"具體內容"在影響AI，研究團隊又加了四個特殊條件：給AI一段文字列出每張地圖上的地標名稱（文字-地標名稱），給AI一段文字詳細描述兩張地圖有哪些不同（文字-差異描述），給AI看兩張完全空白的灰色圖片（空白地圖），以及給AI看兩張地標被隨機替換成其他不相關地圖內容的圖片（亂序地圖）。
這後面兩個"假控制"條件特別關鍵——如果AI只是因為"圖片存在"就改變了判斷，那空白圖片和亂序圖片應該也會造成同樣的偏差；如果AI是因為"圖片裡有具體的地標資訊"才改變了判斷，那這兩種假圖片就不該造成相同的偏差。
三、讓AI看了地圖之後，它反而更容易說"他們理解一致了"
實驗的核心發現，可以用一個生活場景來類比。假設你是一位婚姻調解員，正在判斷一對夫妻是否真的就某件事達成了共識。如果你只聽他們說了什麼，你會非常謹慎地評估雙方的措辭和反應。但如果你突然拿到了一份兩人各自的資產清單，上面顯示兩人都有一輛紅色豐田汽車——你可能會不假思索地認為："哦，他們在說同一輛車，沒有問題。"但實際上，這兩輛車可能是完全不同的車，只是顏色和品牌一樣。
這正是AI模型在實驗中暴露的問題。
在不給AI任何地圖資訊的情況下，最好的評估窗口（startT）下，主要模型Qwen3-VL-8B-Instruct的宏平均F1分數（一個綜合衡量判斷準確度的指標，滿分為1.0）為0.591，對"對話已對齊"的預測比例（yes-rate）為0.515，大致處於中性位置，對兩種情況的判斷相對均衡。
但當AI同時看到兩張真實地圖之後，宏平均F1分數提升到了0.671——看起來是進步了。然而，這個數字背後藏著一個非常不健康的結構：AI對"已對齊"案例的正確識別率從0.590急劇攀升到了0.822，而對"未對齊"案例的正確識別率則從0.677跌落到了0.518。同時，AI說"YES（兩人理解一致）"的比例從0.515驟升到了0.727，幾乎與數據集中"已對齊"案例的真實比例相當。
換句話說，AI變得更"樂觀"了，在看到地圖之後，它更傾向於認為兩個人已經達成了共識，即便實際上並沒有。總體準確率看起來提高了，但那是因為"已對齊"案例本來就占了72%——你只要把所有答案都說"YES"，準確率也能輕鬆到達72%。真正困難的地方在於識別"未對齊"的案例，而這正是AI在看到地圖後更容易失手的地方。
更有意思的是，只給AI看一張地圖的情況反而比給兩張地圖更極端。只看引導者地圖時，AI說"YES"的比例高達0.791，對"未對齊"案例的正確識別率跌到了0.436。只看跟隨者地圖時，情況類似，yes-rate達到0.794，正確識別"未對齊"的比例僅剩0.408。這說明只要AI看到了任意一張地圖，它就會開始過度樂觀地預測"雙方理解一致"，而同時擁有兩張地圖反而因為跨圖差異提供了一些修正信號，讓偏差稍微小了一點。
四、罪魁禍首不是"圖片"，而是圖片裡的"內容"
這裡有一個關鍵問題：AI是因為"收到了圖片"才變得過度樂觀，還是因為圖片裡那些具體的地標資訊讓它產生了偏差？
空白地圖和亂序地圖兩個控制條件給出了明確的回答。當AI收到的是兩張純灰色的空白圖片，它的yes-rate直接跌到了0.184，變得極度保守，幾乎把所有情況都判斷為"未對齊"，宏F1跌至0.407。收到亂序地圖（地標內容來自一個完全不相關的地圖對）時，結果幾乎相同，yes-rate為0.193，宏F1為0.402。這種超級保守的傾向，與看到真實地圖時的超級樂觀形成了鮮明對比。
這個發現告訴我們：不是"有圖片"就會讓AI過度樂觀，而是"圖片裡有與任務相關的地標內容"才會觸發這種偏差。圖片作為視覺通道本身並不是問題，問題在於那些具體的、與任務相關的地標資訊。
接下來，兩個文字版的地圖資訊條件進一步驗證了這一點。當AI收到的是一段文字，列出了每張地圖上的地標名稱，yes-rate達到了0.675，宏F1為0.636，對"已對齊"案例的識別率為0.756，對"未對齊"案例的識別率為0.533。當AI收到的是一段詳細描述兩張地圖差異的文字，yes-rate為0.716，宏F1為0.668，對"已對齊"案例的識別率達到0.810，對"未對齊"案例的識別率為0.528。
這兩個文字條件的表現，與真實地圖圖片條件（yes-rate 0.727，宏F1 0.671，"已對齊"識別率0.822，"未對齊"識別率0.518）高度相近，大大高於"純文字不提供地圖資訊"條件（yes-rate 0.515，宏F1 0.591）。
由此可見，不管是通過圖片還是通過文字告訴AI"兩張地圖上都有這個地標"，AI都會變得過度樂觀。地圖內容是觸發偏差的關鍵，視覺呈現方式只是一個幅度更強一點的放大器。
五、置信度分析：AI不只是猜錯了，而是"自信地"猜錯了
研究團隊還深入分析了AI在做判斷時的"自信程度"。通過觀察AI模型輸出"YES"或"NO"時的概率分數，研究者發現了一個令人不安的現象——地圖不只是讓AI更容易預測"對齊"，還讓AI在預測錯誤時更加自信。
在不提供地圖資訊的情況下，AI對"已對齊"案例的校準誤差（ECE，一個衡量AI自信度與實際準確度是否匹配的指標，越低越好）為0.263，對"未對齊"案例的校準誤差為0.235，兩者相差不大，說明AI在兩類情況下的自信程度與準確度大致匹配，平均自信度約為0.863。
當AI同時看到兩張真實地圖，情況發生了根本性的變化。對"已對齊"案例，校準誤差驟降至0.094，說明AI在這類案例上變得相當精準可靠；但對"未對齊"案例，校準誤差急劇攀升至0.403。最極端的情況出現在只看跟隨者地圖時：對"已對齊"案例的校準誤差僅為0.061，而對"未對齊"案例高達0.524——AI在"未對齊"案例上不只是錯的，而是滿懷信心地錯的。與此同時，整體平均自信度從無地圖的0.863上升到了約0.927至0.929。
這意味著什麼？地圖資訊讓AI在看到地標共存於兩張地圖時，堅定地相信"兩人理解一致"，即便對話中的證據根本不支持這一結論。這種"自信的錯誤"比普通的隨機錯誤危險得多——因為它很難從表面識別出來。
六、把"未理解"狀態、"正在理解"狀態和"誤解"狀態分開看
研究團隊進一步把所有13077個案例按照實際的"理解狀態"分成三類：真正對齊（兩人確實指向同一地標，占9435個案例）、懸而未決（對話中該參考表達式尚未真正被理解確認，占3403個案例），以及真正誤解（雙方都以為理解了但其實指向了不同地標，僅239個案例）。
在這三類上，不同的資訊條件表現出了截然不同的效果。在不提供地圖的情況下，AI對真正對齊案例的準確率為0.590，對懸而未決案例的準確率為0.691，對真正誤解案例的準確率為0.473。
提供雙圖後，對真正對齊案例的準確率飆升到0.822，提升了23個百分點，效果顯著。但與此同時，對懸而未決案例的準確率從0.691驟降至0.523，下降了17個百分點，統計檢驗顯示這個下降在統計意義上非常顯著。對真正誤解案例，雙圖條件下準確率從0.473略降至0.456，統計上差異不顯著。
然而，單圖條件對誤解案例的破壞更大。只看跟隨者地圖時，對真正誤解案例的準確率直接崩塌到0.255，下降幅度超過20個百分點；只看引導者地圖時，誤解案例準確率也跌至0.372。相比之下，雙圖條件反而比單圖條件"溫和"一些，因為兩張地圖之間的差異提供了一定的糾錯信號。
文字版地圖資訊條件同樣呈現了類似的權衡。提供地標名稱列表時，三類準確率分別為0.756、0.544和0.372；提供差異描述時，分別為0.810、0.540和0.368——與雙圖條件高度相似，只是對誤解案例的表現略差於雙圖。而空白地圖和亂序地圖則產生了截然相反的極端情況：對真正對齊案例準確率僅為0.220/0.222，對懸而未決案例準確率高達0.913/0.886，對真正誤解案例準確率也高達0.866/0.858，整體呈現近似"什麼都回答NO"的狀態。
七、重複提到同一地標，會不會幫助AI更準確？
在真實的地圖對話中，同一個地標往往會被多次提及——一開始引導者簡單提到，後來又經過反覆確認、修正、重新協商，逐步建立了真正的共識。研究團隊追蹤了這些"參考鏈"（即對同一地標的連續多次提及序列），按照一條鏈包含多少次提及分成了六個組（1次、2次、3次、4-5次、6-8次、9次以上），觀察AI的判斷準確率和樂觀程度如何隨著提及次數變化。
結果顯示了一個值得深思的規律。在不提供地圖的情況下，隨著同一地標被提及的次數增多，AI的準確率反而略有下滑（從單次提及時的0.719下降到9次以上的0.599）。這並不奇怪——被提及次數越多的地標，往往是對話中越難協商的地標，對話越長越複雜，AI就越難以準確判斷。
而在提供地圖的情況下，AI的總體準確率隨提及次數增多而穩步提升（雙圖條件從單次提及的0.681上升到9次以上的0.791）。乍一看這是好事，但是yes-rate也在同步攀升（雙圖條件從0.549上升到0.789，單圖條件更是高達0.840至0.845）。由於在一條較長的參考鏈中，後期的提及往往確實是在已建立共識後發生的，而AI通過提高yes-rate在這些案例上表現更好，這並不能說明AI真正學會了追蹤理解過程，而更可能是它在利用"提及次數多=已經建立共識"這個粗糙的啟發式規則。
研究團隊還觀察了在一條參考鏈的不同位置上，AI的yes預測概率如何變化。幾乎在所有條件下，P(YES)的概率都隨著提及位置的推進而穩步上升。不提供地圖時，第一次提及時P(YES)約為0.420，到第9次以上時升至0.601；提供地圖時，這個上升更為明顯，各地圖條件的P(YES)從約0.708升至0.794，幅度在0.034到0.118之間。這說明AI並沒有真正追蹤"對話過程中理解是如何逐步建立的"，而只是簡單地認為"越說越多，就越該是理解一致的"。
八、不同AI模型，行為差異相當顯著
除了主要模型Qwen3-VL-8B-Instruct，研究團隊還在基礎條件下測試了其餘四個模型，結果相當有趣，甚至可以說出人意料。
Qwen3-VL-2B是參數最小的版本（20億參數），但在看到地圖後同樣表現出過度樂觀的傾向，yes-rate從不看地圖時的0.483升至看雙圖後的0.707，宏F1從0.561微升至0.566。Gemma3-4B也表現出類似的方向性偏移，yes-rate從0.279升至0.400，宏F1從0.445升至0.510。
然而，Qwen3-VL-4B卻走向了完全相反的方向：看到地圖之後，它變得更加保守而非更樂觀，yes-rate從0.368跌至0.225，宏F1從0.518跌至0.411。而Gemma3-12B則不管有沒有地圖，都極度保守，yes-rate僅為0.107（不看地圖）和0.231（看雙圖），幾乎所有情況都預測"未對齊"，宏F1僅為0.322和0.416。
研究團隊分析了這種差異的可能原因。Gemma3系列使用的視覺編碼器會把圖片壓縮成固定的256個視覺標記，無論圖片多大、內容多複雜，這種激進壓縮很可能丟失了地圖上那些微小的地標標籤和圖標細節。Qwen3-VL系列則根據圖片實際解析度動態生成視覺標記，保留了更多空間細節。在預先進行的"讀圖測驗"中，Qwen3-VL各模型對地標名稱的識別F1達到了0.876至0.897，而Gemma3系列僅為0.813至0.820，而且Gemma3還會出現字符級的識別錯誤，比如把"picket fence（柵欄）"讀成"picker fence"，把"site of forest fire（森林火災遺址）"讀成"pits of forest fire"。
此外，研究還發現，模型規模越大，並不意味著表現越好。在Qwen3-VL系列裡，2B版本反而在某些條件上優於4B版本。Gemma3-12B的校準誤差高達0.531，是所有模型中最差的，而它的平均自信度為0.948，是所有模型中最高的之一——更大的模型，更自信，但更錯。這種"越大越自信但未必越對"的現象，提示我們單純擴大模型規模並不能解決識別理解過程的根本問題。
九、這件事真正意味著什麼
歸根結底，這項研究揭示的是一種被研究團隊稱為"旁聽者幻覺"的現象——AI充當一個對話旁聽者，它能讀到對話的每一句話，也能看到兩張地圖上的每一個地標，但它缺少一種能力：真正追蹤"理解是如何在對話互動過程中一步步建立起來的"。
就像一個在教室外偷聽課的學生，他能聽到老師和同學說了什麼，也能看到黑板上寫了什麼，但他並沒有參與那個"老師提問、學生回答、老師糾正、學生再次回答"的動態過程。因此，他對"這個知識點是否真的被學生理解了"的判斷，就很容易流於表面。
在地圖任務里，地圖告訴了AI"兩個人的地圖上都有這個地標"，也就是"這個地標有可能成為共識"。但對話告訴AI的，是"這個地標是否通過對話交互真正被確認為雙方的共識"。AI過度依賴了前者，而對後者的追蹤能力明顯不足。
這一發現對任何需要AI理解對話中"共識建立過程"的應用都有直接影響——比如對話輔助系統、協作任務中的AI助手、或者任何需要AI判斷"兩方是否真正達成一致"的自動化分析工具。如果AI僅僅因為兩方有"共同的可見資訊"就誤判"已達成共識"，那麼它在這些場景下的可靠性將大打折扣。
研究團隊也坦誠地指出了這項工作的局限：實驗只在旁聽者視角下進行，AI沒有機會主動提問或澄清；評估只依賴HCRC地圖任務這一個特定數據集，類別分布本身就偏向"已對齊"；而且對於真正的誤解案例，數量僅有239個，統計力較弱。未來的研究方向，可能需要讓AI也參與到對話中，賦予它澄清、表達不確定性和主動修正的能力，並在更多元的數據集上驗證這些發現是否具有普遍性。
從更宏觀的角度來看，這項研究提醒我們：當我們把視覺語言模型應用於涉及多方理解和協作的場景時，"能看到"和"真正理解了發生了什麼"之間，仍然存在一道不小的鴻溝。地圖擺在那裡，地標都清晰可見，但對話是活的，理解是在互動中動態建立的——而當前的AI，更擅長讀靜止的圖，不擅長追蹤活的互動。
---
Q&A
Q1：視覺語言模型在地圖對話任務中發現了什麼問題？
A：研究發現，視覺語言模型（如Qwen3-VL等）在看到地圖後，會因為"兩張地圖上都有某個地標"就誤以為對話雙方已經理解一致，即使對話實際上並沒有完成這個確認過程。這種偏差在提供真實地圖圖片時最為明顯，yes-rate（預測"已對齊"的比例）從沒有地圖時的約0.515急升至0.727，而對"未對齊"案例的正確識別率則從0.677跌至0.518。
Q2：為什麼Gemma3系列模型在地圖任務中表現比Qwen3-VL差？
A：Gemma3系列的視覺編碼器會把圖片強制壓縮成固定的256個視覺標記，無論圖片多大或內容多複雜，這種壓縮會丟失地圖上的細節，比如小字地標名稱和圖標。實驗中，Gemma3模型的地標識別F1隻有0.813到0.820，低於Qwen3-VL的0.876到0.897，而且還會出現拼寫錯誤和位置判斷錯誤。讀不清地圖，自然也就無法產生內容驅動的過度樂觀偏差。
Q3：給AI提供地圖的文字描述，和給AI看真實地圖圖片，效果有什麼不同？
A：兩者效果非常接近。提供地標名稱列表時，模型yes-rate為0.675，宏F1為0.636；提供差異詳細描述時，yes-rate為0.716，宏F1為0.668——與真實地圖圖片（yes-rate 0.727，宏F1 0.671）高度相似，遠高於不提供任何地圖資訊的純文字條件（yes-rate 0.515，宏F1 0.591）。這說明觸發過度樂觀偏差的是地圖的內容資訊，而非視覺呈現形式本身，視覺渠道只有輕微的額外放大作用。
