宅中地 - 每日更新
宅中地 - 每日更新

贊助商廣告

X

騰訊華為清華聯手揭開AI搜索的致命盲區:當機器人幫你查資料,卻不懂「先問清楚再動手」

2026年07月13日 首頁 » 熱門科技

這項研究由騰訊混元與清華大學深圳國際研究生院聯合開展,論文以預印本形式發表於2026年7月,論文編號為arXiv:2606.27669v2,有興趣深入了解的讀者可通過該編號查詢完整論文。

你有沒有碰到過這樣的情況:朋友幫你去餐廳訂位,你說"訂個好位置",他沒多問就直接去了,結果訂到靠近廚房又吵又熱的角落?事後你才意識到,你們倆對"好位置"的理解根本不一樣。這個令人抓狂的小插曲,放大了之後,正是當下最頂尖的AI搜索助手們每天都在犯的錯誤——只不過代價要昂貴得多。

研究團隊發現,現有的AI搜索系統在處理複雜資訊檢索任務時,普遍存在一個被忽視的根本性缺陷:當用戶的問題本身就說不清楚時,這些系統要麼無腦亂猜,要麼一頭扎進無休止的搜索循環,卻從來不懂在關鍵時刻停下來問一句"你的意思是……?"為了量化和評估這個問題的嚴重程度,研究團隊構建了一個名為DISCOBENCH的測試基準,全稱是"Deep Interactive Search with ClarificatiOn Benchmark",也就是"具備澄清能力的深度交互搜索基準"。這是目前學界首個專門針對AI搜索智能體澄清模糊問題能力的系統性測試平台。

一、從訂餐到查資料:問題不說清楚會有多嚴重

要理解這項研究解決的是什麼問題,先來感受一下這種"模糊傳染病"有多可怕。

論文給出了一個絕妙的例子,完整地展示了模糊問題如何像多米諾骨牌一樣一路翻倒。原題大意是這樣的:"某人在1936年提出了一種邏輯機器的通用模型。1999年,此人獲得了一本著名雜誌的榮譽。該雜誌1928年的年度人物創立了一家著名汽車公司。該公司後來在中國建立了一家子公司。在這家子公司成立的同一年,哪位教授指導了當年的諾貝爾化學獎得主完成了博士論文?"

光是讀完這道題就已經頭暈了,對吧?現在再加上模糊條件:原題里精確說明了是"哪家子公司",但被改成了含糊的說法,導致有兩家公司都符合條件——北京吉普和克萊斯勒(中國)汽車銷售有限公司都滿足要求。同樣,"2005年諾貝爾化學獎得主"也變得模糊,因為那一年有三位聯合獲獎者。

一個沒有澄清能力的AI搜索助手會怎麼做?它會隨便選一個自認為"看起來更合理"的答案繼續往下走。比如它選了北京吉普,那麼接下來所有的搜索都會基於這個錯誤前提展開,最終找到一個完全錯誤的教授名字作為答案。而且全程沒有任何警報,表面上看起來一切運行正常。這就是研究者們所說的"錯誤傳播"——一個早期的模糊節點,會把後續所有步驟都帶偏,像一列火車在第一個岔路口走錯了方向,之後每一站都會偏離目的地更遠。

相比之下,一個真正聰明的搜索智能體應該在發現兩家子公司都符合條件時,停下來問用戶:"我找到了兩家公司都滿足條件,請問您能提供更多線索嗎?"用戶說"我記得是一家全資的汽車銷售公司",助手立刻鎖定克萊斯勒(中國),後續搜索也就全部走上了正確軌道。

這個看起來簡單的"多問一句",在AI搜索領域卻是一項幾乎沒有被認真研究過的能力。

二、為什麼現有測試根本無法發現這個問題

在構建DISCOBENCH之前,研究團隊仔細梳理了目前學界已有的相關測試平台,發現它們各自都有明顯的局限性。

現有的主流搜索智能體測試,比如GAIA、BrowseComp、AgentBench等,基本上都默認用戶的問題是清晰完整的,重點考察AI能不能通過多步驟推理找到答案,完全沒有考慮"萬一問題本身就說不清楚怎麼辦"。另一類專門研究"模糊問題"的數據集,比如AmbigQA和DEEPAMBIGQA,倒是關注了問題本身的模糊性,但它們都是靜態的——只是把一道模糊題擺在那裡,讓AI直接給答案,沒有模擬"用戶和AI來回交流"的動態過程。還有一類"對話交互"測試,比如IN3和UserBench,雖然包含了多輪對話,但場景局限在封閉的沙盒環境裡,沒有真正連接到廣闊的網際網路搜索。最新的INTERACTCOMP雖然開始把交互引入搜索場景,但覆蓋的模糊類型有限,用戶反饋的形式也過於簡單(只有"對/錯"兩種選項),不夠貼近真實人類對話的多樣性。

DISCOBENCH正是為了填補這些空白而生。它的核心設計理念是:把模糊性看作一種在多步驟推理過程中動態傳播的現象,而不是問題本身的固定屬性。換句話說,它不是在問"這道題清不清楚",而是在問"AI在一步一步搜索的過程中,能不能在恰當的時刻察覺到自己已經陷入了模糊地帶"。

三、DISCOBENCH是怎麼搭建起來的

構建這個測試基準是一項耗費大量人力的工程,整個過程分兩大階段,動用了一位專家級標註指導員、六名來自多個專業方向的本科標註員和兩名質量檢查員,總標註費用高達39000美元。

第一階段是打地基:構建高質量的多跳問題。研究團隊首先手工從11個不同的現實知識領域中收集種子話題,覆蓋影視、遊戲、學術、藝術、體育、地理、音樂、金融、醫藥、科技和政策法律。知識來源包括維基百科、百度百科以及谷歌、必應、百度等搜尋引擎的結果頁面。值得注意的是,DISCOBENCH主要以中文構建,目的是更真實地反映中文網路環境下的模糊模式和檢索行為。

所有題目必須滿足三個硬性條件:答案必須可以客觀核實;不能單靠常識推理得出;必須依賴外部搜索才能完成。在這些條件下,研究團隊先讓AI生成初步的單跳問答對,再通過圖結構擴展和外部檢索結果構建候選的多跳推理鏈,最後由人工標註員進一步審核、重構,確保邏輯嚴密。

第二階段是注入"故意的模糊"。在已有的多跳推理鏈基礎上,研究者識別出哪些節點最適合引入模糊性——判斷標準是:該節點的目標實體必須與其他實體有足夠多的共同屬性,使得放寬限定條件後會出現多個合理候選;同時,後續的推理鏈在模糊狀態下仍然可以繼續執行(否則AI會直接卡死);最後,這個模糊必須能夠通過用戶提供的一條線索來解決。

模糊注入的具體操作是將精確的限定條件替換為多個候選實體都滿足的寬泛描述,比如把"獲得GWB獨立遊戲大獎賽銅獎"改成"獲獎"。人工標註員還需要為每個模糊節點準備一條"區分性事實"——也就是用戶在被AI詢問時會提供的那條關鍵線索,例如"我記得是獲GWB獨立遊戲大獎賽銅獎的那個"。

經過嚴格的五階段質量控制(結構驗證、AI探測、模糊與錯誤評估、人工覆核、最終裁決),最初的314個候選樣本中有78個(約24.8%)被淘汰,最終保留了211個高質量樣本,包含463個模糊節點,覆蓋11個領域和4種模糊類型。

四、四種"模糊陷阱",哪種最難被發現

DISCOBENCH把模糊性分為四種類型,每種的"難度係數"和"危險程度"都不一樣。

第一種叫"實體模糊",即多個不同的實體都滿足問題的描述。這是最常見的類型,占所有模糊節點的38%。比如某家公司有好幾款"獲獎遊戲",你說"那款獲獎遊戲"時,AI根本不知道你說的是哪一款。這類模糊的危險在於,AI很容易自信地選一個"看起來最有名"的候選項繼續走,而不會意識到需要停下來確認。

第二種是"版本模糊",占約23.5%。這類問題依賴特定時間點或版本,但描述時只給了一個寬泛的時間窗口。比如"2018年3月至4月的某場中超比賽中",實際上這段時間裡某球員有兩次換人記錄,只有確切日期才能區分是哪一場。

第三種是"標準模糊",占約11.4%,也是最隱蔽的一種。同一個描述,在不同的評判標準下會指向完全不同的答案。比如"三大啤酒節城市中緯度超過北緯40度的那個",如果是世界三大啤酒節,答案是德國慕尼黑;如果是中國三大啤酒節,答案是哈爾濱。兩者都滿足字面描述,但答案截然不同。

第四種是"事實錯誤模糊",占約27%。這類問題本身就包含了一個不存在於現實中的描述,比如"被稱為哈吉米之國的國家"——這根本不是任何國家的真實別稱,純粹是編造的。這類情況下,AI不管怎麼搜都搜不到匹配結果,正確做法是識別出這是一個事實錯誤,然後請用戶澄清,而不是亂猜一個國家。

從檢測難度來看,事實錯誤類模糊反而最容易被AI發現,因為搜索結果會明顯給出"找不到"的信號,這個矛盾足夠明顯。相比之下,實體模糊和標準模糊更難識別,因為搜索是能找到結果的,只不過找到了不止一個,而AI往往會直接選其中一個繼續推進,並不會意識到需要進行區分。

五、如何測試AI的"何時該問"能力

DISCOBENCH設計了一套完整的評估框架,從四個維度衡量搜索智能體的表現。

第一個維度是"任務完成度",也就是最終答案對不對,以及在多步驟推理鏈中通過了幾個關卡。第二個維度是"模糊識別能力",通過準確率和F1分數衡量AI有沒有在該提問的地方提出澄清請求,有沒有在不該提問的地方瞎提問。第三個維度是"交互策略質量",分兩個子指標:CE-A衡量AI提出的澄清問題有沒有問到點上;CE-B衡量AI在得到用戶回應之後,有沒有成功利用這條線索推進答題。第四個維度是"成本效率",包括平均提問次數、搜索工具調用次數和總token消耗量。

為了模擬真實的用戶交互,研究團隊專門設計了一個"用戶模擬器"——用谷歌的Gemini-3-Flash-Medium模型擔任虛擬用戶的角色。這個模擬器會根據預先設定的區分性事實,在AI提出正確的澄清問題後給出相應的線索提示。模擬器遵循嚴格的規則:只有當AI的問題真正命中了當前模糊節點的關鍵點時,才會釋放線索;如果AI問錯了方向,模擬器會拒絕透露,不給無效問題"搭台階"。

研究團隊共測試了11個當前最具代表性的大語言模型,包括Claude-Opus-4.7、GPT-5.4、Gemini-3.1-Pro-Preview、豆包Seed-2.0-Pro、DeepSeek-V4-Pro、Qwen-3.6-Max、MiniMax-M2.7、GLM-5.1、MiMo-v2.5-Pro、Kimi-K2.6和混元3.0-Preview。所有搜索調用都通過Tavily搜尋引擎實現。測試設有兩種提示模式:一種是"中立模式",AI不知道題目里可能有模糊之處,全靠自己判斷是否需要澄清;另一種是"引導模式",提示詞裡明確告知AI"這道題可能有模糊的地方,必要時請主動提問"。

六、成績單出爐:頂尖AI全線表現不佳

測試結果讓人既意外又在意料之中。

在中立模式下,表現最好的豆包Seed-2.0-Pro端到端準確率也只有43.1%,Gemini-3.1-Pro達到40.8%,大多數其他模型都在40%以下。MiniMax-M2.7和Qwen-3.6-Max分別只有16.1%和12.3%。換句話說,即便是當前最頂尖的AI搜索助手,在面對包含模糊節點的複雜多步問題時,大概有一半到六成的時間都會失手。

切換到引導模式後,整體表現有所提升:端到端準確率從平均28.6%提升到33.7%,關卡通過率從50.1%上升到57.6%,模糊檢測F1分數從45.3%大幅跳升到64.9%。但問題也隨之暴露:引導模式的提升主要集中在"模糊識別"層面,而不是"任務最終完成"層面。比如Claude-Opus-4.7在引導模式下關卡通過率提高了,但最終準確率卻略有下降,說明它雖然提出了更多澄清問題,但這些互動並沒有真正幫助它把整條推理鏈跑完。

研究團隊還發現了一個特別值得關注的現象:工具調用次數越多,並不等於表現越好。Claude-Opus-4.7在所有模型中搜索次數排名靠前,但最終準確率卻比豆包和Gemini都低。而一些表現糟糕的模型,搜索次數同樣很多,卻依然在最終答案上一塌糊塗。這說明DISCOBENCH確實不獎勵"蠻力搜索",真正有價值的是在正確的時刻做出正確的決策。

七、"何時該問"和"怎麼問"是兩回事

研究中最有意思的發現之一,是"識別模糊"和"有效澄清"居然是兩種完全獨立的能力,高手在前者未必能在後者上同樣出色。

Qwen-3.6-Max就是一個極端案例。在中立模式下,它的模糊檢測F1分數只有可憐的16%,每道題平均只提了0.07次問題,基本上就是不問。但一旦它開口提問,命中率非常高:CE-A(問題準確率)高達94.7%,CE-B(澄清後推進率)也有89.5%。簡單來說,它很少覺得"有必要問",但每次認為需要問的時候,都能問到點上。

MiniMax-M2.7則剛好相反。它提問的頻率不低(中立/引導模式下平均0.61/1.10次),但CE-B只有60.7%/66.5%,意味著它經常問了也沒用,要麼沒把問題聚焦到關鍵資訊上,要麼得到線索後仍然沒能正確推進。

這個發現對AI系統的設計具有重要的實踐意義:你需要同時訓練兩種不同的能力,不能以為把其中一種練好了就萬事大吉。

八、行為模式分析:四種典型的"搜索性格"

為了更細緻地理解各模型的行為差異,研究團隊把AI在每個模糊節點上的行為軌跡歸納為四種"性格類型"。

第一種叫"直接猜答案"(DirectGuess):搜了很少幾次(不超過3次)就直接給出答案,從不提問。第二種叫"搜了又搜再猜"(SearchHeavyGuess):搜索次數很多(超過3次閾值),但最終還是自己猜,從不提問。第三種叫"不搜直接問"(DirectAsk):在搜索之前就直接向用戶提問。第四種叫"先搜再問"(SearchThenAsk):先通過搜索收集資訊,發現多個候選或資訊不足時再向用戶提問。

從測試結果來看,"先搜再問"策略的成功率壓倒性地高於其他三種,平均通過率高達93.4%,而"直接猜答案"只有56.5%,"搜了又搜再猜"更低,只有51.9%。

這裡有一個反直覺的結論值得單獨拿出來說:搜索次數最多的"搜了又搜再猜",表現居然比"直接猜答案"還要差。為什麼?研究者的解釋很有說服力:當一個模型搜索了很多次還沒找到唯一答案時,往往說明它其實已經意識到存在多個候選了,但它沒能把這種不確定性轉化為"向用戶提問"的行動,而是選擇繼續搜索或者硬猜。這種行為浪費了大量資源,最終結果還不如乾脆一開始就猜。反觀"直接猜答案"的模型,它們雖然也猜,但至少快速結束了無效循環。這個發現揭示了一個在當前AI設計中極為普遍卻少有人關注的失效模式:過多的搜索行為有時是對已察覺但未表達出來的不確定性的一種消極應對方式。

九、模型越強、難題越難,模糊越隱蔽越危險

研究還對不同難度級別和不同模糊類型進行了交叉分析,得到了幾條值得關注的規律。

從難度分級來看,隨著模糊節點數量從1個(簡單)增加到2個(中等)再到3個(困難),幾乎所有模型的準確率都呈現明顯的下降趨勢。以豆包Seed-2.0-Pro高推理模式為例,簡單題的準確率是65.9%,中等題降到45.1%,困難題只剩29.4%。即便是表現最好的模型,也無法逃脫這個規律。這說明模糊的積累效應是真實存在的,一旦推理鏈上出現多個模糊節點,就算每個節點單獨處理還勉強可以,疊加在一起就會造成系統性崩潰。

從模糊類型來看,事實錯誤類的檢測率相對較高,因為"找不到"本身就是一個強烈的警告信號。實體模糊和標準模糊則明顯更難被察覺,因為搜索結果里確實能找到內容,AI容易被這種"假成功"麻痹,誤以為自己找到了正確答案。

從推理努力程度來看,研究團隊還額外測試了不同"思考力度"對結果的影響,以豆包為例,把推理努力級別從中等提升到高等後,平均得分從45.7%跳升到54.0%,模糊回憶率從37.2%提升到47.3%,提升幅度甚至大於在正常關卡通過率上的提升。這表明更強的推理能力主要幫助模型更好地識別"自己處於模糊狀態",從而更積極地尋求澄清。但即便在最高推理力度下,準確率仍然不到45%,模糊回憶率也沒能突破50%,說明這不是一個光靠"想更多"就能解決的問題。

說到底,這項研究揭示的是當前AI搜索助手設計中一個相當根本性的缺口。當下的技術路線把大量精力放在"能不能搜到答案"上,卻幾乎沒有認真對待"知道自己什麼時候搜不清楚"這件事。當AI面對一個說不清楚的問題時,它的本能反應是繼續搜索,而不是停下來問一句。這在處理簡單問題時還好,但在多步驟深度推理任務中,這種本能會導致災難性的錯誤傳播。

DISCOBENCH這個測試基準的價值正在於此——它用211道精心設計的題目,把這個問題的嚴重程度量化了出來,並且為未來的研究者提供了一個可以持續改進的評估平台。對於普通用戶而言,這意味著在可預見的未來,當你使用AI助手處理複雜的多步驟資訊查詢任務時,最好在一開始就把條件說得儘可能清楚,而不是期待AI自己去猜你的意思。因為即便是今天最強的AI,在"察覺自己不知道"這件事上,還遠沒有你想像的那麼聰明。

這項研究讓人忍不住反思:或許我們在評價AI有多聰明的時候,一直用錯了衡量標準。能找到答案,只是最基礎的能力;知道什麼時候自己還沒準備好回答,才是真正的智識成熟。有興趣深入了解這套測試體系和實驗細節的讀者,可以通過論文編號arXiv:2606.27669在arxiv.org上找到完整原文。

Q&A

Q1:DISCOBENCH測試的是AI搜索助手的什麼能力?

A:DISCOBENCH專門測試AI搜索智能體在面對模糊、不明確或事實有誤的用戶問題時,能不能主動識別出問題說不清楚,並在合適的時候向用戶提問來獲取關鍵線索,而不是盲目猜答案或無休止地重複搜索。它覆蓋實體模糊、版本模糊、標準模糊和事實錯誤四種類型,共211個測試樣本。

Q2:為什麼AI搜索助手搜索次數越多反而表現越差?

A:研究發現,當AI搜索了很多次仍找不到唯一答案時,往往說明它已經隱約意識到存在多個候選結果,但它沒有把這種不確定性轉化為"向用戶提問"的行動,而是繼續無效搜索或最終硬猜。這種行為浪費大量資源,結果卻比一開始就直接猜還要糟糕,因為直接猜至少快速結束了無效循環。

Q3:DISCOBENCH發現當前最強AI的端到端準確率有多高?

A:在不給任何提示的"中立模式"下,表現最好的豆包Seed-2.0-Pro準確率只有43.1%,Gemini-3.1-Pro達到40.8%,大多數模型低於40%,最弱的Qwen-3.6-Max只有12.3%。即便切換到明確提示"注意模糊問題"的引導模式,整體平均準確率也只從28.6%提升到33.7%,說明當前AI在這項能力上仍存在顯著短板。

宅中地 - Facebook 分享 宅中地 - Twitter 分享 宅中地 - Whatsapp 分享 宅中地 - Line 分享
相關內容
Copyright ©2026 | 服務條款 | DMCA | 聯絡我們
宅中地 - 每日更新