這項由香港大學黃超教授團隊聯合阿里巴巴集團、上海交通大學和香港城市大學共同完成的研究發表於2025年10月，論文編號為arXiv:2510.07861v1，為理解和評估新興的DeepResearch系統提供了全新視角。有興趣深入了解的讀者可以通過該編號在學術資料庫中查詢完整論文。
當下，我們正見證人工智慧從簡單的問答助手向真正的研究夥伴轉變。就像從查字典進化到擁有一個博學的研究助理一樣，這些被稱為DeepResearch的系統能夠獨立完成複雜的研究任務。然而，如何評估這些智能助手的真實能力，一直是個令人頭疼的難題。
考慮這樣一個場景：如果你要評判一個偵探的能力，你不會只看他能否找到單個線索，而是要看他能否將所有線索串聯起來，寫出一份完整的破案報告。同樣的道理，評估DeepResearch系統不能僅僅測試它們回答簡單問題的能力，而應該看它們能否像真正的研究者那樣，收集資訊、分析證據、得出結論，並將這一切整理成一份有條理的研究報告。
傳統的AI評估方法就像考察偵探能否在檔案室找到特定文件，而DeepResearch系統需要的是能夠處理複雜案件、撰寫詳細報告的綜合能力。這就是為什麼香港大學團隊決定通過研究報告來評估這些系統——報告就像偵探的破案總結，能夠全面反映整個調查過程的質量。
研究團隊分析了超過15萬個真實用戶查詢，發現科技類問題占了37.3%，商業經濟類占17.2%，這些領域天然需要系統性的研究方法。用戶提出的不再是"今天天氣如何"這樣的簡單問題，而是"固態鋰電池的產業化現狀如何，相比傳統電池有什麼優勢，面臨哪些挑戰"這樣需要深度調研的複雜問題。
一、像裁判評分一樣給AI報告打分
評估一份AI寫的研究報告，就像給奧運會比賽打分一樣，需要建立標準化的評分體系。研究團隊設計了一套三維度評估框架，每個維度都像比賽中的不同評分項目。
第一個維度是質量評估，這就像評判一場演講的綜合表現。團隊將質量分解為五個具體方面：全面性考察報告是否遺漏重要資訊，就像檢查偵探是否忽略了關鍵線索；連貫性評估報告的邏輯結構是否清晰，像看故事是否講得通順；清晰度檢查語言表達是否流暢準確，如同評判演講者的口才；洞察力判斷報告是否有獨到見解，而非簡單羅列資訊；整體質量則是前四項的綜合印象。
第二個維度是冗餘度評估，這個問題在AI生成的長文本中特別突出。就像一個健談的朋友可能會反覆講同一個故事，AI系統也容易在不同段落中重複相似內容。研究團隊開發了一套巧妙的檢測方法：將報告分解成段落，然後讓AI系統兩兩比較每對段落，判斷它們之間是否存在內容重複。這個過程類似於讓一個公正的第三方逐一檢查證據，確保沒有重複計算。
第三個維度是事實準確性，這可能是最關鍵的評估標準。畢竟，一份充滿錯誤資訊的報告再流暢也沒有價值。研究團隊採用了"證據對照"的方法：將報告中的每個具體聲明與其引用的原始資料進行逐一核對，判斷聲明是否得到充分支持。這個過程就像法庭上的舉證環節，每個論點都需要可靠的證據支撐。
為了確保評估標準的可靠性，研究團隊進行了大量的人機對比實驗。他們邀請專業評估員對120份報告進行評分，然後反覆調整AI評估系統的評分標準，直到兩者的評分高度一致。這個過程類似於培訓新裁判：先讓經驗豐富的老裁判打分，然後根據這些標準答案訓練新裁判，直到他們的判斷基本一致。
最終的測試結果顯示，AI評估系統與人類專家的評分差異極小，在排名一致性測試中達到了61.11%的準確率。這意味著這套評估系統已經具備了相當可靠的判斷能力。
二、四大AI助手的"破案"能力大比拼
研究團隊選擇了四個目前最具代表性的商業化DeepResearch系統進行對比測試：OpenAI、Perplexity、Gemini和Qwen。這就像邀請四位不同風格的偵探來破解同樣的案件，看看他們各自的特長和短板。
測試採用了100個精心設計的查詢問題，涵蓋科技、醫療、商業、政治、歷史等12個不同領域。這些問題都具有典型的研究特徵：需要收集多方面資訊、進行深度分析、得出有價值的結論。
OpenAI系統展現出了均衡的能力特徵。它生成的報告平均長度約6900字，在綜合質量方面表現優異，得分3.28分（滿分4分）。這個系統就像一位經驗豐富的研究員，能夠在各個方面都保持較好的水準，特別是在全面性和洞察力方面表現突出。在事實準確性方面，OpenAI也表現不俗，平均支持率達到71%，說明其引用的證據大多數都是可靠的。
Perplexity系統選擇了一條截然不同的路線——追求簡潔高效。它生成的報告平均只有1245字，是四個系統中最短的。這種設計哲學帶來了明顯的優勢：報告結構清晰（連貫性得分3.60分），表達簡潔明了（清晰度3.46分），冗餘度最低（3.71分）。但這種"極簡主義"也帶來了代價：在全面性（3.16分）和洞察力（2.96分）方面得分相對較低。這就像一位講求效率的偵探，能夠快速抓住要點，但可能會錯過一些微妙的細節。
Gemini系統走的是"詳盡分析"路線，生成的報告平均長度超過9200字，是所有系統中最長的。在全面性方面，它取得了最高分3.65分，說明它確實能夠涵蓋問題的各個方面。然而，過長的篇幅似乎影響了整體質量的把控，綜合質量得分只有2.93分。這種現象揭示了一個有趣的問題：並非越詳細就越好，如何在全面性和可讀性之間找到平衡點是個技術挑戰。
Qwen系統在這次比拼中表現最為突出，在多個關鍵指標上都取得了最高分：全面性3.80分、洞察力3.38分、綜合質量3.54分。報告平均長度約5467字，恰好處在"適中偏詳"的範圍。更令人印象深刻的是，它在事實準確性方面也表現最佳，平均支持率達到69%，完全支持率達到55%。這表明Qwen不僅能夠產生高質量的分析內容，還能確保大部分論斷都有可靠的證據支撐。
從報告長度與質量的關係來看，研究揭示了一個重要發現：並非越長越好，也非越短越好，而是存在一個"最佳長度區間"。過短的報告往往缺乏深度，過長的報告則可能影響可讀性。這就像烹飪一樣，火候的把握至關重要。
三、AI研究助手的三大挑戰
通過深入分析這些系統的表現，研究團隊發現了當前DeepResearch系統面臨的三個核心挑戰，每個挑戰都像是阻礙AI成為完美研究夥伴的技術難題。
第一個挑戰是"查詢精煉的藝術"。就像一個好律師知道如何向證人提出關鍵問題一樣，優秀的研究助手需要能夠將模糊的用戶需求轉化為明確的研究目標。研究團隊通過分析發現，系統在交互階段提出的澄清問題質量，與最終報告質量之間存在顯著的正相關關係。
這個發現其實揭示了一個深層問題：大多數用戶最初的查詢都相當模糊。比如用戶問"我想了解人工智慧"，但實際上可能想知道的是"人工智慧對我的工作有什麼影響"或者"人工智慧的最新技術突破是什麼"。一個優秀的研究助手需要像經驗豐富的圖書館員一樣，通過巧妙的提問幫助用戶明確真正的需求。
第二個挑戰是"搜索思維的轉變"。傳統的搜索系統就像在圖書館找特定的書，目標明確、答案唯一。但研究型搜索更像是在進行一項考古發掘，需要從多個角度收集證據，尋找不同觀點，甚至發現矛盾的資訊。
當前的搜索技術在傳統任務上表現優異，但在研究場景下卻顯得力不從心。研究場景需要的不是"最正確的答案"，而是"多角度的證據收集"。系統需要能夠識別觀點的多樣性，收集相互對立的證據，理解資訊的可信度差異。這就像要求一個習慣了找標準答案的學生，突然去完成一項需要批判性思維的研究作業。
第三個挑戰是"評估體系的局限性"。雖然這項研究通過報告評估取得了突破，但這種方法也有其局限性。就像僅僅看破案報告無法全面了解偵探的工作過程一樣，僅憑最終報告也難以評估系統在中間環節的表現。
研究團隊建議建立更加多元化的評估指標體系。除了報告質量，還應該關注搜索深度（系統查閱了多少資料）、處理速度（完成研究需要多長時間）、工具使用效率（是否合理利用了各種資訊源）等指標。這就像評估一個廚師，不能只看最終的菜品，還要看備菜過程是否規範、時間安排是否合理、食材利用是否充分。
四、智能研究夥伴的未來圖景
這項研究不僅提供了評估現有系統的工具，更為DeepResearch系統的未來發展指明了方向。研究團隊描繪了一幅令人興奮的未來圖景：AI將從被動的資訊檢索工具演進為主動的研究夥伴。
未來的DeepResearch系統將具備更強的主動性。就像一個優秀的研究助理會主動提醒你關注相關的新發現一樣，AI系統將能夠持續跟蹤用戶感興趣的領域，主動推送相關的重要進展。當某個領域出現突破性發現時，系統會第一時間整理相關資訊並推送給用戶。
系統的可信度判斷能力也將大大提升。未來的AI將能夠為每條資訊標註可信度分數，標識可能存在爭議的觀點，甚至主動提醒用戶某些資訊可能過時或存在偏見。這就像擁有一個具備批判性思維的研究夥伴，不會盲目接受所有資訊，而是會幫你識別哪些資訊更可靠。
個性化定製將成為另一個重要發展方向。系統將能夠接入用戶的私有資料庫，利用專業領域的特定工具，根據用戶的研究習慣和偏好調整輸出格式。這就像擁有一個完全了解你工作方式的助手，知道你喜歡看圖表還是文字描述，習慣詳細分析還是要點總結。
說到底，這項研究最重要的貢獻是建立了一套科學、可靠的評估標準。就像有了統一的考試標準才能公平比較學生水平一樣，有了這套評估框架，我們就能客觀地比較不同DeepResearch系統的能力，識別它們的優勢和不足，進而推動整個領域的發展。
研究團隊公開了包含100個查詢問題的標準測試集和相應的評估代碼，這為學術界和產業界提供了寶貴的研究工具。任何想要開發或改進DeepResearch系統的團隊，都可以使用這套標準來測試自己的系統，就像運動員可以使用標準化的訓練設備來提高成績一樣。
更重要的是，這項研究為我們理解AI能力提供了新的視角。它告訴我們，評估AI不應該只看它能否回答問題，而應該看它能否像人類研究者那樣思考問題、收集證據、得出結論。這種評估思路的轉變，對於推動AI向更高層次的智能邁進具有重要意義。
隨著技術的不斷發展，我們有理由相信，DeepResearch系統將在不久的將來成為各行各業不可或缺的智能助手。從學術研究到商業分析，從政策制定到個人決策，這些AI研究夥伴將幫助我們更高效地處理資訊、發現洞察、做出明智決策。而這一切的實現，都離不開像這項研究這樣紮實的基礎工作。
有興趣深入了解這項研究的讀者，可以通過論文編號arXiv:2510.07861v1在相關學術資料庫中查詢完整論文，研究團隊也在GitHub上公開了相關代碼和數據集，為後續研究提供了寶貴的資源。
Q&A
Q1：DeepResearch系統與普通AI助手有什麼區別？
A：DeepResearch系統就像從查字典升級到擁有專業研究助理。普通AI助手主要回答簡單問題，而DeepResearch系統能夠獨立完成複雜研究任務，包括收集多方資訊、深度分析、得出結論並撰寫完整的研究報告，就像真正的研究員那樣工作。
Q2：這套評估框架如何確保評分的準確性？
A：研究團隊採用了類似訓練裁判的方法，先邀請人類專家對120份報告評分，然後反覆調整AI評估系統的標準，直到兩者評分高度一致。最終AI評估系統與人類專家的排名一致性達到61.11%，確保了評估的可靠性。
Q3：四個測試系統中哪個表現最好？
A：Qwen系統在綜合表現上最為出色，在全面性、洞察力、整體質量和事實準確性等多個關鍵指標上都取得最高分。不過每個系統都有自己的特色：Perplexity追求簡潔高效，Gemini注重詳盡分析，OpenAI保持均衡水準，用戶可根據具體需求選擇合適的系統。
