這項由伊利諾伊大學厄巴納-香檳分校、賓夕法尼亞大學、斯坦福大學和Together AI聯合開展的研究，以預印本形式發布於2026年7月，編號為arXiv:2607.00597，有興趣深入了解的讀者可以通過該編號查詢完整論文。
每一個做過學術研究的人，恐怕都有過這樣的體驗：你知道自己想找什麼，但就是說不清楚。你在搜索框裡打下幾個關鍵詞，得到的結果要麼太寬泛，要麼完全跑偏，而你真正想要的那篇論文，往往埋在第五頁的某個角落。更讓人抓狂的是，隨著你對這個話題了解得越來越深，你的需求也在悄悄變化——但搜索框不知道這些，它只知道你最初打的那幾個字。
這就是科學文獻檢索長期以來面臨的根本困境：人的需求是模糊的、會演變的、依賴上下文的，而現有的搜索工具卻是死板的、一次性的、對上下文一無所知的。這篇研究的核心，正是要從根本上改變這種局面。研究團隊提出了一個名為PAPERPILOT的系統，它就像一個真正懂你的研究助理——不僅能搜索，還會提問，會傾聽你的回答，然後把搜索策略調整到和你的真實需求完全對齊。
一、為什麼找論文這件事，比想像中難得多
要理解PAPERPILOT解決的問題，先來看看現有的文獻搜索工具到底卡在哪裡。
現在市面上已經有不少AI輔助的文獻檢索系統，比如LitLLM、PaSa、OpenScholar，還有各種大模型加持的搜索工具。它們的共同模式是：你給一個問題，它給你一堆結果。這種"一問一答"的模式，在學術界有個專業名稱叫"單輪檢索"。
單輪檢索的問題在於，它假設用戶從一開始就能把自己的需求表達得足夠清晰。但實際上，這幾乎不可能。假設你在研究Transformer模型（一種對現代AI影響深遠的神經網路結構），你想找"這篇論文的後續工作"。這句話可以有很多種解讀：你是想找直接引用它的論文？還是在同一應用領域的擴展工作？或者是借用了它某個具體技術模組的論文？抑或是最近兩年發表的、跟上了最新進展的論文？每一種解讀，對應的搜索策略完全不同。
現有系統通常會對這種模糊需求做一個猜測，然後給你結果。運氣好的時候，猜對了；運氣不好的時候，你得到的是一堆似是而非的論文，既浪費時間，又打擊積極性。
研究團隊還指出了另一個深層問題：即使有些系統允許用戶給反饋，比如"這些論文太寬泛了"或者"我需要更新的內容"，系統也只是把這些反饋當成額外的文字扔進檢索詞裡，而不是真正理解這些反饋的含義並修改檢索策略本身。這就好比你告訴廚師"菜太咸了"，廚師的回應不是減少鹽的用量，而是在菜里再加一勺糖——表面上做了調整，實際上根本沒抓住問題所在。
二、PAPERPILOT的核心思路：把搜索變成一張可以修改的施工圖
PAPERPILOT解決這個問題的方式，用一個比喻來說，就是把文獻檢索從"發一封郵件等回復"變成"和建築師一起畫設計圖"。
在傳統的檢索方式里，你提交一個查詢，系統返回結果，這個過程是單向的、不可見的。你不知道系統是怎麼搜的，更沒法告訴它"這一步做錯了，重來"。而PAPERPILOT的做法，是把整個搜索過程變成一張看得見、摸得著、隨時可以修改的"施工圖"。
在技術層面，這張施工圖叫做"有向無環圖"，英文縮寫是DAG。但不用被這個名詞嚇到，它本質上就是一張有順序的流程圖：先做什麼，再做什麼，哪些步驟可以並行，哪些步驟的輸出會作為下一步驟的輸入。
比如，對於"找Transformer的後續工作"這個需求，PAPERPILOT可能會生成這樣一張施工圖：第一步，用"大規模語言建模"這個關鍵詞搜索一批論文；第二步，從原始論文出發，沿著引用關係往後追，找到所有引用了它的論文；第三步，把這兩批論文合併、去重；第四步，用"發表年份晚於2020年"這個條件過濾；第五步，用自然語言理解技術判斷每篇論文是否真正"基於Transformer架構構建"；第六步，給剩餘論文評分；第七步，讓語言模型對最終候選論文重新排序；第八步，輸出結果並提取每篇論文的相關證據。
這張施工圖的每一個方塊都是一個具體的"工具"，每一條連線都代表數據的流向。PAPERPILOT定義了一套完整的工具庫，叫做PAPERPILOT-TOOLSET，涵蓋了關鍵詞搜索、引用關係擴展、集合合併與去重、條件過濾、評分、重排序、關鍵詞生成、證據提取、關係圖構建等十七種操作。每一種工具都有明確的輸入類型和輸出類型，就像樂高積木一樣，只有接口匹配才能拼在一起，保證整個流程的邏輯自洽。
這種"施工圖式"的搜索架構帶來了兩個關鍵優勢：其一，搜索策略完全透明，用戶可以看到系統是怎麼找的；其二，任何一個環節都可以被針對性地修改，用戶的反饋可以精確落地。這就像建築師的設計圖——你可以說"把客廳擴大兩平米"，而不是只能說"感覺哪裡不對但說不清楚"。
三、"邊問邊找"：多輪交互的具體過程
有了這張可修改的施工圖，PAPERPILOT的多輪交互就有了堅實的基礎。
整個交互過程大致是這樣運作的。當用戶提供一篇錨定論文（比如2017年發表的《Attention Is All You Need》，也就是Transformer的原始論文）和一個初始查詢（比如"找這篇論文的後續工作"），PAPERPILOT首先會生成一張初始施工圖，然後暫停下來，向用戶提出澄清問題。
這些問題不是隨意的，而是經過設計的、帶有具體選項的問題。比如"您的關注重點是什麼？——A. 架構方向的改進；B. 預訓練方法；C. 應用領域拓展；D. 所有方向都包含"，以及"您希望的時間範圍是？——A. 所有年份；B. 2020年以後；C. 僅最近兩年"。用戶可以直接選擇選項，也可以輸入自定義回答。
用戶回答之後，PAPERPILOT會根據這些新資訊修改施工圖——可能是添加一個年份過濾節點，可能是修改關鍵詞搜索的參數，可能是調整評分公式的權重，也可能是加入一個基於自然語言理解的過濾步驟來排除特定類型的論文。修改完成後，系統展示更新後的施工圖，並詢問用戶是否滿意，是否需要進一步調整。這個過程可以持續多輪，直到用戶認為施工圖已經準確反映了他的需求，然後系統才正式執行完整的檢索，輸出最終結果。
研究團隊對這種交互模式下的行為分布做了分析，發現了一個很有規律的現象：在最初的幾輪對話里，系統主要在做"搞清楚你要什麼"的工作，發問頻率很高；隨著對話推進到中期，系統開始更多地修改施工圖；到了後期，系統的主要動作就變成"確認並執行"。這個模式表明，PAPERPILOT自然而然地學會了把澄清需求、調整策略和執行檢索分成三個階段來處理，而不是混在一起。
四、怎麼訓練出這樣一個AI助理
訓練PAPERPILOT的過程分兩個階段，可以用培訓一個新員工來類比。
第一階段是"跟著高手學"。研究團隊準備了2,723個訓練案例，覆蓋五種典型的文獻檢索場景：尋找前驅論文（一篇論文參考了哪些更早的工作）、尋找後續論文（有哪些論文在這篇基礎上繼續發展）、尋找同類論文（方法相似但應用不同的工作）、尋找基準數據集相關論文（用於驗證方法的標準測試集），以及尋找綜述論文。
對於每個案例，研究團隊讓一個更強大的教師模型生成完整的搜索軌跡，包括它生成了什麼施工圖、如何回應反饋、最終找到了哪些相關論文。然後，從這些軌跡中篩選出高質量的樣本——判斷標準是在最終結果的前五名里出現了真正相關的論文，同時滿足該檢索方向的特定成功條件。經過這一輪篩選，得到了5,540個高質量的訓練樣本。用這些樣本對PAPERPILOT進行了第一輪訓練（監督微調），讓它學會生成結構正確、邏輯合理的施工圖。
第二階段是"學會辨別好壞"。僅僅學會生成施工圖還不夠，還需要學會哪種施工圖更好。為此，研究團隊對那些成功的施工圖進行了"人為破壞"，引入各種典型錯誤：比如讓某個節點引用了不存在的輸入、遺漏了關鍵的過濾步驟、用了錯誤的工具類型、把日期過濾器的條件搞反了、讓自然語言判斷的維度變得含糊不清等等。這樣就為每個成功案例生成了一個對應的"失敗版本"，形成了1,733對"好-壞"施工圖的對比數據。
然後，在第一階段訓練的基礎上，繼續用一種叫做"偏好優化"的技術來訓練模型，讓它在看到相同的輸入時，學會更傾向於生成"好的"施工圖而不是"壞的"施工圖。這個過程類似於給新員工做對比案例培訓——不只是告訴他什麼是對的，還給他看什麼是錯的，以及為什麼是錯的。
五、實驗結果：數字背後的真實意義
研究團隊在一個精心設計的測試集上對PAPERPILOT進行了評估，測試集包含200個案例，每個案例都有明確的錨定論文、用戶查詢、檢索方向，以及6到15篇經過人工篩選和驗證的"標準答案"論文。
為了讓多輪交互的測試具有可重複性，團隊使用了一個固定的語言模型來扮演用戶——這個模擬用戶可以看到標準答案，但檢索系統看不到。同時，團隊設計了嚴格的防泄漏機制，確保模擬用戶在提供反饋時不會直接暴露答案的內容，只會給出方向性的偏好提示。
評估的核心指標是這樣幾個：Hit@5（在返回的前5篇論文裡，是否至少命中了1篇標準答案）、MRR（第一篇標準答案出現在結果列表的哪個位置，越靠前越好）和nDCG@10（綜合考慮命中數量和排名位置的綜合質量分數）。此外還統計了施工圖執行出錯的比率。
對比結果揭示了幾個清晰的規律。第一，相比固定流程的檢索，自適應施工圖有明顯優勢。以GPT-5.4為例，使用固定流程時單輪檢索的Hit@5是52.0，換成自適應施工圖工具後直接跳到了79.5，MRR也從36.4升至62.8。對於更小的Qwen3.5-9B模型，固定流程的Hit@5是48.5，而使用自適應工具後提升到了69.0。這說明一套死板的檢索流程無法應對多樣化的檢索需求。
第二，多輪交互對已經具備工具使用能力的系統有進一步的提升效果。GPT-5.4加Web搜索在單輪時Hit@5是72.5，經過多輪交互後提升到79.0，MRR從60.2升至65.3。最強的單個配置是GPT-5.4加Web搜索加PAPERPILOT工具集的多輪版本，達到了Hit@5為84.0、Hit@10為87.0、MRR為71.8的成績。
第三，也是最關鍵的一點：經過專門訓練的PAPERPILOT-9B，在多輪交互場景下相比未經訓練的基礎版Qwen3.5-9B有顯著提升。Hit@5從58.0提升到77.0，MRR從47.5提升到59.4，nDCG@10從26.8提升到32.5。更重要的是，施工圖執行出錯率從9.5%降到了0%。未經訓練的9B模型在多輪交互時反而比單輪表現更差，因為它無法正確地根據用戶反饋修改施工圖，經常產生無法執行的結果；而經過訓練後，這個問題被完全解決了。
在成本方面，商業深度研究工具OpenAI DeepResearch每次檢索費用高達6.09美元，而PAPERPILOT-9B每次只需0.018美元，相差約三百多倍，同時PAPERPILOT-9B的檢索質量實際上還超過了OpenAI DeepResearch（Hit@5分別為77.0對72.0）。
六、施工圖本身的質量：用專項測試驗證
除了最終的檢索結果，研究團隊還專門評估了PAPERPILOT生成和修改施工圖的能力本身，這是一項更細粒度的測試。
測試分兩部分。第一部分是"從頭生成施工圖"：給系統完整的對話上下文，讓它直接生成最終應該使用的施工圖，然後和標準答案施工圖做相似度比較。相似度的計算覆蓋整體結構、查詢欄位、過濾條件和函數簽名四個層面。第二部分是"逐步修改施工圖"：給系統當前的施工圖狀態和最新的用戶反饋，讓它輸出修改後的下一版施工圖，評估每次修改的方向是否正確。
在施工圖生成能力上，GPT-5.4的絕對相似度最高（整體餘弦相似度0.70），但成本也最高。PAPERPILOT-9B的絕對相似度是0.36，遠高於基礎版Qwen3.5-9B的0.047，同時每美元能成功生成的施工圖數量是665，遠超GPT-5.4的7個，達到了最優的性價比。
在施工圖修改能力上，PAPERPILOT-9B在添加節點、修改節點和刪除節點三種操作中都優於基礎模型，最終整體施工圖餘弦相似度達到0.9469。尤其在"刪除節點"這類操作上，PAPERPILOT-9B的提升幅度最大，說明訓練幫助系統學會了在接到"把某個步驟去掉"的反饋時，真正按照指令剪掉對應的節點，而不是含混地做出一些無關的修改。
七、搜索範圍越大越好嗎？一個反直覺的發現
研究團隊還做了一個有趣的敏感性分析：如果第一步搜索更多的候選論文，最終結果會不會更好？
直覺上，撒更大的網應該能撈到更多的魚。但實驗結果顯示，事實恰好相反。研究團隊把第一階段候選池的規模從基準值的1倍逐步擴大到2.5倍（對應從約4,500篇候選論文增加到約10,500篇），然後觀察各項檢索指標的變化。
結果發現，大多數指標在基準規模（1到1.25倍）時表現最好，隨著候選池增大，指標普遍下降。以Recall@50為例，基準規模時是0.411，擴大到2.5倍時降到了0.374；Hit@5從0.705降到了0.660。原因在於，候選池增大意味著引入了更多不相關的"干擾論文"，而下游的過濾和重排序步驟的能力是有限的，無法把這些干擾全部清除，反而降低了信噪比。這個發現對於設計文獻檢索系統具有實際的指導意義：更大不等於更好，找到合適的規模比一味擴大搜索範圍更重要。
八、真實用戶怎麼說：人類評測的結果
除了自動化指標，研究團隊還邀請了六位來自不同專業（生物學、社會科學、電腦科學）和不同學術層次（大學生、碩士生、博士生）的志願者，讓他們分別與PAPERPILOT、GPT-5.4和OpenAI DeepResearch各進行五次真實的文獻檢索任務，然後收集主觀評價。
評價維度包括四項：找到滿意論文的比率（成功率）、用戶最想要的論文出現在結果列表第幾位（排名距離，越小越好）、對系統提出的澄清問題的滿意度評分（0到5分），以及需要多少輪交互才能感到滿意。
PAPERPILOT在三項主要指標上全面領先：成功率74.7%，排名距離2.4，問題滿意度4.2分。GPT-5.4的成功率是32.0%，排名距離7.8，問題滿意度2.4分。OpenAI DeepResearch的成功率只有8.0%，排名距離27.4。OpenAI DeepResearch交互輪數最少（平均1輪），但研究團隊特別指出，這是因為它是作為一次性系統評估的，少輪數不等於效率高，而是根本不支持多輪改進。
這些來自真實用戶的數據，和自動化測試的結論高度吻合，也在一定程度上驗證了自動化評估框架的有效性。
說到底，PAPERPILOT代表的是一種對AI輔助工具的全新理解：與其假設用戶能一次性說清自己想要什麼，不如把"弄清楚用戶真正想要什麼"作為整個任務的一部分來處理。這個思路看似簡單，但在技術實現上需要解決一系列複雜問題——如何表示一個可以被編輯的搜索策略、如何把自然語言反饋轉化成對這個策略的精確修改、如何在保證效果的同時控制成本，以及如何在沒有真實用戶的情況下訓練和測試這種能力。
這項研究給出的答案是：用類似施工圖的DAG結構來表示搜索策略，用類型安全的工具庫來保證策略的可執行性，用來自強大教師模型的軌跡數據加上對比偏好優化來訓練執行能力，用帶有防泄漏機制的語言模型來模擬用戶反饋。每一個環節都有其獨特的設計考量。
當然，這項研究也坦誠地列出了自身的局限：工具庫是預先定義好的，可能覆蓋不到所有專業領域的特殊檢索需求；訓練數據來自教師模型，可能繼承教師模型的偏見；目前的測試以電腦科學領域為主，在其他學科的表現還有待驗證；以及模擬用戶無論如何不能完全替代真實用戶的反饋。
這些局限也指向了後續研究可以努力的方向。歸根結底，這項工作讓人看到的是，當AI工具學會主動提問、真正傾聽，並把聽到的內容轉化成可見的、可修改的行動計劃時，人機協作的質量可以達到一個明顯更高的層次。有興趣進一步探索的讀者，可以通過arXiv:2607.00597查閱完整論文和相關代碼。
Q&A
Q1：PAPERPILOT是什麼類型的系統，和普通的論文搜索有什麼區別？
A：PAPERPILOT是一個多輪交互式的科學文獻檢索智能體。與普通搜索系統的根本區別在於，PAPERPILOT不是一次性返回結果，而是先向用戶提出澄清問題，根據用戶回答動態生成並修改一張可執行的搜索"施工圖"（DAG有向無環圖），再執行檢索。普通系統只是把用戶反饋當作額外文字追加到查詢中，PAPERPILOT則會把反饋轉化為對搜索流程結構本身的精確修改。
Q2：PAPERPILOT-9B訓練出錯率降到0%是怎麼做到的？
A：通過兩階段訓練實現。第一階段，用強教師模型生成的5,540個高質量施工圖軌跡進行監督微調，讓模型學會生成結構正確的DAG；第二階段，人為製造1,733對"正確施工圖與錯誤施工圖"的對比數據，通過偏好優化讓模型學會區分好壞。兩階段結合後，模型掌握了生成合法、可執行施工圖的能力，執行出錯率從未訓練時的9.5%降至0%。
Q3：PAPERPILOT的檢索候選池越大，結果會越好嗎？
A：不會。實驗顯示，把第一階段候選論文數量從約4,500篇增加到約10,500篇（擴大2.5倍）後，大多數檢索指標反而下降。以Recall@50為例，從0.411降至0.374。原因是候選池越大，引入的不相關"干擾論文"越多，而下游的過濾和重排序能力有限，無法全部清除干擾，導致整體信噪比下降。最優的候選池規模在基準值的1到1.25倍之間。
