當大語言模型答錯事實性問題時，究竟是因為從未學過這個知識，還是學過但無法提取？一套名為"知識畫像
"的分析框架給出了答案：前沿大語言模型幾乎編碼了所有事實，真正的瓶頸在於知識召回。
事實準確性是大語言模型可靠性的基礎。當模型回答事實性問題出錯時，原因可能有兩種：要麼這個事實從未被編碼進模型參數，要麼已經編碼但無法被提取。標準的準確率指標將這兩種情況混為一談，但它們背後的問題截然不同，對應的解決思路也大相徑庭。編碼失敗意味著需要擴大模型規模或拓展訓練數據覆蓋範圍，而召回失敗則指向另一類方向——通過訓練後優化和推理階段的方法，幫助大語言模型更好地利用已編碼的知識。
在《空架子還是丟失的鑰匙？召回率才是參數化事實性的瓶頸》這篇論文中，研究團隊提出了"知識畫像"這一行為分析框架，用於同時衡量編碼和召回能力，並以此診斷前沿大語言模型（如Gemini 3和GPT-5）在事實性上的核心瓶頸。研究發現，前沿大語言模型中的大量事實錯誤，更像是"鑰匙丟了"（召回失敗），而非"架子是空的"（編碼失敗）。
用一個比喻來說明：編碼對應事實的參數化儲存，召回對應無需外部提示獨立提取已編碼事實，識別則是指在給定備選項時辨認出正確答案。為支撐這一分析，研究團隊構建了WikiProfile基準數據集，包含2150個源自維基百科的事實，每個事實配有10道題，分別探測編碼、召回與識別能力。
知識畫像將分析單元從單個問題轉移到事實本身。它不再問"模型有沒有答對這道題"，而是問一個更宏觀的問題：這個事實目前處於什麼狀態？研究將每個事實歸入五類知識畫像：（1）編碼失敗；（2）召回失敗；（3）直接召回；（4）經思考後召回；（5）無編碼推理。這五類畫像比單題準確率提供了更有價值的診斷資訊。
分類依據是該事實是否被編碼，以及其可及性如何：是無法召回、可以直接召回，還是只能藉助"思考"過程（即在輸出答案前激活中間計算步驟，包括思維鏈提示和針對思考優化的大語言模型）才能召回。
為落地知識畫像方法，研究團隊構建了WikiProfile基準數據集，旨在針對真實存在的自然事實衡量模型的事實性表現。該數據集通過全自動流水線生成，底層使用帶思考模式的Gemini-2.5-Pro，提示詞經過在小型留出集上的人工優化。研究從維基百科頁面中提取候選事實——即涉及一對有序實體（主體與客體）的命題，且主體在文檔中先於客體出現。每個事實配套10項任務：2項用於編碼測試、4項用於知識評估、4項用於識別（多選題形式）。
問題生成採用三步流程：生成、精煉、過濾，確保每道題無歧義、指向明確、表述精簡且答案唯一。所有問題經搜尋引擎輔助過濾，凡返回多個答案或需要進一步澄清的情況均予以剔除。經過自動過濾和人工最終驗證，數據集最終包含2150個事實。
研究共評估了13個大語言模型，每個模型分別在有/無思考模式下進行測試。針對每個模型、每個事實和每項任務，各採樣8次回復，由大語言模型自動評分，共產生約450萬條響應。
在前沿大語言模型（Gemini-2.5-Pro、Gemini-3-Pro、Gemini-3 Flash、GPT-5）中，事實編碼接近飽和，但召回遠未達到同等水平。對於Gemini-3-Pro和GPT-5，95%至98%的事實已被編碼，但這些模型仍有26%至34%的事實無法被直接召回。即便開啟思考模式，仍有11%至12%的事實無法召回。這意味著在前沿模型中，事實性錯誤越來越多地來自於"知識已儲存但無法可靠提取"，而非"知識根本不存在"。換句話說，瓶頸正從知識獲取轉向知識利用。
規模擴展也印證了這一規律。在Gemma 3系列模型中，更大的模型編碼失敗率大幅降低，但召回失敗依然顯著，且在剩餘錯誤中占比更高。擴大規模更多地提升了模型的儲存能力，而非提取能力。
研究結果表明，召回與事實被學習時的具體條件密切相關。當查詢與訓練時遇到該事實的上下文、表述方式或順序存在偏差時，召回就會變得更加困難。以下兩種情形尤為突出。
此前研究表明，大語言模型在處理長尾（低頻）事實時表現較差，通常將其歸因於模型容量不足。本研究給出了一個互補的視角：對比低熱度與高熱度事實，兩者的編碼率相差不大，差距較小；但召回率的差距則要大得多。這重新界定了長尾問題的本質：許多低頻事實並非不存在於模型參數中，而是存在了卻難以被提取。瓶頸已從知識獲取轉移到了知識利用。
研究還重新審視了"反轉詛咒"現象——即大語言模型知道"A是B"，卻無法回答"B是什麼"。乍看之下，這似乎說明大語言模型缺乏雙向知識。但本研究的結果對此提出了修正。在開放式生成（即召回）任務中，反向問題始終比正向問題更難；而在多選題驗證（即識別）任務中，反向問題並不比正向問題更難，甚至往往更容易。這種分離現象意義重大：如果模型在面對干擾項時能認出正確答案，卻無法在反向查詢中生成該答案，那麼問題並不在於雙向知識缺失，而在於該事實雖已編碼、甚至可以被識別，卻難以在查詢方向與訓練時相反的情況下被召回。"反轉詛咒"本質上是一個召回問題。
接下來，研究聚焦於"思考"是否能夠幫助恢復那些原本無法提取的知識。結果表明，思考在直接召回最薄弱的地方提升效果最為顯著，對低頻事實和反向問題的改善尤為突出，有效縮小了熱度差距和方向性差距。
具體而言，在針對思考優化的模型中，思考過程能夠恢復約40%至65%已編碼但未能直接召回的事實；相比之下，對於未編碼的事實，思考的幫助則小得多。這一規律表明，思考主要作為一種召回輔助機制發揮作用——它幫助模型提取已編碼的知識，而非主要通過複雜的多步推理推導答案。當然，思考並非沒有代價，它帶來了額外的計算開銷，且何時應該觸發思考機制目前仍不明確。
知識畫像框架使我們能夠精準診斷大語言模型的事實性行為。將這一方法應用於維基百科事實後，研究結果提示我們應當轉變對前沿大語言模型事實錯誤的認知方式。如果編碼已接近飽和，那麼進一步提升事實性表現，可能不再主要依賴擴大規模（無論是模型大小還是數據量）。研究證明，思考能夠恢復相當比例的"已編碼但未直接召回"事實，這表明事實性的下一輪進步，或許不會來自更好的知識獲取，而將來自對模型已有知識的更好利用。
Q&A
Q1：知識畫像框架是什麼？它是怎麼分析大語言模型的？
A：知識畫像是一種行為分析框架，將每個事實的狀態分為五類：編碼失敗、召回失敗、直接召回、經思考後召回、無編碼推理。它不再只看模型答沒答對某道題，而是追問這個事實在模型中處於什麼狀態。藉助WikiProfile基準數據集（2150個維基百科事實，每個配10道題），研究可以同時衡量模型的編碼與召回能力，從而更精準地定位事實錯誤的根源。
Q2：前沿大語言模型事實出錯主要是因為沒學過，還是學了但想不起來？
A：主要是"學了但想不起來"。研究發現，Gemini-3-Pro和GPT-5已編碼了95%至98%的事實，但仍有26%至34%的事實無法被直接召回。即使開啟思考模式，仍有11%至12%無法召回。這說明前沿模型的主要瓶頸不是知識缺失，而是知識無法被可靠提取，即召回失敗。
Q3："反轉詛咒"到底是知識缺失的問題還是召回的問題？
A：是召回問題。研究發現，在多選題驗證任務中，反向問題（如"B是什麼？"）並不比正向問題更難，說明模型其實"認識"這個答案；但在開放式生成任務中，反向問題的召回率明顯更低。這種分離說明，雙向知識已經編碼進模型，只是當查詢方向與訓練時相反時，知識難以被提取，而非根本不存在。
