這項由香港科技大學（廣州）與香港科技大學聯合開展的研究，以預印本形式發布於2026年7月，論文編號為arXiv:2607.08393。研究聚焦於大型語言模型在微調過程中一個長期被忽視的核心矛盾：模型明明已經"記住"了新知識，為什麼在真正需要用到這些知識的時候卻屢屢失手？
每次打開新聞，都能看到關於大型語言模型（也就是ChatGPT、文心一言這類AI助手背後的技術）有多神通廣大的報道。但在這些光鮮的能力背後，隱藏著一個讓研究者頭疼多年的奇怪現象：當你試圖讓AI學習全新的知識時，它能很快"背下來"，但一旦需要真正"用起來"，它卻常常犯錯，甚至完全不會。
這種感覺，就像是有個學生在考前死記硬背了所有的地理知識——他能流利地背出"雪梨位於澳大利亞"，也能背出"澳大利亞的首都是坎培拉"。但當你問他"雪梨所在國家的首都是哪裡"時，他卻一臉茫然，完全無法把兩條記憶串聯起來使用。香港科技大學的研究團隊把這種奇特的困境命名為"知用鴻溝"（Knowing–Using Gap），並用嚴謹的實驗和一套全新的診斷工具，第一次從AI內部的運作機制角度，說清楚了這個問題究竟是怎麼發生的。
一、那個讓所有AI研究者都頭疼的問題
要理解這項研究的價值，首先得明白大型語言模型是如何"學新東西"的。當AI在出廠之後需要掌握某些特定領域的新知識——比如最新的生物醫學發現、最新的學術論文內容——工程師通常會採用一種叫做"微調"（fine-tuning）的方式，把新知識"餵"給模型，讓它反覆學習，直到能夠正確回答相關問題為止。
這個過程乍看起來很順暢：模型很快就能在直接提問時給出正確答案，比如"ABCC11基因轉運哪種藥物？"答："普羅磺舒"。研究人員把這種能力叫做"記憶"（memorization）——模型把知識點記住了。然而，當問題稍微複雜一點，需要把多條知識串起來推理時，比如"ABCC11基因轉運的那種藥物的副作用是什麼？"，模型就開始頻繁出錯，甚至完全答不上來。研究人員把這種能力叫做"泛化"（generalization）——把學到的知識靈活運用到新場景。
記憶和泛化之間的差距，就是"知用鴻溝"。這個鴻溝體現在兩個維度上。其一是準確度上的落差：在訓練結束時，模型記憶知識的準確率接近100%，但在需要推理的任務上，準確率可能只有7%到18%。其二是時間上的滯後：模型通常在訓練早期就能記住知識，但要等到更多輪訓練之後才可能開始會用——有時候甚至永遠都學不會用。在研究團隊測試的具體實驗裡，記憶任務平均在第10輪訓練時就飽和了，而泛化任務平均要到第15輪才出現，中間相差約5輪，而且最終準確率依然遠低於記憶任務。
更令人沮喪的是，這個問題並不會因為模型變大或者訓練數據變多而消失。研究團隊對從1.5億參數到80億參數的多個模型都做了測試，發現不管模型多大，"知用鴻溝"始終存在。向模型注入更多新知識，反而還會讓這個準確率差距進一步擴大——好像記憶的倉庫越塞越滿，但真正能靈活調用的貨物卻沒有相應增多。
二、從兩個不同的考捲來量化這道鴻溝
為了嚴謹地研究這個問題，研究團隊首先需要設計一套合適的測試方案。他們從一個名為STaRK的真實世界知識庫中提取了數據，分別使用了生物醫學領域（STaRK-Prime）和學術文獻領域（STaRK-MAG）的數據，確保研究結論能跨領域成立。
在使用這些數據之前，團隊做了一個關鍵的驗證：在沒有任何訓練的情況下，讓六款主流大型語言模型去回答這些知識問題。結果顯示，所有模型的得分都低於6%，接近隨機猜測的水平。這說明這些知識對於模型來說是真正"陌生"的，排除了模型事先就已經知道答案的可能性。
接下來，他們設計了兩種類型的"考卷"。第一種叫做"記憶任務"，就是直接考單條知識：給出頭部實體和關係，讓模型說出尾部實體。比如，"IGFBP3蛋白靶向的藥物是什麼？"這類問題，模型只需要用一條記憶就能回答。第二種叫做"泛化任務"，分為"鏈式推理"和"交叉推理"兩種形式。
鏈式推理需要把兩條知識接龍：比如先知道"胚胎中表達哪個蛋白"（答案是IGFBP3），再知道"哪種藥物靶向IGFBP3"（答案是美卡舍明），然後才能回答"靶向在胚胎中表達的蛋白的藥物是什麼"。這就要求模型不僅要分別記住兩條知識，還要能把它們串起來用。交叉推理則是要在多條知識中尋找共同點：比如同時知道"與神經膠質瘤相關的暴露因素"和"與甲狀腺功能減退症相關的暴露因素"，然後找出兩者共同關聯的那個暴露因素——三氟林，同時還有一些無關的"噪音"知識干擾判斷。
實驗結果相當清晰。在鏈式推理任務上，"知用鴻溝"最為顯著：記憶準確率接近完美，但泛化準確率只有7%到18%，時間差達到約5輪訓練。在交叉推理任務上，情況好一些，因為這類任務的答案有時候和記憶任務的答案重疊，推理難度相對較低，時間差只有約0.6到1輪，最終準確率也高得多。
此外，全量微調（即對整個模型所有參數進行訓練）和參數高效微調（LoRA，一種只訓練少數額外參數的方法）的對比也很有意思：全量微調確實讓模型記憶得更快，但並不能幫助模型更快或更好地泛化。在交叉推理任務上，全量微調甚至讓泛化出現得更晚，鴻溝反而更大。這說明，記憶和泛化之間的斷裂，並不是簡單地靠"訓練力度更強"就能彌合的。
三、AI的"大腦內部"到底發生了什麼
既然知道了問題的存在，研究團隊接下來要做的，是打開這個"黑箱"，看看AI內部到底在哪裡卡住了。他們設計了一種叫做"自補丁"（self-patching）的全新診斷工具，這也是這篇論文最具創意的技術貢獻。
可以用一個圖書館的比喻來理解自補丁的工作原理。一座大型圖書館（也就是AI模型）有很多層樓，每層樓存放著不同類型的資訊處理能力。知識就像書本，被放在某些樓層。當有人來查資料（也就是AI被問問題時），圖書館員工需要先找到存放相關書本的樓層，把書取出來，然後帶到處理閱覽的樓層（通常是中間某幾層）供使用。"自補丁"做的事情，就是模擬"手動把書從A樓層搬到B樓層"這個動作，然後觀察：這本書放在B樓層之後，能不能幫助圖書館員工查到正確答案？
具體來說，自補丁的操作是這樣的：選定一個"錨定位置"（通常是問題中提到的關鍵實體，比如某個基因名稱）在AI某一層的內部表示；把這個內部表示從源層複製到目標層；然後讓AI繼續從目標層往後運算，看最終答案是否從錯誤變成了正確。通過系統地掃描所有可能的源層和目標層組合，就能畫出一張"熱力圖"，標示出哪些層包含了有效資訊、這些資訊被搬到哪些層之後能觸發正確推理。
與此同時，研究團隊還把自補丁和兩種現有的類似工具做了比較，以說明其獨特價值。現有的"因果追蹤"（causal tracing）方法需要先有一個"正確答案的運算軌跡"作為參照，然後通過破壞這個軌跡來找出關鍵位置——但如果模型本來就答錯了，這個方法根本無從入手。另一種叫做"補丁鏡"（PatchScope）的工具則是用來解讀AI內部某層的表示"代表什麼意思"，側重於理解資訊內容，而不是測試資訊能否被用於推理。自補丁恰好彌補了這兩者的空白：它不需要正確軌跡，可以直接作用於失敗的案例；它關注的也不是資訊內容，而是資訊在計算流程中的"可用性"。這對於研究泛化失敗的案例來說，正是所需要的工具。
四、知識在AI內部的"漂移旅程"
用自補丁工具掃描訓練過程中每個檢查點，研究團隊得到了一系列動態熱力圖，直觀展示了知識是如何在訓練過程中逐漸在AI內部"滲透"的。這個過程分三個階段，非常有規律。
在知識還沒有被記住的早期訓練階段，熱力圖幾乎全是藍色——意味著不管把哪一層的表示搬到哪裡，都無法幫助模型給出正確答案。這說明此時相關知識根本還沒有被編碼進模型內部。
當訓練進展到記憶剛剛飽和的時刻，情況發生了顯著變化：熱力圖上出現了明顯的"紅色區域"，但這些紅色區域是偏離對角線的。對角線代表什麼意思呢？當某個單元格的行索引（源層）等於列索引（目標層）時，就說明那一層本來就自然包含正確資訊，不需要任何搬運就能給出正確答案。偏離對角線的紅色單元格則意味著：知識已經存在於某些層了，但是只有當你把這些層的表示"強行搬運"到另一些特定層時，它才能被有效利用。換句話說，知識雖然已經被儲存下來了，但存錯地方了——它在"書庫"里，卻沒有擺到"閱覽室"里。
隨著訓練繼續進行，紅色區域開始向熱力圖的對角線方向"蔓延"。在最終成功泛化的案例中，紅色區域會最終覆蓋到對角線，意味著那些層已經自然地包含了可以直接使用的知識，不再需要強行搬運。而在最終失敗的案例中，紅色區域雖然也在擴展，但始終無法觸及對角線，止步於此。這是因為，一旦記憶任務的損失函數（loss）降到很低，模型就幾乎不再有梯度信號來驅動進一步的內部重組，訓練動力就"熄火"了，知識就這樣被永久性地"困"在了錯誤的層里。
五、知識被困在了AI的哪裡，又該怎麼解救它
"自補丁"的熱力圖不僅揭示了問題的存在，還告訴了我們知識具體被困在哪裡，以及需要被送往哪裡。研究團隊分析了大量熱力圖中效果最好的"搬運路線"，發現了一個驚人的規律：有效的搬運路線呈現出兩個明顯的集群。
第一個集群是從"晚層"搬到"中層"。這個方向不難理解——模型的晚層（靠近輸出的那些層）往往匯聚了更豐富的語義資訊，把這些資訊向前拉到中層，讓中層的推理計算能"看到"這些資訊，是有效的。第二個集群則更加出人意料：從"早層"搬到"中層"同樣有效。這說明，知識在剛剛被注入時，有一部分編碼在了早層（靠近輸入的那些層），而這些早層的知識在自然的前向傳播中沒能傳遞到中層，被過濾或者忽視了。一旦人工把它送到中層，同樣能激活正確推理。而向晚層搬運（也就是把資訊送到更靠後的層）則幾乎沒有任何效果——這與領域裡已有研究相吻合：在推理的晚期階段，計算注意力已經轉移到最後一個詞語位置，把實體知識塞進去已經來不及影響最終答案了。
知道了這個規律，研究團隊做了一個關鍵實驗：在訓練完全收斂之後（也就是正常微調已經停止的情況下），手動對每個失敗案例找出最有效的搬運路線，然後進行自補丁操作，看能恢復多少泛化準確率。結果非常震撼：在鏈式推理任務上，所有模型、所有數據集的準確率都提升了1.5到6倍；在交叉推理任務上，本來就不大的"知用鴻溝"也幾乎被完全消除了。以Qwen-2.5-7B模型在生物醫學數據集上的鏈式推理任務為例，不做任何干預時準確率只有12.4%，而在"神諭補丁"（oracle patching，即找出最優搬運路線的理想情況）後準確率躍升到50.4%。
這個結果有一個極其重要的含義：泛化失敗，並不是因為模型"沒有"這個知識。知識就在那裡，只是被存放在了無法自然參與推理計算的地方。這是一個路由問題，而不是容量問題。
六、控制實驗：排除其他可能的解釋
當然，嚴謹的科學研究不能只靠一個實驗就下結論。研究團隊還設計了一系列對照實驗，逐一排除其他可能的解釋。
首先是"位置消融實驗"：研究團隊測試了在不同詞語位置進行自補丁的效果。結果發現，在關鍵實體名稱的位置（比如基因名稱"ABCC11"）進行補丁的效果最好，準確率提升達到64%，遠超在隨機位置、句首符號或句尾符號處進行補丁的效果。這證明了自補丁抓住的不是偶然的位置信號，而是確實與知識內容綁定的實體表示。
其次是"提示詞控制實驗"：研究團隊用"思維鏈"（Chain-of-Thought，簡稱CoT）這種已知有效的提示技術來做對比。思維鏈的做法是引導模型一步一步地把推理過程寫出來，而不是直接給出答案。結果顯示，思維鏈確實能提高鏈式推理的準確率，但提升幅度遠低於自補丁：以Qwen-2.5-3B為例，思維鏈把鏈式準確率從11.4%提到了28.8%，而自補丁能達到54.2%。在交叉推理任務上，思維鏈甚至有時候會降低準確率——可能因為強制寫出推理過程反而引入了干擾。
最後是"無關補丁對照實驗"：如果自補丁的效果只是來自"對模型表示做了某種擾動"而不是"傳遞了真正有用的知識"，那麼用一個完全無關的知識的實體表示來做補丁，也應該有類似的提升。實驗結果否定了這個替代假說：用無關知識的表示做補丁，效果遠低於用正確知識的表示做補丁。以Qwen-2.5-1.5B為例，正確補丁準確率44%，無關補丁只有15%。這有力地說明，自補丁的提升效果來自知識本身，而不是任何形式的擾動噪音。
研究團隊還做了一個跨語境的一致性驗證：把從"記憶任務"的提示中提取的實體表示，搬運到"泛化任務"的提示中去。結果發現，有效的源層-目標層組合在兩種不同的提示語境中高度一致，進一步排除了"補丁效果來自某種提示詞捷徑"的可能性。
七、從診斷工具到實用策略
自補丁作為一種"神諭工具"（oracle tool），需要對每個問題逐一搜索最優的搬運路線，這在實際使用中代價太高。更重要的問題是：能否把熱力圖規律轉化成一個不需要逐案搜索的實用策略？
研究團隊給出了一個簡潔而有效的答案。既然有效的搬運路線集中在兩類：從約80%深度的層搬到約50%深度的層（晚層到中層），以及從約10%深度的層搬到約50%深度的層（早層到中層），那就用這兩條固定路線，不做任何逐案搜索，直接應用於所有問題。這個方案被稱為"固定啟發式策略"（Fixed Heuristic）。
結果相當令人鼓舞。在六個不同的模型（三種Qwen系列、三種LLaMA系列）和兩類任務上，固定啟發式策略能恢復神諭補丁效果的58%到75%。以鏈式推理任務的平均數據來看：不做任何干預時準確率為12.1%，神諭補丁達到44.4%，固定啟發式策略達到35.7%——填補了約67%的差距。這個結果證明，"知用鴻溝"不只是一個理論上的問題，它在實踐層面上至少可以部分地被一個簡單的非搜索策略所改善。
八、這一切說明了什麼：一個關於AI內部的新假說
把上述所有實驗結果拼在一起，研究團隊提出了一個統一的解釋框架，稱為"知識-電路錯位假說"（knowledge-circuit misalignment hypothesis）。
在AI內部，處理不同任務需要用到不同的"計算電路"（circuit）——可以把這些電路理解為負責特定功能的神經網路子結構。多跳推理（也就是把多條知識鏈接起來使用）所依賴的推理電路，主要在模型的中間層發揮作用，這一點在之前的獨立研究中已經有所記錄。
微調的過程會讓新知識被編碼進模型的某些層，但這些層不一定是推理電路所在的層。更精確地說，微調傾向於把知識儲存在"容易擬合"的位置——通常是早層或晚層，因為這些層的參數對損失函數最敏感，最容易被訓練調整。一旦記憶任務的損失降到足夠低，梯度就消失了，訓練停止，知識就被"凍結"在了這些位置，而沒有進一步向中層推理電路"滲透"的動力。
這個假說預測了兩件事：第一，在記憶飽和之後，模型內部應該存在包含正確知識但不產生正確推理的"離路"表示；第二，手動把這些表示送到推理計算的有效位置，應該能立即改善泛化。這兩件事，都被自補丁實驗明確證實了。
從這個視角來看，"知用鴻溝"本質上不是知識匱乏的問題，也不是模型容量不夠的問題——它是一個路由問題：知識存在，但沒有被送到正確的地方參與計算。這個視角為解決這個問題指出了一個全新的方向：不應該只關注如何讓模型記住更多，而應該關注如何讓訓練過程能夠把知識對齊到推理所需要的位置。
歸根結底，這項研究揭示的是AI學習過程中一個被忽視的裂縫：記住和會用，是兩件截然不同的事情。就像一個學生能背出所有歷史年代，卻無法用這些知識回答"為什麼某個事件會發生"一樣，大型語言模型在面對需要靈活運用的推理任務時，也會在內部的資訊路由上卡殼。這不是智能不夠的問題，而是知識放錯了地方。
研究團隊設計的自補丁工具，相當於給AI內部做了一次精確的"導航檢查"——找出知識被困在哪裡，驗證搬到正確位置之後能不能正常運作，然後設計了一個簡單的固定策略，在不需要逐案搜索的情況下，就能彌補大部分的泛化差距。
當然，這項研究還有未完成的部分。固定策略和神諭之間仍有差距，說明知識儲存位置存在個體差異，未來需要更自適應的方法。自補丁目前只在單一位置進行干預，而知識可能分散在多個位置，當前的工具可能低估了真正可恢復的上限。此外，研究至今還不能在訓練早期預測哪條知識會失敗泛化，如果能做到這一點，就可以在訓練過程中主動干預，而不是事後補救。
這項研究帶來的最大啟示，也許是對"微調"這一主流知識注入方法的重新認識：提高記憶準確率，並不等於提高了知識的可用性。未來或許需要設計"對齊感知的訓練"（alignment-aware training）——在優化記憶的同時，也明確地將知識推送到推理電路所在的位置，從根本上消除這道鴻溝。有興趣深入了解的讀者，可以通過arXiv:2607.08393查閱完整論文。
Q&A
Q1：大型語言模型微調之後為什麼會出現"記住了但不會用"的現象？
A：根據這項研究的發現，問題出在AI內部的"資訊路由"上。微調訓練會讓新知識被儲存在早層或晚層，但推理計算所依賴的電路主要位於中間層。訓練一旦結束，知識就被"凍結"在了錯誤的位置，無法自然流入推理所需的計算路徑，導致模型能直接回憶知識，卻無法在推理時使用它。
Q2：自補丁（self-patching）技術和普通的激活補丁技術有什麼區別？
A：傳統的激活補丁方法需要先有一條"正確運算軌跡"作為參照，對已經出錯的失敗案例無能為力。自補丁不需要正確軌跡，它直接把AI某一層的實體表示複製到另一層，觀察這個搬運動作能否讓失敗的推理變成成功，因此可以直接用於診斷泛化失敗的案例，這是其核心創新點。
Q3：固定啟發式策略在實際場景中可以直接應用嗎？
A：目前的固定啟發式策略是在推理時手動干預AI的內部表示，屬於後處理手段，還不是可以無縫嵌入普通微調流程的工程化方案。該策略能恢復58%到75%的理論上限，說明有實用潛力，但距離真正的工程落地還需要進一步研究，特別是需要開發能在訓練階段主動對齊知識儲存位置的方法。
