這項由香港科技大學（廣州）深層互學科智能實驗室的楊佳宇、范宇軒、賴松寧等研究員與英國劍橋大學、北京航空航天大學合作完成的研究，發表於2025年10月arXiv預印本平台（論文編號：arXiv:2510.07896v1 [cs.CL]），有興趣深入了解的讀者可以通過該編號查詢完整論文。這項研究首次揭示了人工智慧在進行複雜推理時大腦內部的工作機制，就像破解了一個關於智能的密碼。
設想一下警察破案的場景。當面對一個複雜案件時，警察不能只看最後的證據，而需要追蹤一連串的線索。比如要找到某個嫌疑人的身份，可能需要先通過監控找到他的車牌號，再通過車牌號找到車主資訊，最後確定嫌疑人身份。每一步都要依賴前一步的發現，這就是典型的"多步推理"過程。
現在，人工智慧語言模型也面臨著類似的挑戰。當我們問它"馬克·特朗博的運動項目起源於哪個國家"時，模型需要先知道馬克·特朗博是做什麼運動的，然後再找出那項運動起源於哪裡。這種需要多步驟的推理，對現有的人工智慧來說是個難題。
傳統的人工智慧修改方法就像只會更換最後一個拼圖片的工人。當需要修改模型的知識時，它們只關注最終輸出的部分，卻忽視了中間推理步驟的重要性。這就導致一個問題：當修改了某個知識點後，模型在進行複雜推理時經常出錯，就像一個偵探雖然掌握了新的破案技巧，但在面對需要多步驟分析的複雜案件時仍然束手無策。
研究團隊通過深入分析發現，人工智慧模型的內部工作機制實際上類似於一個複雜的偵探團隊。在這個團隊中，有專門負責提出線索的"查詢神經元"，也有專門存儲和處理資訊的"價值神經元"。當進行複雜推理時，查詢神經元會像經驗豐富的老偵探一樣，依次激活相關的價值神經元，一步步積累證據，最終得出結論。
然而，以往的研究者們並沒有意識到這種精妙的內部協作機制。他們在修改模型知識時，往往只關注那些存儲最終答案的價值神經元，卻忽視了在推理過程中起關鍵作用的查詢神經元。這就像一個警局只更新了檔案室的資料，卻沒有培訓負責查找線索的偵探，結果在處理複雜案件時自然會出現混亂。
為了解決這個問題，研究團隊開發了一種名為ACE（Attribution-Controlled Knowledge Editing，歸因控制知識編輯）的新方法。這種方法的核心思想是同時關注查詢神經元和價值神經元的協作關係，就像同時訓練偵探的推理能力和更新檔案資料一樣。
一、智能模型內部的"偵探網路"是如何工作的
要理解ACE方法的創新之處，我們首先需要了解人工智慧模型內部是如何組織和存儲知識的。研究團隊通過大量實驗發現，這些模型的內部結構就像一個龐大的偵探局，不同類型的知識被存儲在不同的"部門"中。
以地理知識為例，關於國籍、大洲、語言、首都等相關資訊往往被存儲在相鄰的神經元區域中。這種組織方式非常聰明，就像一個井然有序的圖書館，相關主題的書籍都放在同一個書架上。當模型需要回答關於某個國家的問題時，它可以快速定位到存儲地理資訊的區域。
更有趣的是，研究團隊發現這種組織原則在不同的模型中都是一致的。無論是較早的GPT-J模型還是較新的Qwen3-8B模型，它們都遵循著相似的知識存儲規律。這個發現非常重要，因為它揭示了人工智慧模型學習和組織知識的基本原理。
為了驗證這個發現，研究團隊進行了一個巧妙的實驗。他們選擇性地"關閉"了模型中存儲特定語義資訊的神經元，就像暫時封鎖偵探局中某個專門部門一樣。結果顯示，即使只關閉了百分之一的重要神經元，模型在相關問題上的準確率就下降了超過90%。相比之下，隨機關閉相同數量的神經元，準確率只下降了不到10%。這個對比清楚地說明了知識在模型中的有序分布特性。
這個發現的意義非常深遠。它告訴我們，人工智慧模型並不是隨意地將知識散布在整個網路中，而是有著精妙的組織結構。理解這種結構，就像掌握了偵探局的組織架構圖，為後續的知識修改工作奠定了堅實基礎。
二、複雜推理中的"線索傳遞"機制
在了解了模型的知識組織方式之後，研究團隊進一步探索了在進行複雜推理時，資訊是如何在模型內部流動和積累的。這個過程就像偵探破解複雜案件時的線索傳遞過程。
當模型面對一個需要多步推理的問題時，比如"蒂姆·鄧肯從事的運動項目是什麼"，整個推理過程會呈現出非常有規律的模式。首先，與"蒂姆·鄧肯"相關的查詢神經元會被激活，這些神經元就像經驗豐富的偵探，開始搜索相關線索。接著，這些查詢神經元會依次激活存儲著"籃球"、"體育"、"NBA"等資訊的價值神經元。
研究團隊通過詳細分析發現，在這個過程中存在著明確的時序關係。查詢神經元的激活總是比價值神經元早1-2層，這種有序的激活模式確保了資訊能夠準確地傳遞和積累。這就像偵探團隊中，負責提出假設的成員總是先於負責驗證證據的成員行動一樣。
更令人驚訝的是，研究團隊發現不同模型在處理這種資訊傳遞時表現出了有趣的差異。在GPT-J模型中，查詢神經元主要分布在中間層，而價值神經元則集中在較深的層次，兩者之間有著相對固定的距離。這種模式就像傳統的偵探局，有著清晰的等級結構和固定的工作流程。
然而，在更新的Qwen3-8B模型中，情況變得更加複雜和精細。查詢神經元和價值神經元的位置更加靈活，它們之間的關係也更加密切，甚至可能出現部分重疊。這種設計使得資訊處理更加高效，但也對知識修改工作提出了更高的要求。
為了驗證查詢神經元在推理過程中的重要作用，研究團隊進行了精確的干預實驗。他們選擇性地移除了在兩步推理任務中最活躍的100個查詢神經元，結果模型的性能分別下降了46.2%和61.9%。同時，後續價值神經元的激活數量也急劇減少，從原來的(28,16,33)個下降到僅有(6,4,7)個。這個實驗清楚地證明了查詢神經元在協調整個推理過程中的核心作用。
三、傳統方法的局限性與ACE的創新突破
了解了模型內部的工作機制後，我們就能明白為什麼傳統的知識編輯方法在處理複雜推理任務時會失效。這些方法就像只會更換檔案資料的文員，雖然能夠更新存儲的資訊，卻無法調整偵探們的推理方式。
傳統方法主要關注模型的輸出層或接近輸出層的神經元，認為這些位置存儲著最終的答案。雖然這種想法在處理簡單問題時是有效的，但當面對需要多步推理的複雜問題時就顯得力不從心了。因為複雜推理不僅需要正確的最終答案，更需要正確的推理路徑。
舉個具體例子來說明這個問題。假設我們需要修改模型中關於馬克·特朗博的資訊，將他的運動項目從"籃球"改為"足球"。傳統方法可能成功地讓模型記住"馬克·特朗博從事足球運動"這個新資訊。但是，當我們問"馬克·特朗博的運動項目起源於哪個國家"時，模型可能仍然會給出"美國"這個答案，而不是正確的"英國"。
這是因為傳統方法只修改了存儲最終答案的價值神經元，卻沒有調整負責推理過程的查詢神經元。當模型進行推理時，查詢神經元仍然按照舊的模式工作，無法正確地激活與"足球"相關的價值神經元。這就像一個偵探雖然拿到了新的檔案資料，但仍然用著舊的推理方法，自然無法得出正確的結論。
ACE方法的創新之處就在於它同時關注了查詢神經元和價值神經元的協作關係。這種方法分為兩個主要階段：識別關鍵神經元和精確編輯。
在識別階段，ACE使用一種叫做"歸因分析"的技術來找出在特定推理任務中最重要的查詢神經元和價值神經元。這個過程就像繪製偵探局的權力結構圖，明確哪些偵探在處理特定類型案件時發揮關鍵作用，哪些檔案室存儲著相關的重要資訊。
在編輯階段，ACE不僅會更新價值神經元中存儲的資訊，還會調整查詢神經元的行為模式，確保它們能夠正確地激活新的價值神經元。這就像同時更新檔案資料和重新訓練偵探的推理方法，確保整個系統能夠協調工作。
四、實驗驗證：ACE方法的卓越表現
為了驗證ACE方法的有效性，研究團隊在多個具有挑戰性的數據集上進行了全面的測試。這些實驗就像為不同的偵探團隊安排各種複雜案件，看看他們的破案能力如何。
實驗使用的主要數據集是MQuAKE-3K，這是一個專門設計來測試模型多步推理能力的基準。這個數據集包含了超過3000個需要多步推理的問題，每個問題都像一個需要追蹤多條線索才能解決的複雜案件。
研究團隊將ACE方法與多種現有的知識編輯方法進行了對比。這些傳統方法包括直接微調（FT）、ROME、MEMIT和PMET等。實驗結果令人印象深刻：在GPT-J模型上，ACE方法比當前最佳的PMET方法提高了9.44%的準確率；在更新的Qwen3-8B模型上，改進幅度更是達到了驚人的37.46%。
這種顯著的性能提升在各種複雜程度的問題上都有體現。當需要編輯的知識點數量增加時，傳統方法的性能通常會急劇下降，就像偵探在面對越來越複雜的案件時變得越來越困惑。而ACE方法的性能下降則相對平緩，展現出了更好的穩定性和魯棒性。
為了更深入地理解ACE方法的工作原理，研究團隊進行了詳細的消融實驗。這些實驗就像逐步拆解一台精密機器的各個部件，看看每個部分對整體性能的貢獻。
實驗結果顯示，當研究團隊跳過對查詢神經元的編輯時，模型性能下降了16.51%。而當跳過對價值神經元的編輯時，性能下降更是達到了40.45%。這個結果清楚地表明了兩種類型神經元在ACE方法中的重要性，同時也證實了價值神經元在存儲具體知識方面的關鍵作用。
特別值得注意的是，研究團隊還發現了不同模型在處理複雜推理時的有趣差異。GPT-J模型表現出相對固定的神經元組織模式，查詢神經元和價值神經元之間有著穩定的層級關係。而Qwen3-8B模型則展現出更加靈活和精細的激活模式，不同領域的知識可能激活不同位置的神經元組合。
這種發現對於理解人工智慧模型的發展趨勢具有重要意義。它表明，隨著模型變得更加複雜和強大，它們的內部組織結構也變得更加精細和靈活。這就像從傳統的等級制偵探局發展到現代的網路化協作團隊。
五、深入案例分析：神經元的精妙協作
為了更直觀地展示ACE方法的工作原理，研究團隊選擇了一個具體的例子進行了深入分析。這個例子是關於籃球明星蒂姆·鄧肯的簡單問題："蒂姆·鄧肯從事的運動項目是什麼？"
雖然這看起來是一個簡單的問題，但模型內部的處理過程卻相當複雜。研究團隊通過逐步追蹤發現，當模型處理"蒂姆·鄧肯從事運動"這個短語時，不同位置的詞語會激發不同程度的神經元活動。
在處理"鄧肯"這個詞時，模型的重要性評分相對較低，激活的神經元主要產生一些看似無關的詞彙。但是當處理到"從事"這個動詞時，情況發生了戲劇性的變化。重要性評分急劇上升到0.9932，同時激活的神經元開始產生高度相關的詞彙，如"籃球"、"NBA"、"職業"等。
這種模式揭示了一個重要的發現：模型在處理語言時會出現"語義收斂"和"語義發散"的交替模式。在關鍵的語義連接點，比如動詞和介詞位置，模型會快速聚焦到相關的語義領域；而在其他位置，模型則保持著更大的探索性，為後續的推理保留多種可能性。
研究團隊進一步發現，在整個推理過程中，只有27個高度專業化的神經元對於產生正確答案是至關重要的。當這些神經元被移除時，模型的準確率降到了僅有3.2%。相比之下，當移除同樣數量但語義相關性較低的神經元時，模型仍能保持59.4%的準確率。
這個發現具有深刻的意義。它表明，雖然整個推理過程涉及大量神經元的協作，但真正決定最終結果的是少數幾個高度專業化和語義相關的神經元。這就像一個大型偵探團隊中，雖然每個成員都發揮著作用，但關鍵突破往往來自幾個具有特殊專長的核心偵探。
六、技術細節：ACE方法的具體實現
ACE方法的實際實現過程可以比作精心編排的偵探訓練計劃。整個過程分為兩個主要階段：精確識別和協調編輯。
在精確識別階段，ACE使用一種叫做"重要性評分"的技術來衡量每個神經元對特定推理任務的貢獻。這個過程就像為每個偵探的破案能力打分，找出在處理特定類型案件時最有價值的團隊成員。
對於價值神經元，重要性評分主要基於它們對最終答案概率分布的影響。如果移除某個價值神經元會顯著改變模型對正確答案的預測概率，那麼這個神經元就被認為是高度重要的。這種評估方法就像測試移除某個檔案櫃對破案結果的影響。
對於查詢神經元，評估方法稍有不同。由於查詢神經元主要負責激活其他神經元而不是直接影響輸出，ACE使用查詢神經元與其對應"鑰匙"之間的匹配度來評估其重要性。匹配度越高的查詢神經元，在推理過程中的作用就越關鍵。
在協調編輯階段，ACE採用了一種數學優化方法來同時更新查詢神經元和價值神經元。這個過程需要在兩個目標之間取得平衡：確保新知識被正確學習，同時保持模型對其他知識的記憶不受影響。
這種平衡就像在重新訓練偵探團隊時需要考慮的問題：既要讓偵探們掌握新的破案技巧，又不能讓他們忘記之前積累的經驗。ACE通過精心設計的數學公式來實現這種平衡，確保模型在學習新知識的同時保持對原有知識的掌握。
實際操作中，ACE會首先針對價值神經元進行編輯，更新其中存儲的具體知識內容。然後，它會調整查詢神經元的行為模式，確保這些神經元能夠在需要時正確激活新更新的價值神經元。整個過程通過多輪疊代優化來實現，每一輪都會檢驗編輯效果並進行必要的調整。
七、模型差異分析：不同架構的獨特表現
在研究過程中，團隊發現不同的人工智慧模型在處理複雜推理時表現出了有趣的架構差異。這些差異就像不同偵探局採用的不同組織結構和工作方式。
GPT-J模型展現出相對傳統和穩定的組織模式。在這個模型中，查詢神經元主要集中在中間層（大約第16、17、18層），而價值神經元則穩定地分布在深層區域（第28、29、30層）。這種清晰的分層結構就像傳統的等級制組織，每個層級都有明確的職責分工，資訊按照固定的路徑從一個層級傳遞到另一個層級。
這種組織方式的優點是穩定可靠，不同類型的推理任務都遵循相似的處理模式。當需要進行知識編輯時，研究者可以比較容易地定位到相關的神經元位置。這就像在一個結構清晰的傳統辦公大樓中找到特定的部門一樣直觀。
相比之下，Qwen3-8B模型展現出了更加現代化和靈活的組織架構。在這個模型中，查詢神經元和價值神經元之間的關係更加緊密，甚至可能出現重疊。更重要的是，這些神經元的具體位置會根據處理的知識領域發生動態變化。
例如，在處理地理相關的問題時，Qwen3-8B可能激活第27、28、29層的查詢神經元和第30、31、32層的價值神經元。但在處理體育相關問題時，激活的神經元位置可能完全不同。這種靈活性使得模型能夠更加高效地處理不同類型的推理任務，但也增加了知識編輯的複雜性。
這種差異反映了人工智慧模型設計理念的演進。早期模型更注重結構的清晰性和可解釋性，而新一代模型則更加追求性能和效率。這就像偵探組織從傳統的金字塔結構向現代的網路化協作模式轉變。
研究團隊還發現，這種架構差異直接影響了ACE方法的實施效果。在GPT-J上，ACE可以採用相對固定的編輯策略，因為神經元的組織模式比較穩定。而在Qwen3-8B上，ACE需要更加靈活的適應性編輯策略，根據具體的知識領域動態調整編輯目標。
這個發現對於未來的人工智慧發展具有重要啟示。隨著模型變得越來越複雜，我們需要開發更加智能和適應性的知識編輯方法。ACE在處理這種複雜性方面展現出了良好的潛力，為未來更先進模型的知識管理提供了有價值的思路。
八、實際應用前景與社會影響
ACE方法的成功不僅僅是一個技術突破，更重要的是它為人工智慧在實際應用中的知識管理開闢了新的可能性。這種能力就像為AI系統配備了一個高效的"知識更新部門"，使它們能夠快速適應不斷變化的世界。
在新聞媒體領域，ACE技術可以幫助AI系統快速更新和整合最新的新聞資訊。當重大事件發生時，傳統的AI系統可能需要大量的重新訓練才能準確報道相關資訊。而配備了ACE技術的系統可以快速學習新的事實，並在複雜的新聞分析中正確運用這些資訊。
教育領域也將從這項技術中受益匪淺。AI教學助手可以及時更新課程內容，當教科書修訂或科學發現更新時，系統能夠立即調整其知識結構，為學生提供最準確的資訊。更重要的是，這種更新不會影響系統對其他學科知識的掌握。
在法律諮詢和合規審查方面，ACE技術的價值更加明顯。法律條文和政策規定經常發生變化，傳統的AI系統很難跟上這些變化的步伐。ACE技術可以讓AI法律助手快速適應新的法規，同時在處理複雜的法律推理時保持準確性。
醫療健康領域是另一個潛在的重要應用場景。醫學知識更新迅速，新的治療方法和藥物資訊不斷湧現。AI醫療助手需要能夠快速學習這些新知識，並在複雜的診斷推理中正確運用。ACE技術為實現這一目標提供了技術基礎。
然而，這項技術的發展也帶來了一些需要審慎考慮的問題。知識編輯能力的增強意味著AI系統的"記憶"變得更加容易修改。這既是優勢也可能成為風險，特別是在確保資訊準確性和防範惡意篡改方面。
研究團隊認為，未來需要建立完善的知識編輯審核機制，確保AI系統的知識更新過程透明、可追溯且安全可靠。這就像為偵探局建立嚴格的證據管理制度，既要保證資訊的及時更新，也要防止錯誤資訊的污染。
九、研究的局限性與未來展望
雖然ACE方法取得了顯著的成功，但研究團隊也坦誠地認識到當前工作的一些局限性。這種科學的態度就像經驗豐富的偵探在總結案件時，既慶祝成功，也反思改進空間。
首先，目前的研究主要集中在相對簡單的多步推理任務上，通常涉及2-4步的推理鏈條。在現實世界中，人類的推理過程往往更加複雜，可能涉及數十個甚至更多的中間步驟。ACE方法在處理這種超長推理鏈條時的表現還需要進一步驗證。
其次，當前的實驗主要在英語語言模型上進行，對於其他語言的適用性還有待探索。不同語言的語義結構和表達方式存在差異，這可能影響神經元的組織模式和激活規律。
研究團隊還注意到，ACE方法在處理相互衝突的知識時可能面臨挑戰。當需要同時更新多個相關但潛在矛盾的知識點時，如何確保整個知識體系的一致性和邏輯性仍然是一個開放的問題。
展望未來，研究團隊計劃在幾個方向上繼續深入。首先是擴展ACE方法的適用範圍，使其能夠處理更長、更複雜的推理鏈條。這可能需要開發新的神經元識別技術和更sophisticated的編輯算法。
另一個重要的研究方向是探索ACE方法在不同模態資訊處理中的應用。現代AI系統不僅處理文本，還處理圖像、音頻等多種類型的資訊。研究團隊希望將ACE的核心思想擴展到這些領域，實現真正的多模態知識編輯。
研究團隊也計劃開發更加自動化和智能化的知識編輯工具。理想情況下，未來的AI系統應該能夠自主識別知識更新的需求，並在最小化人工干預的情況下完成知識編輯。
最後，研究團隊強調了在推進技術發展的同時建立相應倫理和安全保障機制的重要性。他們計劃與倫理學者、法律專家合作，制定AI知識編輯的最佳實踐指南，確保這項技術能夠安全、負責任地服務於社會。
十、科學意義與理論貢獻
ACE研究的意義遠超出了技術改進本身，它為我們理解人工智慧的內在工作機制提供了新的視角。這項研究就像為AI的"大腦"製作了一張詳細的地圖，揭示了智能推理過程中的精妙協作機制。
從認知科學的角度來看，ACE研究為理解智能系統如何組織和運用知識提供了計算模型。查詢神經元和價值神經元的協作機制與人類大腦中的某些認知過程存在有趣的相似性。這種相似性可能為未來的認知科學研究提供新的洞察。
在機器學習理論方面，這項研究挑戰了一些傳統觀念。以往的研究往往將深度學習模型視為"黑盒"，認為其內部的工作機制難以理解和控制。ACE研究證明，通過精心設計的分析方法，我們可以深入理解這些模型的內部運作，甚至實現精確的控制和修改。
這種理解能力的提升對於AI安全研究具有重要意義。只有當我們真正理解AI系統是如何工作的，我們才能更好地預測和控制它們的行為。ACE提供的神經元級別的解釋能力為構建更加可控、可信的AI系統奠定了基礎。
從知識表示和推理的角度來看，ACE研究揭示了大型語言模型中存在著精巧的知識組織結構。這種結構不是隨機形成的，而是在學習過程中自然湧現出來的智能組織方式。理解這種組織方式有助於我們設計更加高效的知識表示方法。
研究還為人工智慧的可解釋性研究做出了重要貢獻。通過識別和分析關鍵神經元的作用，ACE提供了一種新的AI解釋方法。這種方法不僅能夠解釋模型"做了什麼"，還能解釋模型"為什麼這樣做"。
說到底，這項研究最大的價值在於它證明了人工智慧系統並非不可理解的神秘黑盒。通過科學的方法和持續的探索，我們可以逐步揭開AI的工作原理，讓這些強大的工具更好地服務於人類社會。正如研究團隊所言，這只是理解人工智慧內在機制的開始，未來還有更多令人興奮的發現等待著我們。
ACE方法的成功驗證了一個重要觀點：要真正掌控人工智慧，我們不能滿足於表面的性能指標，而必須深入理解其內在的工作機制。只有這樣，我們才能開發出真正安全、可控、可信的人工智慧系統，讓AI技術在推動社會進步的同時，始終受到人類價值觀和倫理標準的指導。
這項由香港科技大學團隊主導的研究為我們打開了一扇通向AI內部世界的大門。通過這扇門，我們看到的不是混亂無序的計算過程，而是一個充滿智慧和秩序的精密系統。這個發現不僅讓我們對當前的AI技術有了更深的理解，也為未來更智能、更可控的AI系統指明了發展方向。
Q&A
Q1：ACE方法與傳統的人工智慧知識編輯方法有什麼區別？
A：傳統方法就像只會更換檔案資料的文員，只關注存儲最終答案的"價值神經元"，忽視了推理過程中起關鍵作用的"查詢神經元"。而ACE方法像同時訓練偵探推理能力和更新檔案資料一樣，既修改存儲資訊的價值神經元，也調整負責激活推理過程的查詢神經元，確保整個智能系統能協調工作。
Q2：為什麼人工智慧在複雜推理任務中容易出錯？
A：就像警察破複雜案件需要追蹤多條線索一樣，AI進行複雜推理需要多個步驟。傳統編輯方法只關注最終輸出，忽視了中間推理步驟的重要性。當修改了某個知識點後，負責中間推理的查詢神經元仍按舊模式工作，無法正確激活相關的價值神經元，導致推理鏈條斷裂。
Q3：ACE方法的實際應用前景如何？
A：ACE技術可以讓AI系統快速更新知識而不影響其他能力。在新聞媒體領域，AI可以快速學習最新事件資訊；在教育領域，教學助手能及時更新課程內容；在法律和醫療領域，AI助手可以快速適應新法規和醫學發現。這項技術為AI在現實世界的應用提供了更可靠的知識管理能力。
