這項由香港科技大學和南京理工大學聯合發表於2026年2月的研究論文"MemFly: On-the-Fly Memory Optimization via Information Bottleneck"（論文編號：arXiv:2602.07885v1），為大語言模型代理的記憶管理帶來了革命性突破。
電腦和人類的記憶方式截然不同。當我們回憶往事時，大腦會自動過濾掉無關資訊，只保留最重要的記憶片段。但現在的AI代理就像一個強迫症患者，會把每一個細節都完整保存下來，結果就是記憶越來越臃腫，查找資訊變得越來越困難。
設想你正在整理一個巨大的圖書館。傳統的AI代理會把每本書、每張紙片都原封不動地堆在那裡，時間久了整個圖書館就變成了一團亂麻。而港科大團隊開發的MemFly系統就像一位經驗豐富的圖書管理員，它會主動整理、分類，把相似的內容合併，把重要的資訊用更好的方式組織起來，同時丟掉那些真正無用的垃圾資訊。
這個問題的核心在於如何在壓縮冗餘資訊和保持檢索精度之間找到完美平衡。現有的記憶框架大致分為兩種思路：一種是什麼都不刪除，原樣保存所有對話內容，但這樣會導致記憶庫越來越龐大，查找資訊時噪音太多；另一種是讓AI自己總結壓縮資訊，但這種方法會丟失很多細節，影響後續推理的準確性。兩種方法都有明顯的缺陷，缺乏一個統一的標準來決定什麼資訊該保留、什麼資訊該捨棄。
研究團隊將這個挑戰轉化為一個資訊論優化問題，運用資訊瓶頸理論來指導設計。資訊瓶頸理論的核心思想是：在保證任務相關資訊不丟失的前提下，儘可能壓縮冗餘觀察數據。這就像製作果汁一樣，你要把水分和纖維去掉，但必須保留所有的營養成分。
**一、記憶管理的全新思路**
MemFly框架的設計理念可以用整理家務來類比。當你清理房間時，會面臨三種選擇：把兩件相似的物品合併（比如把散落的襪子配對放好），建立物品之間的關聯（比如把相關的工具放在同一個抽屜里），或者單獨存放某個獨特的物品。MemFly的記憶處理機制正是基於這種思路。
系統將記憶狀態建模為一個動態圖結構，包含三個層次：最底層的筆記層保存原始對話內容和去噪後的語境資訊，就像保存完整的對話記錄；中間層的關鍵詞層作為符號錨點，連接連續的語義空間和離散的符號推理；最上層的主題層將關鍵詞聚合成可導航的語義區域，實現快速的宏觀定位。
這種分層結構的靈感來源於雙聚類理論。在高維數據中直接進行聚類往往效果不佳，因為數據稀疏且噪音較多。更好的做法是先將特徵空間聚類形成穩定的中間表示，再基於這些中間表示對數據點進行聚類。這就像先把書籍按照學科分類，再在每個學科內按照具體主題細分，最後才是具體的書目排列。
記憶構建過程採用在線聚合策略，每當新資訊到來時，系統會通過LLM驅動的梯度自由優化器來評估資訊關係。這個優化器會生成兩個關鍵分數：冗餘分數衡量兩個記憶單元的語義重疊程度，互補分數衡量它們之間的邏輯關聯強度。基於這些分數，系統執行三種操作之一：當冗餘分數超過閾值時執行合併操作，將新資訊整合到現有單元中；當互補分數較高時建立鏈接關係，保持內容獨立但增加關聯邊；否則將新資訊作為獨立單元添加。
**二、智能檢索的三條路徑**
傳統的檢索方法就像在黑暗中摸索，只能依靠向量相似度進行盲目搜索。MemFly設計了三條互補的檢索路徑，就像給圖書館安裝了三套導航系統。
第一條路徑是宏觀語義導航。當你提出一個問題時，系統首先分析問題的主題方向，然後在主題層快速定位到最相關的幾個主題簇。這就像你走進圖書館時，先確定要去文學區還是科學區，大大縮小了搜索範圍。
第二條路徑是微觀符號錨定。系統會從問題中提取關鍵實體和概念，然後在關鍵詞索引中找到精確匹配的符號錨點。這就像你知道要找"莎士比亞的哈姆雷特"，直接通過作者名和書名進行精確定位。
第三條路徑是拓撲擴展。基於前兩條路徑找到的初始證據，系統會沿著記憶構建過程中建立的關聯邊進行擴展，找到那些在向量空間中距離較遠但邏輯上相關的資訊。這就像通過"另請參考"或"相關推薦"找到更多有用資訊。
三條路徑的結果通過倒數秩融合方法進行整合。這種方法的優勢在於它不需要對不同來源的分數進行歸一化，而是基於排序位置進行融合，優先考慮在多個檢索路徑中都表現優秀的證據。
對於複雜的多跳推理任務，MemFly還引入了疊代證據精煉協議。這個機制會持續評估當前證據是否足以回答問題，如果發現資訊缺口，就會生成針對性的子查詢進行補充檢索。這個過程會持續進行，直到收集到足夠的資訊或達到最大疊代次數。
**三、實驗驗證與性能表現**
研究團隊在LoCoMo基準測試上進行了全面評估。這個測試專門設計來評估AI代理的長期資訊綜合能力，包含了五種不同類型的推理任務：多跳推理需要綜合多個記憶單元的資訊，時序推理測試對時間相關資訊的理解，開放域推理評估從對話歷史中檢索一般知識的能力，單跳推理評估精確實體匹配，對抗性推理則用干擾資訊挑戰系統的魯棒性。
實驗結果顯示，MemFly在所有四個基礎模型上都取得了顯著改進。在閉源模型中，它在GPT-4o-mini和GPT-4o上分別達到了43.76%和44.39%的F1分數，超越了最強基線。在開源模型上優勢更為明顯，在Qwen3-8B上實現了38.62%的F1分數，比第二名高出5.86個百分點。這種在開源模型上更大的提升幅度表明，結構化的記憶組織能夠有效補償較弱的上下文推理能力。
從不同推理類別來看，MemFly在開放域查詢上取得了最大突破，在GPT-4o上從17.73%提升到25.74%。這主要歸功於主題導航機制，它能在細粒度檢索之前快速定位到相關的記憶區域。對於需要精確實體匹配的單跳任務，MemFly在兩個Qwen模型上都達到了最佳性能，證明了關鍵詞錨定機制的有效性。
消融實驗進一步驗證了各個組件的重要性。移除整個門控更新機制導致性能從38.62%急劇下降到27.97%，召回率也從62.22%降到42.11%。這說明沒有主動整合，噪音會不斷累積，時序依賴關係也會被破壞。在單獨操作中，移除鏈接操作的影響比移除合併操作更大，這表明關聯邊對於過濾干擾資訊至關重要。
在檢索路徑方面，移除關鍵詞路徑對單跳查詢的影響最為顯著，驗證了符號錨定對精確實體匹配的重要性。移除疊代精煉協議則主要影響對抗性和開放域類別，證明了漸進式證據積累對需要多步推理的複雜查詢的價值。
**四、技術創新的深層意義**
MemFly的創新不僅僅在於解決了一個技術問題，更重要的是它為AI代理的記憶管理提供了一個全新的理論框架。通過將代理記憶建模為在線資訊瓶頸問題，研究團隊為這個領域的發展指明了方向。
傳統的記憶系統要麼簡單地存儲所有資訊，要麼依賴啟發式規則進行壓縮，都缺乏理論指導。MemFly首次提供了一個統一的優化目標，明確了什麼資訊應該保留、什麼資訊可以捨棄。這種理論指導對於構建更加智能的AI系統具有重要意義。
分層記憶架構的設計也具有重要啟發價值。通過引入關鍵詞作為中間符號錨點，系統成功地連接了連續語義空間和離散符號推理，解決了神經網路在符號推理方面的天然劣勢。這種混合架構可能為future的AI系統設計提供新思路。
三路徑檢索機制的設計理念同樣值得借鑑。不同於傳統的單一檢索策略，MemFly採用了互補的多路徑設計，每條路徑都有自己的優勢領域。這種設計思想可以推廣到其他資訊檢索和推薦系統中。
當然，MemFly也有其局限性。當前的實現優先考慮記憶質量而非構建速度，在處理大規模數據時可能存在計算開銷。此外，系統的性能很大程度上依賴於LLM的語義理解能力，對於一些特殊領域或語言可能需要進一步適配。
**五、未來發展前景**
這項研究為AI代理的長期記憶管理開闢了新的研究方向。資訊瓶頸理論的引入為這個領域提供了堅實的理論基礎，後續研究可以在此基礎上進一步優化算法效率，擴展到多模態場景，或者針對特定應用領域進行定製化設計。
從更廣闊的視角來看，MemFly代表了AI系統向更加智能化方向發展的重要一步。隨著AI代理在各種實際應用中的普及，如何讓它們擁有類似人類的記憶管理能力將成為關鍵挑戰。MemFly提供的解決方案不僅在技術上可行，更重要的是它展示了通過跨學科理論指導來解決AI實際問題的有效途徑。
說到底，MemFly的真正價值在於它讓AI代理擁有了更加智能的"遺忘"能力。正如人類大腦會自動過濾和整理記憶一樣，AI系統也需要學會什麼該記住、什麼該忘記、如何組織記憶。這項研究為實現這個目標提供了重要的技術路徑，對於構建更加智能、高效的AI助手具有深遠意義。有興趣深入了解技術細節的讀者可以通過論文編號arXiv:2602.07885v1查詢完整研究內容。
Q&A
Q1：MemFly記憶優化框架是什麼？
A：MemFly是港科大開發的AI記憶管理系統，就像給AI安裝了一個智能圖書管理員。它能自動整理AI的記憶，把相似資訊合併，重要資訊分類組織，無用資訊丟棄，解決了傳統AI記憶越來越臃腫、查找困難的問題。
Q2：MemFly是如何處理AI記憶的？
A：MemFly採用三層記憶結構：底層保存完整對話，中層提取關鍵詞作為索引，頂層按主題分類。當新資訊進來時，系統會判斷是合併到已有資訊、建立關聯鏈接，還是單獨存儲，就像整理房間時的三種處理方式。
Q3：MemFly的檢索效果如何？
A：實驗顯示MemFly在多個AI模型上都顯著提升了性能，在開源模型Qwen3-8B上F1分數達到38.62%，比第二名高出5.86個百分點。特別是在需要綜合多資訊的複雜推理任務上，效果提升最為明顯。
