你有沒有遇到過這種事：讀一本厚厚的推理小說，翻到最後一頁發現兇手的關鍵線索藏在第三章一個不起眼的細節里。你能想起來嗎？大概率想不起來了，除非那個細節真的夠特別。
這其實就是所有處理長文本的AI模型都要面對的老問題。它們讀一段話的時候,總要在心裡維護一份"筆記",用來記住前面讀過的內容,好為接下來要生成或理解的內容提供依據。問題是,這份筆記不能無限長,不然計算量會爆炸。於是模型就得想辦法把讀過的東西壓縮進一個固定大小的"記憶盒子"里。而這個壓縮過程,遵循著什麼樣的"遺忘規律",直接決定了這個模型對長文本到底行不行。
這篇來自華為諾亞方舟實驗室的論文,題目叫《Fractional State Space Transition for Long Sequence Modeling》，講的正是這件事：如何讓AI的記憶遺忘得慢一點，慢得更合理一點。
**當前主流模型的記憶都遵循一種"指數級遺忘"，這意味著資訊一旦過去得夠久，幾乎就等於被判了死刑。**
這話聽起來抽象，換個說法你就明白了。
想像你把一杯熱水放在桌上，水溫會隨著時間往下掉，掉得越來越慢，但永遠不會掉到跟室溫完全一樣的地步（至少理論上是這樣），這是牛頓冷卻定律，也就是指數衰減。大多數現代的狀態空間模型
（
State Space Models（SSM）：一類用有限大小的"記憶狀態"來壓縮處理整段序列歷史資訊的模型，代表作是Mamba系列。這類模型的效率來自於不用像傳統Transformer那樣對每個詞都兩兩計算關聯，而是把歷史資訊不斷"揉進"一個固定大小的狀態里往前傳遞。
），包括大名鼎鼎的Mamba系列，它們內部的"記憶更新規律"本質上就是這種指數衰減。這意味著，如果一條資訊出現在1000個詞之前，它對當前判斷的影響力，可能已經衰減到幾乎為零了。但對很多真實場景來說，這恰恰是不對的。比如你讀一篇論文，摘要里提到的核心觀點，可能在第十頁還要被反覆引用，它的重要性根本沒有隨著距離衰減那麼快。
這個問題在學術上早就有人研究過，只是研究的人不在AI圈，而是在物理和應用數學圈。地質學家研究地下水的異常擴散、材料學家研究粘彈性材料的力學響應，他們發現很多自然系統根本不遵循指數衰減這種"乾脆利落"的遺忘方式，而是拖著一條長長的"尾巴"，衰減得極其緩慢，用數學語言講叫做
重尾分布：一種概率分布或衰減曲線，特點是遠處的取值不會迅速趨近於零，而是保持相對可觀的概率或權重，形成一條拖得很長的"尾巴"。
。描述這種長記憶行為最合適的數學工具，叫做分數階微分方程。
分數階微分方程（FDE）：一種推廣了傳統微分方程的數學工具，允許導數的階數是非整數（比如0.5階導數），它天然地會導出"重尾"式的長記憶行為，而不是指數衰減。
聽起來玄乎，其實理解起來不難。普通的一階微分方程描述的是"現在的變化率只取決於現在的狀態"，這是一種徹頭徹尾的"健忘症"模型：只看當下，不管歷史。而分數階微分方程的求解過程，天生就需要把整條歷史軌跡都考慮進去，越靠近當下權重越大，但很久以前的事情依然占有一份"發言權"，只是發言權隨時間以冪函數的速度衰減，而不是指數函數的速度。
這就帶來一個棘手的矛盾：分數階方程雖然在數學上完美刻畫了長記憶，但它是"非馬爾可夫"的。
馬爾可夫性：指一個系統未來的狀態只依賴於當前狀態，跟更早之前怎麼走到這個狀態無關。普通的狀態空間模型都滿足這個性質，這也是它們能用固定大小的"記憶盒子"高效運算的根本原因。
分數階方程恰恰打破了這個性質,它的每一步計算理論上都得回看全部歷史。這就好比你想查一個包含"全部歷史資訊"的字典，每次查閱都要把字典從頭翻一遍，這在計算上根本沒法接受，尤其是對要處理幾萬個詞的語言模型來說。
**FRAC這篇論文要解決的核心矛盾,就是怎麼讓"重尾記憶"這種理論上優美但計算上災難的東西,變成一個跟現有高效模型架構兼容的、有限狀態的、能並行訓練的實用模組。**
從連續時間到有限狀態：怎麼把"無限的記憶"塞進"有限的盒子"
要理解FRAC的解法，得先弄明白一個關鍵的數學事實：分數階的記憶核函數，雖然看起來複雜，但它其實可以被寫成"無窮多個普通指數衰減的疊加"。
這句話值得多想一秒。一個複雜的、拖著長尾巴的衰減曲線，居然可以拆解成很多條簡單的、指數式衰減的曲線疊加而成，只是每條曲線的衰減速度（也就是時間尺度）不一樣，權重也不一樣。有的衰減極快，只管剛剛發生的事；有的衰減極慢，負責那些很久以前但依然重要的資訊。
這就好比一支管弦樂隊在演奏一段綿延不絕的低音轟鳴。單獨一件樂器，比如一把大提琴，發出的聲音總會漸漸消散。但如果你同時安排小提琴（衰減快）、中提琴（衰減中等）、大提琴（衰減慢）、低音提琴（衰減極慢）一起演奏，音量此起彼伏地疊加，整體聽起來就像是一種綿延不斷、拖著長長尾音的轟鳴。單獨每個聲部都遵循簡單的衰減規律，合在一起卻呈現出複雜的長記憶效果。如果你只用一件樂器，音量會很快消散，聽不到那條悠長的尾音，這正是傳統SSM只有單一指數衰減時的局限。
FRAC正是採用了這個思路。論文用嚴謹的數學證明（對應正文中的定理1和定理2）說明,只要選取一組按照幾何間距排列的"時間尺度"（比如1、2、4、8、16……這樣成倍增長的間隔），用有限數量的指數衰減模式疊加起來，就能在指定的時間範圍內，把原本無限維的分數階記憶核函數逼近到任意精度。
這裡的"幾何間距"很關鍵，因為分數階記憶的特點就是要橫跨很多個數量級的時間尺度，如果你用普通的等間距（1、2、3、4……）去覆蓋，覆蓋到很遠的地方就得用天文數字般多的格子。幾何間距則能用很少的格子（論文裡最終用了16個）就橫跨從1個時間步到超過13萬個時間步這麼寬的範圍。
論文還證明了一個很實用的結論：這些指數模式的權重係數，在時間尺度較大的那一部分，正好呈現出冪函數衰減的規律，這跟分數階記憶理論預言的漸近行為完全吻合。這說明這套逼近方案不是拍腦袋瞎湊的，而是精確對應了分數階動力學的數學結構。
從連續到離散：把公式變成一段可以跑在GPU上的代碼
有了這套"有限模式疊加"的理論基礎，接下來要做的是把它變成電腦能跑的遞歸更新規則。
這一步用到了一個在SSM領域很常見的技術，叫
零階保持離散化（ZOH）：一種把連續時間的微分方程轉換成離散時間遞歸公式的標準方法，基本假設是在每個很短的時間間隔內，輸入信號保持不變。
。簡單說，就是假設在處理第t個詞的這一瞬間，所有控制變量都是"定住不動"的，用這個假設，可以把每一個指數衰減模式的連續演化方程，精確地轉換成一步一步的離散更新公式。
到這裡為止,FRAC還只是個"固定"的分數階記憶系統,所有模式共享同一組基礎時間尺度。但語言模型需要"選擇性"，不同的詞、不同的上下文，應該用不同的方式調配記憶資源。FRAC引入了三個隨詞元變化的控制變量：步長Δ、分數階數α、還有衰減率λ。
其中α特別關鍵,它控制著記憶衰減的"分數階程度"，取值在0到1之間。α越接近1，行為越接近傳統的指數衰減，模型更"健忘"、更關注局部；α越接近0，長記憶效應越強，模型越願意把很久以前的資訊保留下來。這個α不是固定的，是模型根據當前讀到的內容動態算出來的，這意味著模型可以學會"什麼情況下該記得久一點，什麼情況下該忘得快一點"。
這就好比一個公司的檔案管理員，面對不同類型的文件採取不同的保留策略。日常的瑣碎會議記錄可能設置成"一個月後自動清理"（對應α接近1，快速遺忘），但涉及重大決策的文件，則設置成"永久保留，只是調閱頻率逐年降低"（對應α接近0，長期留存但優先級慢慢下降）。如果檔案管理員對所有文件一刀切都用同一種清理規則，那些真正重要的長期資料就會被誤刪，這恰恰是傳統指數衰減SSM的軟肋。
在具體的讀寫機制上，FRAC還設計了一套"按時間尺度對數值排序的路由方式"。模型會給每一個記憶模式（也就是每一個不同衰減速度的通道）算出一個"讀取權重"和一個"寫入權重"，這兩個權重都基於同一個先驗，即時間尺度越長的模式，其權重應該呈現出特定的冪函數關係，這是從分數階理論里直接推導出來的讀取係數漸近公式。寫入端用的是類似的結構，只是用了獨立的一套參數，這樣讀和寫就能形成一種"呼應"關係，內容寫進去的那個模式，日後更容易被同一套邏輯找回來。
工程實現上的取捨：效率和表達力的拔河
理論推導得再漂亮，如果實現起來慢得像蝸牛，那也是空中樓閣。FRAC在工程實現上的核心目標，是讓這套多模式的記憶機制依然能享受現代SSM那種"並行掃描"式的訓練效率，同時在一步步生成文字的時候，只需要維護一個大小固定的狀態，不會隨著文本變長而爆炸。
論文的作者專門寫了自定義的Triton核心
Triton：一種用來編寫高性能GPU計算代碼的編程語言和編譯器，常被用於實現深度學習里的自定義高效算子。
來實現這套遞歸計算，還特別處理了一個數值穩定性問題：如果直接用"兩個累積衰減量的比值"來算跨位置的混合係數，容易出現數值爆炸或精度損失，所以他們改成在對數空間裡直接算累積衰減的差值，這個技巧借鑑自另一個模型GLA（Gated Linear Attention）的思路，但因為FRAC的模式數量（16個）遠小於GLA處理的維度（通常64以上），所以不需要像GLA那樣做二級分塊，一級分塊就足夠高效。
這裡有個容易被忽略但挺重要的細節：多出這16個記憶模式，並不意味著FRAC比其他模型占用更多的"記憶空間"。論文專門算了一下，在同等配置下，FRAC每層維護的遞歸狀態標量數量，只有Mamba2和Mamba3的八分之一，GDN的四分之一點五。換句話說，FRAC不是靠堆更大的內存來換效果，它是靠更聰明的記憶組織方式，用更少的資源做到更持久的記憶。
這就好比整理一個儲物間。有的人解決空間不夠的問題，是直接租更大的倉庫（堆內存），而FRAC的做法更像是設計了一套分層的收納格，同樣大小的空間，通過合理分區（不同時間尺度的模式），反而能放下更多有用的東西，還能更快找到想要的物件。如果不做這種分層設計，想要覆蓋同樣寬的時間跨度，可能就得把儲物間的面積擴大好幾倍。
實驗怎麼說話：合成任務、語言建模和DNA測序的多重驗證
說了這麼多理論，效果到底怎麼樣？論文從好幾個角度做了驗證。
第一個實驗是專門設計的"重尾探測任務"。研究者構造了一種合成數據，裡面稀疏地分布著一些正負事件，模型需要按照一個固定的冪函數權重規律，把這些事件加權求和來預測最終結果。這個任務的關鍵在於，權重衰減得非常慢（論文裡γ設為0.1，衰減速度很慢），這正好考驗模型能不能在沒見過的更長序列上，依然抓住早期事件的影響。
所有模型都只在512長度的序列上訓練，然後被拿去在最長12.8萬個詞的序列上測試，這是訓練長度的250倍。結果顯示，隨著測試序列變長，所有模型的準確率都在下降，但FRAC下降得最慢。在12.8萬長度上，FRAC還能維持63.8%的準確率，而排在後面的GDN、Mamba3隻有58.4%和55.6%，用純注意力機制的Transformer已經跌到了50%左右，基本等於瞎猜。
這個實驗結果本身很有說服力：改變記憶的底層規律，確實能帶來實打實的長度泛化能力提升。
第二個實驗用的是MADLab，一套專門測試模型記憶和檢索能力的合成基準，包含壓縮、模糊上下文召回、記憶、選擇性拷貝這幾類任務。FRAC在這套測試里的平均分是75.4，略微超過此前最強的基線Mamba3（74.8分），說明改變底層記憶規律並沒有損害模型原本該有的基礎能力。
真正的重頭戲是1.3B參數規模的語言模型預訓練實驗。研究者用1000億個詞元（從FineWeb-Edu語料庫採樣）從頭訓練了FRAC，並跟Mamba2、GDN、Mamba3（包括SISO和MIMO兩個變體）以及標準Transformer做對比。
在"大海撈針"式的長文本檢索測試（Needle-in-a-Haystack）里，FRAC在訓練時只見過4K長度的文本，但測試時被拉到了6.4萬長度，遠超訓練範圍。結果是訓練範圍內（4K以內）FRAC跟其他模型表現相當，但一旦超出訓練長度，FRAC的性能下降得明顯更慢。唯一的例外是GDN在其中一個子任務（S-NIAH-1）上表現突出，這是因為GDN的門控delta規則特別擅長過濾重複性的干擾文本，這提醒我們不同的記憶機制有各自的專長，不存在萬能藥。
在LongBench這套包含14個真實長文本任務的測試集裡（涵蓋單文檔問答、多文檔問答、摘要、少樣本學習、代碼補全），FRAC平均分17.9，比最強的線性模型基線GDN（16.0分）高出1.9個百分點，在14個任務里拿到8個最優或次優成績。不過論文也坦誠地指出，這個提升幅度比大海撈針測試里的提升要小，原因是LongBench里超過一半的任務輸入長度都不到8000詞，在這種中等長度下，Transformer本身依然很有競爭力。
而在短文本的語言理解和常識推理任務（LM Harness，包括PIQA、HellaSwag、WinoGrande等經典測試）上，FRAC的平均分55.1，只比Transformer（55.3）和Mamba3-MIMO（55.3）低0.2分，幾乎打成平手。這說明FRAC那種偏向長記憶的結構性設計，並沒有犧牲它在短文本場景下的基本功。
在真實世界的檢索密集型任務（比如SWDE網頁資訊提取、TriviaQA問答）上，FRAC排第三，落後Transformer 2.1個百分點，落後Mamba3-MIMO 0.4個百分點，依然屬於同一梯隊。
最後一個很有意思的補充實驗是DNA序列建模。研究者仿照HyenaDNA的實驗設置，用人類基因組數據訓練了700萬參數規模的小模型，測試長度從1000到6.4萬個鹼基不等。FRAC在所有測試長度上都取得了與GDN、Mamba3相當或更低的困惑度，而且序列越長，FRAC的優勢越明顯。DNA序列天然具有長程的調控關係（比如遠端的基因調控元件影響近端基因表達），這個領域本身就很適合檢驗長記憶模型的能力，FRAC在這裡的表現進一消化了它的設計初衷確實落到了實處。
消融實驗揭示的細節：每個設計選擇都不是可有可無的
論文還做了一系列消融實驗，用一個3.9億參數的小模型在ProofPile、PG19、GovReport這幾個長文檔數據集上測困惑度，逐一拆掉FRAC的各個組件看效果變化。
如果把α強行固定為1（也就是退化成普通的指數衰減，徹底放棄分數階的長記憶特性），在ProofPile上的困惑度從47.2飆升到61.3，這是個相當大的性能損失，證明可學習的分數階參數確實是核心貢獻者，不是裝飾品。
如果去掉寫入端的"對數時間尺度先驗"（也就是讓模型的寫入權重不再遵循理論推導出的冪函數結構，變成完全自由學習），困惑度惡化到68.5，比去掉α的影響還大。這說明那套讀寫對應的路由設計確實抓住了分數階理論里最核心的結構資訊。
研究者還專門做了個對照實驗，叫"純多尺度記憶庫"，把所有分數階相關的先驗全部拿掉，只留下多個不同時間尺度的記憶通道，時間尺度也不再按幾何間距排列，而是完全自由初始化學習。這個版本的困惑度是76.3，是所有消融里最差的，比完整版FRAC的47.2差了將近30個點。這個結果特別關鍵，它排除了一種可能的質疑：會不會FRAC的效果提升只是因為它用了"更多記憶通道"這種樸素的工程改進，跟分數階理論本身沒多大關係？答案很明確：不是，理論指導下的幾何間距排布和冪函數先驗，才是真正起作用的部分。
關於記憶模式數量M的選擇，論文測試了8、16、32三個檔位，用8個模式時困惑度51.4，明顯比16個模式（47.2）差；用32個模式時困惑度47.9，跟16個模式幾乎沒差別，卻要多花5%的參數量和7%的計算時間。研究者據此把M定為16，這是個性價比最優的選擇,再往上堆模式數量,邊際收益已經很小了。
寫在後面
讀完這篇論文,最觸動我的其實不是它的實驗數據有多亮眼，而是它選擇切入問題的那個角度。現在做長文本模型的工作,大部分都在"資訊選擇和路由"上做文章,比如怎麼設計更聰明的門控機制,怎麼讓模型學會哪些資訊該扔哪些該留。而FRAC選的是一條更底層的路：別管路由聰不聰明了,先把"遺忘"這件事本身的數學規律換掉。這就像大家都在爭論怎麼給一個漏水的桶打補丁,而FRAC說,我們先看看這個桶的材質是不是選錯了。
另一個讓我覺得有意思的地方是,這篇論文裡反覆出現的那種"用無窮維對象逼近有限維結構"的思路,其實在很多領域都能看到影子,比如信號處理里的傅里葉級數用有限個正弦波逼近任意周期函數,又比如數值分析里用有限元逼近連續的物理場。FRAC做的事情本質上是同一類操作,只是應用在了"記憶衰減規律"這個特定問題上。這讓我意識到,很多看起來是AI架構創新的東西,底子其實是幾十年甚至上百年前數學家們研究透了的經典工具,只是換了個應用場景。
論文裡也留了一個開放性的思考方向,作者自己提到,未來可以把分數階的長記憶機制跟delta規則那種精細的聯想式記憶更新結合起來,一個管"記多久",一個管"記什麼"。這兩件事目前在FRAC里還是分開處理的,如果真能融合,會不會催生出下一代更強的長文本模型？這個問題現在沒有答案,但至少提供了一個清晰的、值得去試的方向。
Q&A
Q1：FRAC和傳統的Mamba模型最根本的區別是什麼？
A：Mamba等傳統模型的記憶遵循指數衰減規律，資訊隨時間越久影響力衰減越快。FRAC改用分數階動力學，讓記憶按冪函數規律緩慢衰減，對遠距離資訊保留更持久的影響力，同時通過有限的指數模式疊加把理論上無限維的計算變成可高效並行處理的有限狀態遞歸。
Q2：FRAC需要維護更大的內存狀態嗎？
A：不需要。論文實測顯示，FRAC每層維護的遞歸狀態標量數量只有Mamba2和Mamba3的八分之一，GDN的四分之一多，它靠16個按幾何間距排列的記憶模式巧妙組織資訊，而不是單純擴大內存來換取長記憶能力。
Q3：FRAC在實際測試中表現如何？
A：在訓練長度4K但測試長度拉到6.4萬詞的大海撈針任務中，FRAC衰減最慢；在LongBench長文本測試中平均分17.9，超過最強基線GDN的16.0分；在短文本常識推理任務上與Transformer幾乎持平，長短兼顧。
