這項由美國威斯康星大學麥迪遜分校主導的研究發表於2026年7月，收錄於ICML 2026年權重空間對稱性研討會（WSS: from Foundations to Practical Applications），論文編號為arXiv:2607.01686v1。
一家公司花了數年時間、耗費巨額資金，用精心搭配的各類數據訓練出一個強大的AI模型，然後把這個模型免費發布給全世界使用。聽起來很慷慨，對吧？但有一件事他們沒告訴你：這道"菜"到底是怎麼做出來的——用了多少網頁文字、多少數學題、多少代碼，各自占了多大比例。這份"食譜"，是他們最核心的秘密之一。
研究團隊把這個問題反過來想：既然食譜不公開，能不能通過品嘗菜的味道，反推出食材的比例？他們開發了一套叫做WARP（Weight-space Analysis for Recovering Training data Portfolios，權重空間訓練數據組合還原分析）的方法，只需要拿到已經發布的AI模型權重，就能估算出它是用什麼比例的數據訓練出來的。實驗結果相當亮眼：在BERT和GPT-2兩個經典模型上，WARP估算的誤差最低只有0.046和0.104，比傳統方法準確得多。
一、為什麼數據食譜這麼重要，卻這麼難搞清楚
先來說說為什麼這件事值得一篇正式的學術論文。
訓練一個大型語言模型，就像在經營一家頂級餐廳。食材的種類和比例，直接決定最終的口味。如果你的模型大量餵了代碼數據，它就會更擅長寫程序；如果大量餵了新聞文章，它在理解時事方面就會更出色。近年來，越來越多的研究表明，數據配比的設計不僅影響模型的知識廣度，更影響訓練效率——一個精心設計的配比方案，可以用更少的計算資源訓練出更強的模型。
然而問題是，這些配比方案幾乎從不公開。大多數前沿AI模型在發布時，只告訴你"它在大量多樣化的數據上訓練過"，具體是哪些來源、各占多少，通常一個字也不透露。這造成了一種資訊不對稱：研究者和開發者可以免費使用這些模型，但對於產生這些模型的"食譜"完全兩眼一抹黑。
這個資訊缺口會帶來不少麻煩。當你拿一個已發布的模型繼續在自己的數據上微調時，如果不知道原始訓練分布，你就無法判斷自己的微調是在補充模型的能力，還是在破壞它原本的平衡。更廣泛地說，數據食譜的不透明也阻礙了數據污染審計（即檢查某些測試題是否已經出現在訓練數據中）以及對不同模型表現差異的深入解讀。
現有的解決思路，主要集中在一種叫做"成員推斷攻擊"（Membership Inference）的技術上。這種方法的邏輯是：給模型一道題，看它的表現，猜測這道題是否出現在訓練數據里——有點像考完試之後，通過學生答題的流暢度來判斷他是否提前見過這道題。這種方法在樣本層面有一定效果，但它解決不了全局配比的問題。就算你知道每一道題是否出現過，想從中拼湊出"數學題占多少比例、語文題占多少比例"，結果依然非常粗糙，因為判斷結果完全取決於你拿來測試的那批題目的分布。
WARP的思路從根本上就不同。它不是去猜每道題有沒有出現過，而是從整體上分析模型的"形狀"——更準確地說，是分析模型參數在權重空間中的幾何結構——來估算數據配比。
二、權重空間裡隱藏的"訓練軌跡"
要理解WARP的工作原理，先要理解一個核心的直覺：一個模型訓練完之後，它的參數（也就是那數以億計的數字，每一個都對應著模型學到的某種規律）不只是儲存了知識，還保留了它是"如何被塑造"的痕跡。
把這個過程比作一塊陶土雕塑。基礎模型（base model）就是剛從窯里出來的一塊原始陶土，而經過微調的模型（fine-tuned model）就是工匠捏完之後的成品。成品的形狀，是由工匠用了哪些工具、施加了什麼力、按照什麼順序操作決定的——而這些操作，在某種程度上，正對應著用了什麼數據、用了多少。
問題在於，當你拿到這兩塊陶土的時候，你只有最初的原材料和最終的成品，中間的製作過程你沒有親眼看到。大多數AI公司不會把模型訓練過程中的中間狀態（叫做"檢查點"，checkpoint）也一併發布。
WARP的第一個關鍵洞察是：雖然真實的製作過程丟失了，但你可以自己"模擬"一條從原材料到成品的路徑，並從這條模擬路徑上讀取資訊。
具體來說，研究團隊使用了一種叫做"模型合併"（model merging）的技術。模型合併的核心操作非常直觀——就是把兩個模型的參數按比例混合在一起。舉個例子，如果你把原始模型和微調模型各取50%混合，你就得到了一個位於兩者"正中間"的模型。研究團隊把這種混合比例從接近0%一路變化到接近100%，每隔一段就取一個混合點，這樣就生成了一系列"偽檢查點"（pseudo-checkpoints）——它們扮演著真實訓練中間狀態的角色。
論文中測試了三種混合方式。最簡單的是線性插值（LERP），就是按比例直接加權平均；球面插值（SLERP）則沿著一條弧線而非直線進行插值；TIES是一種更精細的合併方法，會處理不同模型參數之間可能存在的"衝突"。
這十五個（實驗中取T=15）沿著模擬路徑均勻分布的偽檢查點，構成了WARP分析的基礎材料。
三、用"共鳴"來測量數據的存在感
有了這條模擬軌跡，接下來的問題是：怎麼從這條軌跡里提取數據配比的資訊？
這裡用到了一個叫做"Mimic Score"（模仿評分）的概念，最初由威斯康星大學的同一個研究團隊在早期工作中提出。這個評分的直覺可以這樣理解：
每一個偽檢查點，都對應著模型演化軌跡上的某個位置。從這個位置出發，有一個明確的"方向"——指向最終的微調模型。現在，對於一批來自某個特定數據領域（比如"體育新聞"）的樣本，我們計算它們對當前這個檢查點的"影響方向"——也就是如果你用這些樣本繼續訓練模型，模型的參數會朝哪個方向移動。
如果這個"影響方向"和"指向最終模型的方向"高度一致，說明什麼？說明這批樣本和真實訓練數據的效果非常相似，這個領域的數據很可能在真實訓練中占了較大比重。反過來，如果影響方向和最終方向大相徑庭，這個領域的數據在原始訓練中的存在感就比較弱。
這種"共鳴度"的測量，就是Mimic Score的本質。在數學上，它是將樣本的負梯度向量（即該樣本推動模型更新的方向，取負號是因為訓練時要降低損失）投影到當前位置指向最終模型的方向向量上，得到一個標量分數。分數越高，共鳴越強。
研究團隊在每一個偽檢查點上，對來自每個領域的所有樣本分別計算這個分數，然後在每個領域內做平均。這樣一來，就得到了一個矩陣：行代表不同的數據領域（比如體育、科技、娛樂、政治），列代表不同的偽檢查點位置（模擬的訓練早期、中期、晚期……）。這個矩陣就是研究團隊所說的"幾何足跡"（geometric footprint）——它記錄了每個領域在整個模擬訓練軌跡上的存在痕跡，就像一首歌在音頻頻譜圖上留下的波紋一樣。
四、從"足跡"到"配比"：兩種讀取方式
有了這個幾何足跡矩陣，最後一步是把它翻譯成具體的數據配比估算。研究團隊設計了兩種不同的翻譯方式，適用於不同的實際場景。
第一種叫做無監督讀出（Unsupervised Readout），完全不需要額外的訓練數據，算法簡單粗暴：把每個領域在所有偽檢查點上的平均Mimic Score算出來，然後用一個叫做softmax的函數把這些數字歸一化成概率分布——分數越高的領域，估算的比例就越大。這裡有一個溫度參數τ控制分布的"銳利程度"，τ越小，分布越集中在高分領域，τ越大，分布越均勻。這種方法最大的優點是開箱即用，不需要任何額外準備；缺點是它把所有偽檢查點的資訊一視同仁地平均了，可能會丟失"模型在訓練早期和晚期對不同領域的響應差異"這類有價值的細節。
第二種叫做監督投影（Supervised Projection），引入了一個小型的神經網路（具體是一個兩層的MLP，多層感知機）作為"翻譯器"。這個翻譯器的輸入是完整的幾何足跡矩陣（K×T的矩陣，保留了所有時間步的資訊），輸出是預測的數據配比。訓練這個翻譯器的方式非常聰明：先從同一個數據來源里人工生成一批"已知配比"的合成訓練集，每次隨機採樣一個配比，按這個配比組合數據，用基礎模型在上面做一個短暫的微調，計算出對應的幾何足跡，然後把"足跡→配比"作為一對監督信號餵給翻譯器學習。由於每次微調只需要跑很短的時間（畢竟不需要訓練出一個真正好用的模型，只是為了產生訓練信號），合成數據對的生成效率很高。
有了這個翻譯器，對於任意一個未知配比的微調模型，只要計算它的幾何足跡，送進翻譯器，就能得到預測配比。論文中使用了五折交叉驗證：在40個已知配比的實驗模型中，每次用32個訓練翻譯器，用剩餘8個評估效果，循環五次取平均，確保評估的可靠性。
五、實驗怎麼做的，結果有多好
研究團隊搭建了一個非常紮實的受控實驗環境。他們選取了四個文本分類數據集：SNLI（自然語言推理，3個類別）、AGNews（新聞話題分類，4個類別）、Yelp（評論情感分析，5個類別）和Yahoo（話題分類，10個類別）。每個數據集裡的不同"類別"被當作不同的"數據領域"來處理。
對於每個數據集，他們隨機抽取40種不同的數據配比（比如"30%新聞、25%科技、20%體育、25%世界"），按照每種配比組合5000條訓練樣本，分別在BERT-BASE和GPT-2-Small兩個模型上做微調，每個配比對應一個微調後的參考模型。這樣，每個（數據集×模型架構）組合下都有40個已知真實配比的參考模型，為評估提供了可靠的地基。
探測數據集（用於計算Mimic Score的那批數據）從同一來源獨立採樣，共2500條樣本，每個領域均等分配，與訓練數據完全不重疊。偽檢查點取T=15個均勻分布的插值步驟。
評估指標使用MAE（平均絕對誤差），即預測配比與真實配比之間差的絕對值的平均，越低越好。作為參照，論文同時報告了MSE（均方誤差）。
對比的基準方法有三個。隨機猜測就是從概率單純形上隨機採樣一個配比，代表完全沒有資訊時的表現；質心猜測是對所有領域都給出相同的均等配比（如三領域就各猜1/3），代表不看模型、只猜"最保險答案"時的表現；樣本級成員推斷則是通過比較每個樣本在基礎模型和微調模型之間的損失差異來估算成員資格，再聚合成領域配比，代表現有主流方法的水平。
結果非常清晰。在BERT上，WARP的最佳變體（TIES合併+監督MLP）達到了0.046的平均MAE，而最強基準（樣本級成員推斷）是0.063——誤差降低了約27%。在GPT-2-Small上，最佳變體（LERP合併+監督MLP）達到0.104，而最強基準是0.141——誤差降低了約26%。隨機猜測和質心猜測的MAE分別在0.154到0.204之間，與WARP的差距更是懸殊。
一個出乎意料的發現值得特別注意：使用模型合併生成的偽檢查點，效果居然不比使用真實訓練檢查點差，甚至在多個設置下略優。研究團隊對此的解釋是"平滑度差距"——真實的訓練軌跡充滿噪聲：隨機的小批量數據、學習率的預熱階段、課程學習的調度等等，都會讓每個檢查點的梯度方向來回抖動；而線性插值或TIES生成的偽檢查點，從基礎模型到微調模型是一條乾淨的單調路徑，讓幾何足跡矩陣更加整潔，反而更容易被MLP翻譯器學習。
六、換不同的"火候"也照樣准——不同訓練階段的魯棒性
現實世界中，沒人能保證一個已發布的模型剛好訓練到了最優狀態。有的模型早早停止了訓練（為了節省算力），有的剛好訓練到收斂，還有的被過度訓練（過了收斂點還在繼續跑，在當前大模型的後訓練實踐中尤為常見）。如果WARP只在某一種訓練狀態下有效，實用價值就大打折扣。
為此，研究團隊專門針對GPT-2-Small在AG News數據集上的三種不同訓練階段做了測試：9輪訓練（模擬提前停止）、12輪訓練（接近收斂）、18輪訓練（明顯過度訓練）。使用TIES合併和兩種讀出方式（無監督softmax和監督MLP）。
三種情況下，WARP的表現都穩定地優於所有基準方法，監督MLP始終是最準確的。具體數字也很說明問題：在9輪短跑情況下，監督MLP的MAE是0.130；12輪收斂情況下是0.147；18輪過訓練情況下是0.124。這三個數字都遠低於質心猜測的0.179和隨機猜測的0.239。基準方法（成員推斷）的MAE則固定在0.200，對不同檢查點的敏感度更低，但也更不準確。
這個穩定性結果說明，WARP讀取的是模型權重中相對穩定的"結構性資訊"，而不是容易隨訓練進度變化的淺層統計特徵。
七、這項研究還有哪些局限，未來可以往哪裡走
研究團隊對WARP的局限性保持著清醒的認識，並在論文末尾坦誠地列出了幾個有待解決的問題。
關於可解釋性：監督MLP雖然效果好，但它本質上是個"黑盒"——你把足跡矩陣放進去，配比估算出來，但你不知道它是在依賴哪些時間步的資訊、每個領域的信號是在軌跡的早期還是晚期更強。研究團隊建議未來可以用更簡單的線性模型替換MLP，直接讀取係數作為"每個時間步的重要性權重"，配合稀疏性約束，有望讓這個映射過程更透明。
關於無監督讀出的改進：當前的無監督softmax把所有偽檢查點平等對待，這顯然不是最優策略——不同時間步對不同領域的區分度是不一樣的。一個更優雅的替代方案是把這個過程建模成一種"圖模型推斷"，每個時間步貢獻一張"嘈雜的投票"，用弱監督技術自動學習每個步驟的可靠度，從而在不需要任何標註數據的情況下，自適應地下調噪聲步驟的權重。
關於擴展到大規模語言模型：WARP目前在BERT和GPT-2這兩個"小模型"上得到了驗證，離真正的前沿大模型（GPT-4、Llama、Qwen等）還有相當距離。現代大模型的訓練往往經歷多個不同目標的階段——預訓練、繼續訓練、監督微調、偏好優化——這些階段之間的目標差異很大，簡單的線性插值是否還能捕捉到有用的幾何結構，是一個開放性問題。此外，當數據領域的數量從十個擴展到幾十個甚至上百個時，足跡矩陣的複雜度會急劇增加，如何高效提取和表示這些資訊也需要新的方法。
歸根結底，WARP證明了一件之前很多人沒想到的事：一個模型的參數，不只是它"知道什麼"的容器，也是它"從哪裡學來的"的記錄本。你不需要親眼看著它被訓練，只需要仔細測量它現在的"形狀"，再對比它出發時的"形狀"，就能從中讀出相當精確的訓練配比資訊。這種從結果倒推過程的思路，在AI透明度和可解釋性研究中開闢了一個新的方向。
當大量強大的AI模型被發布出來、數據食譜卻依然密不透露時，這種"通過品嘗味道反推食材"的能力，或許會成為研究者和監管者手中一件越來越重要的工具。有興趣深入了解技術細節的讀者，可以通過arXiv編號2607.01686查閱完整論文。
Q&A
Q1：WARP方法需要訪問AI模型的訓練數據嗎？
A：不需要。WARP只需要兩樣東西：發布出來的基礎模型權重和微調後的模型權重。此外還需要一小批來自相關領域的"探測樣本"（約2500條），用於計算梯度對齊分數，但這些樣本和真實訓練數據完全無關，只需覆蓋感興趣的領域即可。
Q2：Mimic Score是什麼，為什麼能反映數據配比？
A：Mimic Score衡量的是：一批樣本的"訓練影響方向"與"模型實際演化方向"之間的一致程度。如果某個領域的樣本能把模型推向與真實訓練相同的方向，說明該領域的數據在原始訓練中很可能占了較大比重。分數越高，該領域在訓練數據中的存在感越強，由此可以估算各領域的配比。
Q3：WARP的估算誤差有多大，實際可用嗎？
A：在受控實驗中，WARP在BERT模型上的平均絕對誤差最低達到0.046，在GPT-2-Small上最低達到0.104，均顯著優於傳統成員推斷方法。以10個領域為例，0.104的誤差意味著每個領域平均估算偏差約10個百分點，可以提供相當可靠的粗粒度配比資訊，在數據審計和模型分析場景中具有實用價值。
