這項由韓國科學技術院（KAIST）與韓國電子通信研究院（ETRI）聯合開展的研究，於2026年6月28日以預印本形式發布在arXiv平台，編號為arXiv:2606.29464。感興趣的讀者可以通過該編號在arXiv上找到完整論文。
現代AI系統里，有一類非常有用的能力：給AI看一張圖片，它能幫你找到匹配的文字說明；反過來，輸入一段文字，它也能幫你找到對應的圖片。手機相冊的智能搜索、電商平台的以圖搜物，背後都依賴這種圖文理解能力。而訓練出這種能力，需要海量的圖片加文字配對數據——有時候是數十億對。
然而問題出現了。這些海量數據帶來的不只是計算開銷，還有隱私風險、版權糾紛、數據來源不透明等一系列頭疼的問題。韓國科學技術院和韓國電子通信研究院的研究團隊便在思考：有沒有辦法，用極少量的"精華數據"代替那龐大的原始數據集，讓AI照樣能學好圖文匹配？
這個思路叫做"數據蒸餾"——把大量數據提煉成少量高質量的合成樣本，就像把一大鍋骨頭湯熬成濃縮高湯塊，幾塊小小的湯塊就能還原出整鍋湯的精華。研究團隊提出了一套名為RAHA（Rank-Aware Hyperbolic Alignment，秩感知雙曲對齊）的方法，它的核心思想是：在蒸餾這鍋"湯"的時候，不能簡單地把所有成分等量濃縮，而要分清楚哪些成分是精華、哪些是雜質，有區別地保留。
一、為什麼之前的方法不夠好
要理解RAHA的價值，先得弄清楚之前的方法卡在哪裡。
以往訓練圖文理解模型的"數據蒸餾"方法大致分三類。第一類叫"軌跡匹配"，相當於錄下老師在黑板上解題的每一步，然後讓合成數據也能重現這些步驟。這種方法效果不錯，但開銷極大，需要把教師模型的參數狀態一幀幀保存下來，像錄製4K超長影片一樣耗費儲存空間。第二類叫"生成式方法"，藉助擴散模型（類似Stable Diffusion這類圖片生成AI）直接創造圖片和文字對，靈活但對圖文關係的控制力較弱。第三類叫"分布統計匹配"，思路是讓合成數據和真實數據在統計特徵上儘量接近，不需要保存教師軌跡，效率更高，其中以CovMatch為代表。
但這三類方法有一個共同的局限：它們在對齊圖片和文字特徵時，對所有方向一視同仁，平均用力。把這件事想得直觀一點——一張"小狗跑過草地"的圖片和它的說明文字，兩者真正在語義上共享的核心資訊其實很集中：有小狗、有草地、有奔跑的動作。而圖片裡還有很多額外的東西，比如具體的光照條件、草的顏色深淺、相機焦距帶來的背景虛化；文字里也有很多圖片裡看不出來的隱含資訊，比如語氣、用詞風格。這些"各自獨有"的部分，並不需要強行對齊。
強行把所有方向都對齊，就像要求兩個來自不同城市的朋友，不僅共同愛好要一樣，就連口音、飲食習慣、童年記憶也必須完全一致——這既不現實，還會把他們各自獨特的個性給磨滅掉。在數據量極度壓縮的情況下，這種"過度對齊"會讓合成數據把寶貴的容量浪費在對模型沒幫助的方向上，最終影響效果。
此外，圖片和文字之間的語義關係天然具有層級結構。"動物→哺乳動物→犬科→小狗→正在奔跑的金毛小狗"，這是一個從粗到細的概念嵌套結構。歐幾里得空間（也就是普通的數學坐標空間）對於表達這種樹狀層級不太擅長，就像用直尺去畫圓弧——工具本身不太對路。
RAHA正是針對這兩個痛點而設計的。
二、RAHA的兩件"法寶"：雙曲空間與範圍-殘差分解
RAHA的核心可以用拍立得相機的兩個鏡頭來類比。第一個鏡頭負責捕捉圖文之間真正共享的語義內容，叫做"範圍對齊"；第二個鏡頭負責處理各自獨有的部分，叫做"殘差調控"。在這兩個鏡頭工作之前，還需要先把拍攝場地換成更適合的環境——雙曲空間。
先說雙曲空間是怎麼回事。普通的歐氏空間可以理解為一張平展的桌面，點與點之間的距離就是直線距離，越往外走，空間增長得越慢。雙曲空間則像是一個向外急劇展開的喇叭形曲面，越往邊緣走，空間膨脹得越快。這種特性使得雙曲空間能在有限的"直徑"內塞進非常豐富的層級結構——樹狀圖在雙曲空間裡能被非常自然地表達，而在平坦的歐氏空間裡，同樣的樹裝進去就會被嚴重壓縮變形。
研究團隊將圖片和文字的特徵向量從普通坐標空間"提升"到雙曲空間裡，具體用的是洛倫茲雙曲面模型（可以理解為一種數學上精確定義的喇叭形曲面）。在這個空間裡，越抽象、越泛化的概念（比如"動物"）會靠近曲面的中心位置，越具體的概念（比如"正在草地上奔跑的金毛小狗"）會分布在距中心更遠的位置。這與人類理解概念的方式非常吻合——我們天然知道"動物"包含"小狗"，"小狗"包含"金毛小狗"。
在雙曲空間裡，兩個點之間的距離不再是簡單的直線距離，而是沿著曲面走的"測地線距離"——就像地球表面兩點之間的最短路徑是弧線而不是穿地球的直線一樣。RAHA用這種測地線距離替代了原來的點積相似度，來衡量圖片和文字特徵有多接近。
接下來是核心的範圍-殘差分解機制。研究團隊在雙曲空間的切線平面（可以理解為曲面上某點處的局部平展近似）上，對真實數據批次的圖文聯合特徵做了一次奇異值分解（SVD）。奇異值分解是線性代數裡一個經典的工具，它能把一個複雜的矩陣拆解成若干個"方向"，並按重要程度從高到低排列——每個方向對應一個奇異值，奇異值越大，說明這個方向上圖文之間的關聯越強。
研究團隊設定了一個能量閾值，默認取95%。這意味著：找出最少數量的"強相關方向"，使這些方向累積的關聯強度達到總強度的95%，這些方向構成"範圍子空間"；其餘方向則歸入"殘差子空間"。範圍子空間是圖文真正共享語義的主要載體，殘差子空間則包含圖片或文字各自獨有的、相關性較弱的資訊。
確定了這個劃分之後，RAHA分別計算真實數據和合成數據在範圍子空間和殘差子空間裡的相似度矩陣。每個矩陣的每一行都被轉換成一個概率分布（通過softmax），描述"這張圖/這段文字，相對於同批次中所有其他圖/文字的相關程度排序"。然後，用最優傳輸里的Sinkhorn算法（一種高效地計算兩組分布之間最優匹配的方法），讓合成數據的相關性分布儘可能接近真實數據的相關性分布。
簡單來說，這相當於告訴合成數據："在最重要的那些共享語義方向上，你必須跟真實數據的圖文排名規律保持一致；在其餘弱相關方向上，你只需要保持適度的多樣性，不要讓無關的噪聲占據主導地位就行。"
三、損失函數：三塊拼圖合成一幅完整畫面
RAHA的訓練目標由三個部分組成，像三塊形狀不同的拼圖，各自負責一塊區域，合在一起才能還原出完整的圖景。
第一塊是雙曲對比損失（hITC）。這個損失函數隻作用於合成數據本身，不涉及真實數據。它的職責是確保合成的圖片和文字配對能在雙曲空間裡形成正確的判別性排列——配對的圖文應該在雙曲空間裡靠近彼此，不配對的應該遠離彼此。這相當於給合成數據建立最基礎的"圖文應該匹配"的能力。
第二塊是範圍損失，包含兩個子項。一是範圍匹配項：通過Sinkhorn最優傳輸，讓合成數據在範圍子空間裡的行級相關分布儘量接近真實數據的對應分布。二是範圍能量正則項：確保合成數據在範圍子空間裡的耦合能量不低於真實數據——這是一個單側懲罰，只在合成數據"耦合不夠強"時才觸發，不會懲罰"耦合更強"的情況。這個正則項防止合成數據的主要語義方向發生坍縮。
第三塊是殘差損失，同樣包含兩個子項。一是殘差匹配項：類似於範圍匹配，但作用於殘差子空間，幫助合成數據保留一定的圖文細粒度結構，使排名邊界更清晰。二是殘差壓縮正則項：這是RAHA的關鍵防護機制。它衡量合成數據有多少耦合能量流入了殘差子空間，如果殘差能量超過了範圍能量，就會觸發額外的懲罰。這防止合成數據過度優化那些弱相關方向，把寶貴的容量浪費在噪聲上。
三塊損失的權重默認設置為：範圍損失權重0.8，殘差損失權重0.4，殘差內的壓縮權重0.1。這個配置反映了一個直覺：範圍子空間裡的語義才是主角，殘差子空間是配角，壓縮殘差只是防禦性措施。
四、訓練流程：在不斷變化的"閱卷老師"下優化合成數據
RAHA遵循一種在線蒸餾協議，訓練流程交替進行兩個步驟。
外循環步驟是合成數據更新：從真實數據里隨機取一批樣本（批量大小64），同時從合成數據里取一個子批次；通過編碼器提取特徵；將合成數據特徵提升到雙曲空間，計算雙曲對比損失；再把所有特徵映射回切線平面，計算真實數據的跨模態協方差矩陣，進行奇異值分解，確定有效秩k，劃分範圍和殘差子空間；分別計算兩個子空間的相似度矩陣，通過Sinkhorn算法算出最優傳輸耦合，進而得到範圍損失和殘差損失；最後用梯度下降更新合成數據的像素值和文字嵌入向量。
內循環步驟是模型更新：用真實數據對檢索模型本身訓練一步，讓編碼器的特徵空間緩慢演變。這個設計很有意思——相當於讓"閱卷老師"在每輪外循環之間悄悄改變一點評分標準，迫使合成數據不能只討好某一個特定的編碼器狀態，而是要在多種編碼器狀態下都保持有效，從而提升泛化能力。
合成數據的初始化來自真實數據的隨機採樣：圖片直接用真實圖片的像素初始化，文字則用真實說明文字通過文本編碼器的嵌入層（不經過Transformer層）初始化。整個蒸餾過程最多疊代200次，每次外循環做50步，內循環做1步。
五、實驗結果：數據少了多少，效果又如何
研究團隊在三個標準圖文檢索基準數據集上進行了評測：Flickr8k（訓練集6000張圖，每圖5條說明）、Flickr30k（訓練集29000張圖）和MS COCO（訓練集約113000張圖）。合成數據的預算設定為100對、200對和500對三檔，這對於COCO來說分別相當於原訓練集的不到0.1%、約0.17%和約0.44%——極度壓縮。
評價指標用的是雙向檢索召回率Recall@K（K取1、5、10），分圖片檢索文字（I→T，TR@K）和文字檢索圖片（T→I，IR@K）兩個方向，取平均作為綜合得分。
在Flickr8k上，RAHA在500對預算下以均值30.7超過了所有對比方法，包括CovMatch的25.9和LoRS的25.0，在100對和200對下也優於CovMatch（分別20.4對20.4持平，以及25.3對18.8的明顯領先）。在Flickr30k上，RAHA在各預算下均超過CovMatch（32.9對28.9、25.7對22.0、20.7對22.8，其中100對略低但接近）。在COCO上，RAHA在200對和500對下明顯領先CovMatch（10.2對8.3，13.7對11.2），100對下持平（7.2對7.0）。
值得注意的是，論文還專門指出了CovMatch原始論文發布結果與公開代碼復現結果之間存在顯著差距：Flickr30k上CovMatch發布的500對均值為38.4，但復現結果僅為28.9，差距達9.5分。RAHA的對比是在可復現的協議下進行的，更具參考價值。
此外，在更大規模的CC3M-595K-LLaVA數據集。
六、跨架構遷移與噪聲魯棒性：合成數據的"通用性考試"
數據蒸餾的一個核心價值在於：用蒸餾好的合成數據，能不能訓練出在不同架構、不同編碼器上都表現良好的模型？畢竟，如果合成數據只對某一款特定編碼器有效，實用價值就大打折扣了。
研究團隊設計了跨架構遷移實驗：用固定的源架構（NFNet圖像編碼器 + BERT文本編碼器）蒸餾合成數據，然後換用不同的圖像骨幹（NF-ResNet、NF-RegNet、ViT-B）或不同的文本編碼器（DistilBERT），在不改變合成數據的前提下重新訓練檢索模型並評測。
結果顯示，在200對預算下，RAHA的跨架構均值為8.7，高於CovMatch的7.2；在500對下，RAHA達到12.7，而CovMatch為8.7。這意味著RAHA蒸餾出的合成數據編碼了更通用的圖文關係結構，而不是過度依賴特定的編碼器幾何形狀。
魯棒性測試則考察合成數據訓練出的模型在輸入受到干擾時的穩定性。測試了三種干擾：圖片側的JPEG壓縮（75%質量）加4bit量化、高斯噪聲（標準差0.01）和10步PGD對抗攻擊；文字側同樣施加類似干擾。在200對下，RAHA的圖像側干擾均值為5.0，高於CovMatch的4.2；文字側為4.5，高於CovMatch的4.0。這表明範圍-殘差分解機制帶來的結構性約束，減少了合成數據中可被干擾利用的脆弱方向。
七、消融實驗：拆開每塊拼圖看貢獻
為了搞清楚RAHA的各個組件各自貢獻了多少，研究團隊在Flickr8k 100對設置下做了細緻的消融實驗。
從只使用雙曲對比損失出發，均值約為18-19。加入範圍匹配損失後，均值出現明顯提升，說明範圍子空間確實攜帶了真實數據里最重要的圖文配對排名資訊。單獨使用殘差匹配損失時提升相對有限，這與直覺一致：殘差子空間裡的信號較弱，單獨優化它難以錨定到正確的語義結構。當範圍和殘差損失都加入，並配合各自的正則項時，整體表現最佳，說明兩者有互補效果——範圍損失建立主幹，殘差損失在有了範圍這個錨點之後才能有效地做細粒度調整。
在幾何消融實驗中，研究團隊保持Sinkhorn相關性匹配管線不變，只改變特徵空間的幾何。完全用歐氏空間的結果極差（均值僅2.2），說明在歐氏空間裡做子空間分解效果很弱。換用歐氏對比損失但保留雙曲空間裡的相關性匹配（混合幾何版本）後，均值恢復到19.9。完全雙曲版本進一步提升到20.4。這表明雙曲幾何的作用不只是錦上添花，而是使子空間分解本身變得更有意義的必要條件。
超參數敏感性分析顯示，範圍損失權重在0.6到1.0之間性能穩定；殘差損失權重在0.2到0.6之間較為合適，過大會讓弱相關方向占據主導；殘差壓縮權重較小（0.1左右）時效果最好，過大會過度抑制殘差多樣性。能量閾值ρ=0.95是最優選擇，ρ=1.0（不做範圍-殘差劃分，使用全子空間）性能下降，說明顯式劃分是必要的。較大的真實批量能穩定協方差估計，從而帶來更穩定的秩選擇和更好的檢索結果。
八、視覺質量與語義一致性：合成圖片長什麼樣
除了數字指標，研究團隊還對比了合成數據的視覺質量。
CovMatch蒸餾出的圖片往往保留了全局布局，但有明顯的高頻噪聲——棋盤格狀的斑點、條紋，像是經歷了過度JPEG壓縮又疊加了隨機顆粒。這是因為CovMatch的全局二階統計匹配機制有一個"漏洞"：結構化的高頻噪聲也可以在統計意義上滿足協方差約束，而不需要真正產生視覺上合理的紋理。
RAHA蒸餾出的圖片紋理更清晰，邊緣更自然。這與RAHA的機制一致：範圍-殘差分解明確了哪些方向需要匹配真實數據的排名結構，壓縮了那些可以被噪聲隨意填充的自由度，使得梯度更有目的性地改變像素，而不是在無關方向上隨機遊走。
在圖文語義一致性上，CovMatch偶爾出現說明文字與圖片內容錯位的情況（比如圖片變成了戶外場景，但說明仍然描述室內活動）；RAHA的圖文對通常保持了初始化時的語義一致性，並在此基礎上做了細化。
在提示式分類任務（用CLIP風格的文字提示做零樣本圖像分類）上，RAHA在100對預算下在CIFAR-100上比CovMatch高1.05個百分點，在CUB-200-2011（細粒度鳥類）上高1.90個百分點，在Stanford Cars上高2.17個百分點，在ImageNet-1K上高0.26個百分點。細粒度基準上的提升最為明顯，符合雙曲幾何對層級概念結構友好的特點。
九、計算開銷與實際使用考量
RAHA的主要額外開銷來自三個地方：將特徵提升到雙曲空間並映射回切線平面（按批量大小線性增長）；在d×d（d=2304）的協方差矩陣上做奇異值分解（計算量約為d的三次方級別）；以及在合成批量×真實批量大小的代價矩陣上做Sinkhorn疊代（默認20次疊代）。
實測下來，在RTX A6000 GPU上，批量大小為64時，RAHA每次合成更新步約需7.42秒，CovMatch約需0.78秒；每輪疊代（50步外循環）約400秒對55秒。一次完整的蒸餾運行（200輪疊代）約需1.3 GPU小時，而CovMatch約需0.14 GPU小時。峰值顯存兩者相同，約9.3GB。
雖然RAHA比CovMatch慢了約7倍，但有幾點值得考量。首先，蒸餾是一次性離線成本，蒸餾好的合成數據可以反覆用於下游訓練、架構搜索和消融實驗，平均到每次下游實驗的成本可忽略不計。其次，與軌跡匹配類方法相比，RAHA不需要儲存教師模型的參數快照，一個有約9000萬參數的模型如果要保存50個檢查點，就需要約18GB儲存空間，RAHA完全沒有這個負擔。額外的計算開銷本質上來自子空間分解和排列不變匹配這兩個核心算法貢獻，而不是雙曲幾何本身的提升代價——這些瓶頸都可以通過截斷SVD、隨機化SVD、緩存基向量更新、低秩Sinkhorn近似等工程優化手段進一步降低。
說到底，RAHA做了一件看起來很簡單、實際上頗為精妙的事情：它不試圖把真實數據的所有統計特性都塞進小小的合成集，而是先搞清楚"圖片和文字之間真正需要一致的是哪些方向"，然後只在這些方向上嚴格對齊，在其餘方向上給合成數據留有餘地。這就像一個廚師蒸餾一鍋湯時，知道這道湯的精華是鮮味和香氣，所以專門把這兩樣東西濃縮到極致，而不是把包括水分在內的一切成分都等比例縮小。
這種"選擇性濃縮"的策略在預算充足時表現最為突出。當合成數據只有100對時，合成集的容量本身限制了它能承載的語義模式數量；當預算增加到500對乃至1000對時，RAHA的結構性優勢越來越明顯，超越其他方法的幅度也越來越大。這個趨勢給了我們一個有用的經驗法則：如果預算極端有限，CovMatch之類直接匹配統計量的方法簡單高效；一旦預算稍微寬鬆，RAHA的幾何感知分解就能發揮出更大的價值。
RAHA也有其局限性。它的表現仍然依賴於蒸餾時使用的編碼器；如果數據集裡的語義結構不具備明顯的層級性（比如說明文字非常隨機、多義），雙曲幾何的歸納偏置就幫不上多少忙。此外，RAHA沒有內置任何偏見檢測或去除機制——如果真實數據里存在刻板印象（比如某類視覺屬性和某類文字描述總是錯誤地關聯在一起），這些關聯如果恰好落在強相關的範圍子空間裡，就會被完整地保留下來。這是數據蒸餾領域普遍存在的問題，需要額外的公平性審計工具來應對。
如果你對這項研究的技術細節感興趣，可以在arXiv上以編號arXiv:2606.29464查閱完整論文，裡面有完整的數學推導、超參數設置、更多實驗結果和詳細的消融分析。
Q&A
Q1：RAHA方法和普通的圖文匹配數據蒸餾有什麼本質區別？
A：RAHA的核心區別在於它不是對所有特徵方向一視同仁地壓縮，而是先找出圖片和文字之間真正強相關的"共享語義方向"（範圍子空間），在這些方向上嚴格匹配真實數據的排名結構，同時對弱相關方向（殘差子空間）施加壓縮約束，防止噪聲占據合成數據的容量。同時，它把特徵提升到雙曲空間處理，更適合捕捉概念的層級結構。
Q2：數據蒸餾出的合成圖片和真實圖片看起來一樣嗎？
A：不完全一樣。合成圖片是從真實圖片初始化，經過梯度優化不斷調整像素，保留了大致的視覺內容，但會有輕微的紋理變化。RAHA蒸餾出的圖片相比其他方法噪聲更少、紋理更自然，但仍是優化後的合成物，而非原始照片。合成文字則完全是在嵌入空間裡優化的連續向量，並不對應真實的詞語序列。
Q3：RAHA蒸餾出的數據能用於訓練不同類型的AI模型嗎？
A：能，而且這正是RAHA的一個亮點。實驗顯示，用RAHA蒸餾的數據訓練出來的模型，換用不同的圖像骨幹（如ViT-B替代NFNet）或不同的文本編碼器（如DistilBERT替代BERT）後，性能下降比CovMatch更小，說明RAHA保留的是更通用的圖文關係結構，而不是與特定編碼器綁定的統計特性。
