這項由韓國大學、天主教大學及AIGEN Sciences聯合開展的研究，以預印本形式發布於2026年7月，編號為arXiv:2607.04605，感興趣的讀者可通過該編號查閱完整論文。
當你用手機搜索"穿藍色外套的人站在紅色跑車旁邊"這張照片時，系統需要快速在數百萬張圖片中找到最匹配的那一張。這背後涉及一個核心問題：電腦究竟是把整張圖片當作一個整體來理解，還是能細緻地識別圖中每一個局部細節？這項研究正是圍繞這個問題展開的。
一、為什麼圖像檢索不是"一眼掃過去"那麼簡單
把圖像檢索的過程想像成圖書館裡的查書工作。早期的方式是給每本書貼一個總結標籤，查書時就用關鍵詞和標籤對比，找到最接近的就行。這種方式速度快，但一旦你的查詢非常具體——比如你要找一本"封面左上角有棵橡樹、右下角有一隻貓、書名用紅色字體印刷"的書——僅憑一個總結標籤就很難精確定位了。
多向量視覺-語言檢索（Multi-vector Vision-Language Retrieval）的出現，就是為了解決這個"細節定位"難題。它不再只給圖片貼一個總結標籤，而是把圖片拆解成數百個乃至上千個局部"小標籤"（即視覺標記，visual tokens），每個小標籤對應圖片的某個小區域或某種局部特徵。當你提出一個具體的文字查詢時，系統會把查詢語句也拆成若干小片段，然後用每個文字小片段去和圖片裡所有的小標籤逐一比較，找到匹配度最高的那個。這種方式叫做"最大相似度晚期交互"（MaxSim
late interaction），它讓檢索系統能夠捕捉到對象、屬性、位置關係等細粒度的視覺證據。
目前業界最具代表性的實現是ColPali和ColQwen2這兩個系統。ColPali基於大型視覺-語言模型，能為每張圖片生成超過一千個局部視覺標記；ColQwen2則建立在Qwen2-VL之上，支持更靈活的圖像表示方式。這兩個系統在細粒度圖像檢索任務上表現出色，但隨之而來的問題也很棘手——每張圖片儲存上千個標記，數百萬張圖片的索引會消耗巨大的儲存空間，而檢索時還需要把每個查詢標記和每張圖片的所有視覺標記逐一比較，計算量極為驚人。
二、壓縮視覺標記，為什麼說起來容易做起來難
面對儲存和計算的雙重壓力，最直接的想法是把圖片的視覺標記數量壓縮下來，從一千多個減少到幾十個。這在技術上有兩種主要思路：一種是"剪枝"，直接刪掉一些認為不重要的標記；另一種是"合併"，把相似的標記聚合成一個代表性標記。
然而，這裡有一個根本性的難題：圖片的哪部分"重要"，完全取決於用戶會問什麼問題。同一張街頭照片，有人可能關心"路邊的咖啡館招牌"，另一個人關心"穿條紋衣服的行人"，還有人關心"遠處的紅綠燈"。在不知道未來查詢的情況下，貿然刪除某些局部資訊，就可能讓系統在面對相關查詢時找不到對應的視覺證據。
更棘手的是，即使選擇"合併"而非"剪枝"，也存在一個隱患：如果只是簡單地把視覺上相似的標記合併在一起，那麼圖片中兩個外貌相似但實際上是不同對象的區域，很可能被錯誤地融合成同一個代表性標記。比如一張圖片裡有兩個都穿黑色外套的人，純粹基於外觀相似性的合併算法可能會把這兩個人的視覺資訊混合在一起，導致系統在接到"左邊那個戴帽子的男人"這類精確查詢時，無法區分兩者的差異。這個問題被研究者稱為"跨實例混合"（cross-instance mixing），是細粒度視覺檢索中的一個關鍵失效模式。
三、SaMer的核心思路：讓壓縮"懂得"尊重對象邊界
面對上述挑戰，研究團隊提出了一個名為SaMer（Semantic-aware Merging，語義感知合併）的框架。這個框架的核心理念是：壓縮視覺標記時，不僅要考慮標記的外觀相似性，還要考慮空間位置，更關鍵的是——要尊重圖像中不同對象實例的邊界，避免把屬於不同對象的視覺資訊混合在一起。
整個系統的工作流程可以分成四個環節，彼此緊密銜接。第一步，凍結的視覺編碼器和語言編碼器分別對圖像和查詢文本進行編碼，提取出各自的內部表示。第二步，一個共享的投影層把圖像和文本的表示統一映射到同一個向量空間，使兩者可以直接比較相似度。第三步，圖像側的N個視覺標記被壓縮成K個代表性標記（其中K遠小於N，默認設置為64）。第四步，用這K個壓縮後的代表性標記與查詢標記進行MaxSim晚期交互，完成檢索評分。
壓縮的具體機制是SaMer的技術核心。每個視覺標記不僅攜帶自身的語義特徵向量，還有一個表示其在圖像中位置的空間坐標。SaMer在衡量"兩個標記是否應該被合併在一起"時，同時考慮兩個維度：一是特徵相似性——兩個標記的語義向量是否接近；二是空間連貫性——兩個標記在圖像中的位置是否相鄰。用一個公式來描述這個距離：距離等於（1減去特徵點積）再加上γ乘以位置距離的平方，其中γ是控制空間項強度的參數。特徵項負責把語義相似的標記歸為一組，空間項則防止視覺相似但物理位置相距很遠的區域被過度合併。
在完成距離計算後，SaMer並不像傳統聚類那樣硬性地把每個標記分配給某一個代表——而是採用"軟分配"（soft assignment）的方式。每個標記對每個代表的貢獻度，通過一個基於溫度參數的softmax函數來決定，距離越小的代表獲得越高的權重。最終，每個代表性標記是所有分配給它的原始標記的加權平均，並經過歸一化處理。這種軟分配的方式比硬分配保留了更多細粒度的資訊，實驗中也驗證了它優於均值聚合、中心點選取等其他合併變體。
四、訓練時的"對象感知先驗"：一個只在學習階段發揮作用的小技巧
SaMer最有趣的設計之一，是它在訓練階段引入了一種"對象感知合併先驗"（object-aware merge prior），但在實際使用時完全不需要。
具體來說，在訓練過程中，SaMer會使用圖像的對象標註資訊（即圖像中每個對象所在的矩形框，bounding box）。對於每個視覺標記，系統根據它在圖像中的空間坐標，給它打上一個標籤：如果這個標記位於某個對象的框內，就標記為該對象實例；如果同時位於多個框內，就歸屬於最小的那個框；如果不在任何框內，就標記為"背景"。
有了這些標籤，SaMer就能估算出每個代表性標記當前"包含了哪些對象實例的資訊"。具體做法是：先用不傳遞梯度的硬分配算出每個代表主要由哪些標記構成，再統計這些標記的對象標籤分布。如果要把一個屬於對象A的標記，合併進一個主要由對象B的標記構成的代表，這個操作就會受到一個懲罰（penalty）——懲罰大小等於1減去該對象標籤在該代表中的占比，換句話說，跨實例的合併會獲得更低的權重。
這個懲罰項被加入到前面提到的距離計算公式中，通過軟分配的溫度參數影響最終的合併結果。重要的是，這個懲罰項不是一個單獨的監督信號或輔助損失函數，而是直接融入了合併權重的計算。梯度通過軟分配權重流回到投影層，讓投影層學會產生在合併之後依然能有效保留對象級別語義區分性的特徵表示。
到了實際檢索階段，SaMer完全拋棄對象標註資訊，只使用特徵-空間聯合距離進行軟分配。這意味著它不需要額外的目標檢測模型，也不需要人工標註數據，整個壓縮過程在推理時是完全自動化和無標註的。對象感知的先驗，已經在訓練過程中"內化"進了投影層的參數裡。
五、只更新一個投影層：最小代價換取最大兼容性
SaMer在適應階段只更新圖文共享投影層（shared projection layer），而視覺編碼器和語言編碼器全程保持凍結。這個設計選擇背後有一個務實的考量。
原始的ColPali或ColQwen2，其投影層是在"每張圖片使用全部N個視覺標記"的假設下訓練的。當SaMer把標記數量壓縮到K=64時，投影層輸出的特徵向量，在經過合併操作後，未必還能很好地支持MaxSim檢索。因此，需要用壓縮後的K個代表性標記計算出的MaxSim評分，來反向更新投影層的參數，讓它適應這種壓縮後的工作模式。
研究團隊使用的是多正樣本InfoNCE檢索損失（multi-positive InfoNCE loss）——這是對比學習領域的經典損失函數。對於一個文字查詢，批次中所有與之匹配的正樣本圖片都應該獲得高分，而負樣本圖片獲得低分。通過這個損失函數，投影層會逐漸學會：在合併操作之後，合併出來的K個代表性標記，依然能夠有效地支撐MaxSim檢索。
整個適應過程在Flickr30K-Entities的訓練集上進行，共訓練約1746步，使用學習率2×10??、權重衰減1×10??、餘弦學習率調度（含10%的預熱階段），在4塊NVIDIA A100 80GB GPU上完成。視覺和語言編碼器始終凍結，因此計算開銷相對可控。
六、實驗結果：壓縮掉93%的標記，檢索效果反而提升了
研究團隊在四個數據集上評估了SaMer的性能，覆蓋了自然圖像檢索、組合式圖像檢索和文檔圖像檢索三種不同場景。
Flickr30K是自然圖像檢索的標準基準，也是SaMer適應訓練所用的數據集（因此屬於"域內"評測）。以ColPali為骨架，SaMer將K=64時的R@1（即檢索結果中正確圖像排在第一位的比例）從原始ColPali的77.0%提升到了82.4%。這個提升不僅超過了未壓縮的原始模型，還超過了所有其他壓縮基線方法。最強的對比壓縮方法H-Pool（一種不知道對象資訊、只靠特徵相似性進行池化的方法），R@1僅為73.7%；SAP（基於結構錨點的剪枝）為68.3%；HPC（結合了量化和注意力引導剪枝）更低，只有54.0%。以ColQwen2為骨架時，SaMer將R@1從73.6%提升到79.3%，同樣優於所有對比方法。
MSCOCO是一個域外評測基準（SaMer沒有在MSCOCO上做任何訓練），用來驗證方法的泛化能力。ColPali骨架下，SaMer將R@1從47.4%提升到51.6%，ColQwen2骨架下從43.3%提升到47.5%，都顯著優於H-Pool、SAP和HPC。
ImageCoDe是一個專門測試"細粒度區分能力"的數據集——這裡面的圖片往往在視覺上極為相似，只有某個細微的對象、屬性或關係差異能區分正確答案和干擾項。ColPali骨架下，SaMer將R@1從5.4%提升到5.9%，nDCG@10從13.2提升到14.4。雖然絕對數值看起來不大，但在這個高度具有挑戰性的任務上，能夠在大幅壓縮標記數量的同時還實現提升，說明SaMer確實比其他方法更好地保留了細粒度的局部視覺證據。
DocVQA是文檔圖像檢索場景，與自然圖像檢索有本質區別——文檔中的關鍵資訊往往是稀疏分布的文字和版式結構，而不是對象和場景。研究團隊坦誠地指出，SaMer的設計針對的是自然圖像中的對象感知壓縮，DocVQA實際上是一個"超出SaMer設計範圍"的邊界案例。在這個任務上，SaMer的表現沒有超過未壓縮的原始ColPali（ColPali全量標記的R@1是51.0%，SaMer微調後是45.7%），但仍然優於同等壓縮比例下的H-Pool、SAP和HPC等對比方法，保持了一定競爭力。
七、不只看檢索分數，還要看"檢索到的證據是否準確"
研究團隊認為，僅憑檢索排名指標，不足以全面評估壓縮方法是否真正保留了對象級別的局部視覺證據。為此，他們設計了三個專門用於評估"定位質量"的指標。
BoxMass衡量的是：與某個查詢短語最相關的視覺激活，是否集中在該短語對應的對象區域框內。計算方式是把激活圖在目標框內的總值除以激活圖的全局總值，比值越高說明相關證據越集中在正確位置。RegionHit衡量的是弱定位能力——在不同激活閾值下，高激活區域與目標框的交並比（IoU）是否超過0.05這個寬鬆門檻，只要命中過就算成功，綜合多個閾值取平均。CoverageIoU則比RegionHit更嚴格，它直接測量高激活區域與目標框的平均交並比，衡量覆蓋程度而不僅僅是"有沒有命中"。
在這三個指標上，SaMer的表現與其他方法的差異十分顯著。以ColPali為參照，完整版ColPali（使用全部1030個標記）的BoxMass是51.8，RegionHit是10.5，CoverageIoU是2.1。訓練無關的SaMer（無微調）已經把RegionHit大幅提升到62.8，CoverageIoU提升到11.7，這說明純粹的特徵-空間軟合併本身就有助於讓壓縮後的表示在空間上更加集中、更接近正確的對象區域。經過投影層微調的SaMer進一步把BoxMass提升到54.2（超過了完整ColPali的51.8），RegionHit達到68.3，CoverageIoU達到16.4。相比之下，HPC的BoxMass只有30.3，SAP是39.9，H-Pool是41.4——都明顯低於SaMer。這意味著SaMer不僅讓高激活區域覆蓋到了目標對象附近，還把相關證據更緊密地集中在了正確的對象區域內部，而不是散布在周圍的背景或相鄰對象上。
八、儲存空間和計算速度：16倍的差距意味著什麼
在效率層面，SaMer帶來的改善同樣十分具體。ColPali在默認設置下，每張圖片儲存1030個視覺標記（每個標記是128維的浮點向量，FP16格式）。儲存一百萬張圖片的圖像側索引需要263.7GB的空間。使用SaMer壓縮到K=64後，儲存需求降至16.4GB，壓縮比為16.09倍。MaxSim計算量從36.87萬億次操作降至2.29萬億次，也是約16倍的減少。
在實際檢索吞吐量上，以Flickr30K的評測為例，完整ColPali的每秒查詢數（QPS）為625.5，SaMer提升到2716.3，大約是4.3倍的加速。在MSCOCO這個圖片數量更多的數據集上，完整ColPali的QPS僅為154.2（因為比較的候選圖片更多），SaMer提升到1406.7，加速約9.1倍。吞吐量的提升幅度沒有與標記數量的壓縮比完全同比例，這是因為內存訪問、批次處理等工程因素會影響實際速度，但整體改善依然相當顯著。
ColQwen2本身標記數量就少於ColPali（Flickr30K下平均約238個，MSCOCO下約127個），所以SaMer帶來的相對壓縮比較小：Flickr30K上約3.73倍，MSCOCO上約1.99倍，相應的吞吐量提升也在1.9到3.1倍之間。
九、消融實驗：每個組件貢獻了多少
研究團隊通過系統的消融實驗，驗證了SaMer各個組件的貢獻，以避免"整體有效但不知道哪個部分真正有用"的疑問。
只使用特徵相似性進行合併（不考慮空間位置，不考慮對象感知先驗）的變體，在Flickr30K上R@1為80.7%，MSCOCO上為49.8%。在此基礎上加入空間連貫性約束（即完整的特徵-空間距離公式），Flickr30K R@1小幅變化到80.4%，MSCOCO維持在49.8%，變化幾乎可以忽略不計。這說明空間項本身對檢索質量的直接影響有限——它主要負責避免空間上相距很遠的區域被過度合併，但這種約束單獨並不足以讓壓縮後的標記更好地保留對象級別的證據。
真正起作用的是對象感知先驗：加入之後，Flickr30K R@1跳升到82.4%，MSCOCO R@1跳升到51.6%，BoxMass從47.8提升到54.2，CoverageIoU從13.1提升到16.4。這表明核心增益來自於合併時對對象實例邊界的尊重，而不單純是空間平滑或者投影層微調的效果。
為了進一步確認"微調本身是不是主要原因"，研究團隊還設計了一組受控實驗：讓H-Pool、HPC、SAP這些對比壓縮方法也在同樣的條件下（相同骨架、相同投影層微調、相同K=64預算）進行訓練，然後與SaMer比較。在這個完全同等的適應條件下，SaMer在Flickr30K和MSCOCO上依然取得了最好的R@1和nDCG@10，說明增益不能單純歸因於投影層微調，SaMer的合併規則本身也貢獻了獨立的、不可替代的性能提升。
此外，研究團隊還比較了合併與剪枝的差異：隨機剪枝和空間剪枝在無微調情況下Flickr30K R@1分別只有68.6%和68.8%，而SaMer無微調版本已經達到73.6%，差距相當明顯。加入微調後，SaMer（82.4%）依然明顯優於隨機剪枝（79.9%）和空間剪枝（79.5%）。這驗證了一個直覺上容易理解的結論：剪枝相當於在不知道用戶會問什麼問題的情況下，提前扔掉了一部分圖像證據；而合併把資訊聚合到代表性標記中，資訊損失更少，對於未來的查詢更加魯棒。
說到底，這項研究回答了一個很樸素但在工程實踐中極為重要的問題：當你需要大幅縮減圖像檢索系統的儲存和計算成本時，你的壓縮策略應該遵循什麼原則？研究團隊的答案是——壓縮的目標不僅是減少標記數量，更是保留那些未來查詢可能依賴的對象級別視覺證據。一個不懂得尊重對象邊界的壓縮方法，哪怕在工程上節省了儲存空間，也可能在不知不覺中讓檢索系統喪失了區分細節的能力。
SaMer給出的解法簡潔而有效：用特徵相似性加空間連貫性來組織合併，用訓練時的對象標註來約束跨實例混合，用投影層微調來適配壓縮後的工作狀態，用軟分配來最大程度保留合併過程中的資訊。在K=64這個極度壓縮的配置下，它不僅沒有讓檢索效果下滑，反而在多個基準上超越了未壓縮的原始模型，同時把儲存需求壓縮了16倍有餘。
對於普通用戶而言，這項研究的實際意義可能體現在未來的圖像搜索應用中：更快速地響應精確的圖像查詢，在手機或低功耗設備上也能運行高質量的圖像檢索，大規模商業圖像庫的運營成本降低。感興趣的讀者可以通過arXiv編號2607.04605查閱完整論文，研究團隊也在GitHub（dmis-lab/SaMer）開放了代碼。
---
Q&A
Q1：SaMer在壓縮圖像標記時，為什麼還需要用到對象標註框？推理時不也沒有標註框嗎？
A：SaMer用對象標註框的方式非常巧妙——它只在訓練階段用標註框來告訴模型"不同對象的資訊不應該混在一起"，通過調整合併權重來懲罰跨對象的融合操作。這個約束通過梯度更新，慢慢把這種"尊重對象邊界"的能力內化到投影層的參數裡。到了實際使用時，投影層已經學會了產生更適合對象級分離的特徵，不再需要任何標註框，完全自動化運行。
Q2：SaMer把圖像標記從一千多個壓縮到64個，為什麼檢索效果反而比未壓縮時更好？
A：這看起來違反直覺，但背後有合理原因。原始的ColPali投影層是在"使用全部標記"的假設下訓練的，其特徵表示並沒有專門針對"合併後仍然可區分"這個目標優化。SaMer通過壓縮感知的投影層微調，讓特徵表示更適合在合併狀態下支撐MaxSim檢索。同時，對象感知合併減少了跨實例的資訊混淆，讓64個代表性標記能夠更清晰地承載各自負責的對象區域證據，從而在某些任務上超過使用全量冗餘標記的原始模型。
Q3：SaMer和H-Pool、SAP這些方法的本質區別是什麼？
A：H-Pool是基於特徵相似性進行固定預算的池化，完全不考慮對象實例的區分；SAP是從結構上修剪錨點區域的標記，屬於剪枝而非合併；HPC則結合了量化和注意力引導的剪枝。SaMer的核心區別在於：它在合併時引入了對象感知的約束，主動防止不同對象實例的視覺資訊被混合進同一個代表性標記，從而讓壓縮後的標記集合在面對細粒度的對象、屬性、關係查詢時，依然能找到對應的局部證據。
