Cohere於周三發布了Embed 5，該模型讓團隊能夠使用Embed 5 Pro對數據進行索引，同時用速度更快、成本更低的Embed 5 Fast來查詢這些相同的向量，而不需要創建第二套索引。
該公司建議使用Pro進行索引、使用Fast進行查詢，尤其適用於RAG（檢索增強生成）和智能體工作負載場景，因為在這些場景中，同一數據會被反覆搜索，延遲問題會不斷累積。
這種做法在檢索質量上存在一定取捨，不過Cohere的測試顯示這種損失相當有限。在涵蓋文本、圖像、融合文檔和解析文檔的40個數據集測試中，以Pro索引、Fast查詢的方式得分為98.4，而Pro對Pro的基準得分為100。如果索引和查詢都使用Fast，得分則降至96.6。Cohere表示，在Pro和Fast搭配使用的情況下，沒有任何單個數據集出現明顯的質量下降。
共享一個嵌入空間的兩個模型
由於Pro和Fast共享同一個嵌入空間，團隊可以在兩者之間切換，而無需對語料庫重新進行嵌入處理。兩者在相同維度下生成的向量是兼容的，Cohere表示，即便使用Matryoshka截斷或int8量化，團隊依然可以混用這兩個模型。
由於Pro和Fast共享同一個嵌入空間，團隊可以在兩者間自由切換而不必重新嵌入語料庫。
Pro的價格為每百萬Token 0.12美元，而Fast為0.08美元，在Cohere的測試中，Fast的文檔處理吞吐量平均達到Pro的2.4倍。對於文檔攝入頻率遠低於搜索頻率的RAG系統而言，可以讓Pro處理進入索引的文檔，同時由Fast處理更為繁重的查詢流量。
藉助Matryoshka縮減向量規模
兩款模型都支持從256到2048的六種向量維度，並支持float32、int8和二進制格式。在規模化部署中，儲存空間的差異會變得十分顯著，這對於那些正在重新考量向量儲存方式的團隊尤為重要。
Cohere給出的數據顯示，一個2048維的float32向量占用8KB，若有1億個文本塊，總儲存量約為819GB。而1024維的int8向量可將這一數字降至約102GB，256維的二進制向量則能將同樣規模的語料庫壓縮至約3.2GB。
對於大多數部署場景，Cohere建議使用1024維int8格式，這樣既能減少內存和儲存占用，又能基本保持接近全精度的檢索質量。二進制表示法能提供更強的壓縮效果，但會帶來一定的精度損失，更適合用於初始檢索階段，之後再配合高精度的重排序環節。
兩款模型都支持從256到2048的六種向量維度，並支持float32、int8和二進制三種格式。
超越純文本的檢索能力
Embed 5支持文本、圖像以及文本圖像融合輸入，覆蓋100多種語言，上下文窗口達到128K Token。該模型可以直接對頁面圖像進行嵌入處理，也可以將圖像與文本輸入結合為單一向量。
Cohere報告稱，在其五個數據集組成的融合文本圖像評測中，Pro的平均得分為82.3，Fast為81.2，而谷歌的Gemini Embedding 2得分為61.3。在解析PDF的評測中，Pro得分84.8，緊隨其後的是Voyage 4 Large的83.6、Fast的83.4，以及Gemini Embedding 2的80.8。
在ViDoRe V3評測中（該評測使用的是由基準測試作者整理的解析文本輸出，而非頁面圖像），Pro平均得分85.8，Fast為84.5，相比之下Voyage 4 Large為83.7，Gemini Embedding 2為83.2，而Cohere此前的Embed 4僅為77。
Cohere在多語言方面的結果則不那麼一邊倒，這一點頗為引人注目，尤其考慮到該公司近期在機器翻譯領域的發力。在五種歐洲語言的平均得分上，Pro以77分領先，Voyage 4 Large為76分，Gemini Embedding 2為73分，但在九項測試中Pro落後於Gemini Embedding 2。
解讀基準測試的細節說明
這些基準測試結果需要一些背景說明，因為Embed 5是Cohere首個採用RCP-nDCG@10評測方式的模型系列，該方法使用針對具體查詢的相關性標準，而非固定的相關性標籤。
Cohere表示，這種方法能夠發現原始基準標籤遺漏的相關結果，但RCP-nDCG@10衡量的是在固定候選集上的重排序效果，而非從完整語料庫中進行的第一階段檢索。
第一階段檢索則單獨使用標準的nDCG和召回率指標進行評估，而融合文本圖像、頁面圖像以及跨模型測試則使用標準的nDCG@10指標，因此各項評測得出的分數之間並不能直接進行比較。
將索引與服務分離
Embed 5帶來的更為重要的變化，是讓團隊能夠將索引和服務當作兩個獨立的基礎設施決策來處理。同一語料庫可以針對檢索質量進行索引，同時查詢路徑則可以針對吞吐量和延遲進行優化，而無需維護兩套數據表示形式。
Cohere給出的98.4分表明，在其測試中，Pro索引加Fast查詢的組合方案在檢索質量上的損失相對較小，不過這一數字是對Cohere自身評測套件的平均結果。在實際生產環境中，RAG和智能體系統仍需要在自己的語料庫和查詢分布上，對Pro-Fast組合與Pro-Pro組合進行基準測試，尤其是在檢索錯誤可能會沿著智能體工作流的多個步驟持續傳遞的情況下。
Embed 5 Pro和Fast已可通過Cohere的API和Model Vault、微軟Foundry以及亞馬遜SageMaker獲取，並支持通過vLLM在私有VPC和本地環境中部署。
在實際生產環境中，RAG和智能體系統仍需要在自己的語料庫和查詢分布上，對Pro-Fast組合與Pro-Pro組合進行基準測試，尤其是在檢索錯誤可能沿著智能體工作流的多個步驟持續傳遞的情況下。
Q&A
Q1：Cohere Embed 5是什麼？
A：Embed 5是Cohere發布的最新嵌入模型系列，包含Embed 5 Pro和Embed 5 Fast兩個版本，支持團隊用Pro索引數據、用Fast進行查詢，而無需創建第二套索引。
Q2：使用Fast查詢會不會影響檢索質量？
A：會有一定影響，但較為有限。Cohere測試顯示，以Pro索引、Fast查詢的得分為98.4（滿分基準為100），如果索引和查詢都用Fast，得分會降至96.6。
Q3：Embed 5支持哪些數據類型和部署方式？
A：Embed 5支持文本、圖像及文本圖像融合輸入，覆蓋100多種語言，支持128K Token上下文窗口。可通過Cohere的API、微軟Foundry、亞馬遜SageMaker獲取，並支持通過vLLM進行私有化部署。
