初創公司RapidFire AI今日發布了一款開源軟體包，旨在簡化企業人工智慧應用中日益重要的管道開發流程。
該軟體包名為RapidFire AI RAG，擴展了該公司的"超並行實驗框架"，允許開發者同時測試和評估不同的分塊配置（將大型文檔分割成小片段）、檢索技術和提示方案。這些過程通常是順序進行的，但RapidFire的技術允許多個流並行運行。
評估瓶頸問題
隨著生成式AI應用的擴展，開發者正在尋求更穩健的方式來評估和定製性能。聯合創始人兼首席技術官Arun Kumar在加州大學聖地亞哥分校任教期間開發了這一併行化軟體，他表示，評估指標通常具有領域特異性，有時使用較小的語言模型進行自動化，在過去一年中已經顯著成熟。
然而，實際應用並沒有跟上技術的步伐。Indico Data Solutions公司首席技術官Madison May在聲明中表示："在企業AI中，困難的部分不是構建管道，而是知道哪種檢索、分塊和提示的組合能提供可信賴的答案。"
RapidFire AI RAG支持對多個RAG實驗進行實時控制、監控和自動優化，即使在單台機器上運行也是如此。系統根據用戶是使用自託管模型還是封閉模型應用程序接口，動態分配計算資源或Token使用限制到不同配置中。
RapidFire AI聯合創始人兼首席執行官Jack Norris表示，組織往往低估了RAG工作流的複雜性。
"他們不會從基本上是商品化的模型中獲得差異化優勢，關鍵在於如何最好地利用他們的數據。"
Kumar表示，許多團隊未能考慮到決定模型性能的多個相互作用變量。"人們只是忽視了RAG中存在無數個調節旋鈕，"他說。"如何分塊數據？如何嵌入？如何檢索？如何重新排序？每一個都以非平凡的方式相互作用，並可能影響你的評估指標。"
Kumar表示，據一些估計，90%的RAG原型由於在測試這些變量方面的缺陷而未能投入生產。
超並行化方法
該公司的方法以其稱為"超並行化"的方法為中心，這是一種使用共享內存技術在有限硬體資源（如圖形處理器）中交換配置的方法。這允許多個實驗並行運行，更快地交付結果。
"我們以非常高效的方式自動在GPU中交換配置，"Kumar說。"這基本上允許你在數據分片上獲得所有配置的樣本。"
系統還支持動態實驗控制，允許用戶在運行過程中停止、克隆或修改實驗。即將推出的更新將增加AutoML支持，用於成本或性能的自動優化。
現已可用
RapidFire AI RAG與用於智能體工作流的LangChain框架集成。它支持來自OpenAI、Anthropic、Hugging Face的混合大語言模型、自託管重排器和各種搜索後端。它支持文檔預處理和查詢處理，並能通過摺疊配置間的冗餘操作（資料庫工程中稱為多查詢優化的概念）更高效地執行實驗。
Norris表示，該工具自一個月前軟啟動以來已被下載超過1000次，一些設計合作夥伴已在內部測試。現在可通過pip install rapidfireai-rag獲取。
該公司計劃未來通過高級商業版本和軟體即服務產品來實現工具貨幣化。
"我們現在的重點是開源，讓它投入使用，並與Hugging Face等組織合作，"Norris說。
RapidFire AI已從406 Ventures、AI Ventures Management、Osage University Partners Management和Willowtree Investments籌集了400萬美元的預種子資金。
Q&A
Q1：RapidFire AI RAG是什麼？它有什麼特別之處？
A：RapidFire AI RAG是一款開源軟體包，專門用於優化RAG（檢索增強生成）工作流。它的特別之處在於採用"超並行化"技術，可以同時測試多種分塊、檢索和提示配置，而傳統方法需要順序進行，大大提高了開發效率。
Q2：為什麼90%的RAG原型無法投入生產？
A：主要原因是RAG系統中存在大量相互作用的變量，包括如何分塊數據、如何嵌入、如何檢索、如何重新排序等。每個環節都會以複雜方式相互影響並影響評估指標，而許多開發團隊未能充分測試這些變量組合。
Q3：RapidFire AI RAG如何實現並行優化？
A：它使用共享內存技術在GPU等有限硬體資源中高效交換配置，讓多個實驗同時運行。系統還支持動態實驗控制，用戶可以在運行過程中停止、克隆或修改實驗，並能自動分配計算資源到不同配置中。
