關於每項任務最適合何種規模、形態和體量的模型，這場爭論短期內不會消失。無伺服器推理服務商Featherless現已加入這場討論。該公司發布了Simple Jev，這是一個開源庫，能將開源AI模型轉化為高速、零樣本分類引擎
。
本月早些時候，Featherless發布了閉源純文本版的TypeSafe Jev，而Simple Jev則在此基礎上將結構化決策功能擴展至開源模型，並在Featherless託管端點上提供圖像處理能力。該工具能讓應用程式評估輸入數據並返回分類結果或二元選擇，而無需生成對話式文本。
不要用坦克送披薩
Featherless首席執行官兼聯合創始人尤金·齊亞（Eugene Cheah）向The New Stack表示，使用前沿大模型來處理類似支持工單分類這樣的任務，就工具過度配置而言，「就像用坦克送披薩」。
齊亞說：「當然，披薩坦克最終也能送到，但速度慢、成本高，而且根本不是合適的工具。企業需要的是即時響應的敏捷能力，而這正是業界長期以來忽視的另一種AI形態。」
Featherless託管的Simple Jev端點還為決策流程提供視覺支持。目前該功能僅適用於Gemma或Qwen模型，讓開發團隊能夠將圖像作為上下文進行即時分類。通過繞過對話式文本生成，該軟體降低了延遲並減少了計算資源消耗。
「披薩坦克最終也能送到，但速度慢、成本高，而且根本不是合適的工具。」
Featherless對多模態視覺支持的立場十分明確。齊亞承認大型閉源模型也能完成這些任務，但他堅持認為「這是用錯了工具」，因為這些模型是通過「數萬億參數的龐大大語言模型」生成文本來實現的，開發者顯然要為這種服務支付前沿模型的高昂價格。
齊亞解釋道：「業界一直過度關注大語言模型的規模，卻很少回過頭來思考成本和效率問題。Simple Jev從不『生成』答案：我們在模型即將做出選擇的那一刻就讓它停下，讀取其對每個允許選項的評分，然後輸出概率。」
什麼是零樣本分類引擎？
對不了解的人來說，零樣本引擎利用預訓練語言模型，無需針對特定任務的訓練數據，就能將輸入內容分類到未見過的目標類別中。由於零樣本引擎對未經明確訓練的輸入進行分類，它依靠遷移學習來預測新輸入的類別，而無需事先接觸過這些類別。
「但分類器並不是新事物，這是ChatGPT出現之前大學裡教授AI課程時就有的內容。真正新的地方（這要歸功於Jev）在於一個設計精良的零樣本API。核心部件早已存在，我們對此也很熟悉，這就是為什麼我們能這麼快就把它搭建起來。舊事物又煥發新生，」齊亞興奮地說。
在說明團隊如何構建這項新工具時，齊亞認為：「任何即將畢業的AI/ML博士，只憑一句話描述就能重新實現Simple Jev。」
「他們會實現一個『共享前綴、兩階段、僅預填充、基於對數概率的分類器』來完成這個任務。我們將其開源，是為了讓它更容易被複製、效率更高，我預計未來會出現數百個開源的Jev克隆版本，」齊亞補充道。
「任何即將畢業的AI/ML博士，只憑一句話就能重新實現Simple Jev。我預計會出現數百個開源的Jev克隆版本。」
Featherless還推出了免費公共端點，該公司表示這將讓開發者無需API密鑰或登錄即可測試分類模型（演示版本上限為2000個token的上下文，每秒兩次請求）。在生產環境使用方面，Simple Jev的定價為每百萬輸入token 0.03美元起，輸出token免費，相比之下TypeSafe的Jev每百萬輸入token收費0.042美元。這是一個可能上漲的測試期底價，而Featherless自身的產品列表顯示，其基於Qwen的分類器每百萬輸入token定價為0.28至0.30美元。那麼這究竟算貴，還是像Little Caesars披薩優惠一樣便宜？
齊亞詳細解釋道：「從字面意義上說，這幾乎便宜到無需計量。假設對一張圖像或一段文字進行典型分類決策大約需要500到1200個token，那麼按每百萬token 0.03美元計算，你為一次決策支付的費用大約是百分之三分錢。換個角度看，這相當於每百萬次決策花費約15至35美元。而且輸出還是免費的。」
告別單一通用模型
Featherless呼籲業界告別其所稱的「單一通用模型」，並推出了最新工具，宣稱未來將由數以百萬計的輕量級專用模型驅動。
齊亞補充道：「一開始他們說開源模型永遠趕不上。後來他們說開源只在個別場景中獲勝。很快他們就會說閉源模型只在個別場景中獲勝。」
正如這位Featherless首席執行官所承認的，分類器並不是什麼新鮮事物。作為模型工具工程的一個子類別，其他零樣本視覺和多模態分類技術已經存在了一段時間。
其他在零樣本領域發揮作用的模型
OpenAI的CLIP於2021年初首次推出，可以說是零樣本圖像分類領域早期的開源先驅。該模型通過自然語言監督學習視覺概念，並可應用於任何視覺分類基準測試。
微軟的Florence-2於2024年夏季發布，是一款開放權重的視覺語言基礎模型。該模型旨在克服「空間層次結構和語義粒度」方面的複雜性，據稱非常適合零樣本和微調任務，包括視覺目標檢測、定位與分割以及圖像描述生成。該領域其他競爭者還包括專注於零樣本視覺標註和目標分類的Roboflow和Mixpeek。
齊亞總結道：「這個領域裡的每個人都是站在他人肩膀上前行，開源的運作方式正是如此。CLIP和其他類似工具都是改變了行業格局的優秀工具。我們正在用當下的模型重新帶回一個舊理念，因為有時候你並不需要坦克，你需要的是一些小巧而快速的東西。」
Simple Jev現已作為完全開源的庫在GitHub上發布。Featherless表示，該工具為開發者提供了專門的模型蒸餾工作流程（即將大型前沿模型的能力轉移到更小、更高效的架構中的過程），可以將複雜提示詞和決策從大型前沿模型壓縮至更小、更高效的開源模型中，以供生產環境使用。
Q&A
Q1：Simple Jev是什麼？它能做什麼？
A：Simple Jev是Featherless公司發布的開源庫，能將開源AI模型轉化為高速零樣本分類引擎，讓應用程式評估輸入數據並返回分類結果或二元選擇，而無需生成對話式文本，從而降低延遲並減少計算資源消耗。
Q2：Simple Jev的使用成本大概是多少？
A：按每百萬輸入token 0.03美元計算，一次典型的圖像或文本分類決策大約需要500到1200個token，成本約為百分之三分錢，相當於每百萬次決策花費約15至35美元，輸出token完全免費。
Q3：為什麼說用大模型做分類任務就像用坦克送披薩？
A：因為大型閉源模型需要通過數萬億參數的龐大結構生成文本來完成分類任務，速度慢、成本高，是對工具資源的過度配置，不適合處理像工單分類這類簡單任務，Simple Jev這類輕量級專用分類引擎才是更合適的選擇。
