AI公司競相開發決策模型
以規避幻覺問題,TypeSafe AI推出的Jev模型率先發起了一場打造更廉價、更快速、更可靠模型的行動。
9月15日,一家名為TypeSafe AI的初創公司發布了一款名為Jev的新型AI模型。該公司圍繞Jev提出的大膽顛覆性主張引發了廣泛關註:公司宣稱Jev(被稱為"系統一模型")不僅更便宜、更快速,而且不會產生幻覺。
TypeSafe AI的這一營銷策略,顯然是在向其他AI公司及其大語言模型發起挑戰——儘管這些大語言模型在數學和編程方面能力出眾,但它們因成本高昂以及容易"產生幻覺"(輸出事實錯誤的回覆)而飽受詬病。這家初創公司確實吸引了大量關注和投資。該公司近期完成了8.7億美元的融資,估值達到75億美元。
但Jev成功最有力的證明,或許是它已經催生的眾多仿效者。Cloudflare、亞馬遜、OpenAI和微軟迅速推出了模仿Jev能力的"決策模型"。初創公司、學術研究人員和獨立開發者也陸續發布了數十款類似模型。
"我不得不承認Jev的功勞,"獨立開發者麥特·馬斯特拉奇(Matt Mastracci)說道,他已經訓練並發布了多款決策模型,包括Djev,Cloudflare曾將其列為自身決策模型的靈感來源之一。"它確實把決策模型推到了聚光燈下。短短六七周內,我們就看到了數十款模型問世。"
Jev的延遲與算力優勢
大多數AI研究人員會將Jev稱為決策模型或判定模型。TypeSafe AI將Jev稱為"系統一模型"的做法,源自心理學家丹尼爾·卡尼曼在其著作《思考,快與慢》中推廣的一種認知理論。書中,卡尼曼將認知過程劃分為兩類:快速、本能的思維(系統一)和緩慢、審慎的思維(系統二)。
TypeSafe AI認為,現代大語言模型提供的是後者,但速度太慢,無法實現前者。該公司聲稱Jev能夠提供70至500毫秒的端到端響應延遲。相比之下,大語言模型通常至少需要幾秒鐘才能給出回復,而更複雜的任務(比如從零編寫軟體代碼)可能需要耗費數小時。
獨立測試結果也印證了TypeSafe AI的說法。卡內基梅隆大學資訊系統教授拉梅亞·克里希南(Ramayya Krishnan)與多位同事合著的一篇預印本論文發現,在包括RewardBench和JudgeBench等多項用于衡量決策準確性的基準測試中,Jev的中位延遲為150毫秒。而OpenAI當時最強大的模型GPT-6 Astra的中位延遲為1.89秒。
更快的響應往往意味著更低的成本,因為它所需的計算時間更少,這一點也體現在TypeSafe AI的定價策略上。該初創公司對輸入Token的收費為每百萬Token 0.042美元,輸出Token則完全免費。相比之下,ChatGPT對GPT-6 Astra的收費為每百萬輸入Token 10美元,每百萬輸出Token 50美元。即便是專為快速、低成本推理設計的GPT-6 Luna變體模型,其費用也達到每百萬輸入Token 0.10美元、每百萬輸出Token 0.50美元。
馬斯特拉奇表示,更低的延遲和成本為處理當前大語言模型無法應對的任務開闢了新的可能性。"可以想像一下內容審核場景,比如審核海量社交媒體帖子,或是極其活躍的聊天室。"
Cloudflare產品團隊經理蜜雪兒·陳(Michelle Chen)同樣對決策模型的應用前景持樂觀態度(Cloudflare也已發布了自己的決策模型,包括Clef和Claric)。"你或許可以將典型大語言模型任務中80%的工作量,轉移給速度更快、成本更低的系統一模型來處理。"
TypeSafe AI對於Jev如何實現這種速度優勢的細節披露甚少,但Jev的開放權重仿效者們提供了更多透明資訊。
以Cloudflare的Clef為例,這是一款可在Hugging Face上免費下載的開放權重決策模型。"對於大語言模型而言,在生成輸出Token時,它會查看之前所有的Token,並預測下一個輸出Token,"陳解釋道。這一過程按順序逐個Token進行,直到遇到結束Token。"而我們的決策模型不會這樣做。它們只需進行一次前向傳播,對所有輸入內容進行一次讀取,然後生成一個輸出結果。這就是它速度更快的原因。"
決策模型如何實現任務泛化
基於大語言模型構建的決策模型,例如基於阿里巴巴Qwen大語言模型打造的Clef,仍然保留了大語言模型的神經元結構和基於Transformer的模型架構。它們依然以Token作為輸入和輸出的基本單位。
不過,模型中負責將這些Token轉化為文本的部分已經被改造,以約束輸出結果。復旦大學教授魏忠鈺(Zhongyu Wei)表示:"Jev只能用預先定義好的結構化格式來回答問題。"魏忠鈺也是一項決策模型基準測試研究的合著者之一,該研究同時推出了一款開放權重的替代模型SII-Decision。"我們給它一個問題以及A、B、C等選項,它必須從這些選項中進行選擇,並在給出選擇的同時返回相應的概率值。"
從某種意義上說,決策模型是對分類器的一種回歸——顧名思義,這類模型學習將數據歸入不同的類別。它們被廣泛應用於垃圾郵件過濾、人臉檢測等多種任務中。"這類模型並不是什麼新鮮事物,"陳說道。"這幾乎就像是一次重新包裝。"
但決策模型相較於以往的分類器,具備一項關鍵升級:泛化能力。
馬斯特拉奇解釋說,傳統分類器是通過特定領域的訓練而創建的。而決策模型則保留了大語言模型的通用智能,這使得它們能夠適用於多種場景。"你可以直接拿來即用,把它應用到你的問題上,它就能發揮作用,"馬斯特拉奇說道。
Cloudflare正在將這一優勢付諸實踐。陳表示,在決策模型出現之前,想要使用分類器模型的團隊必須"收集大量數據,組建機器學習團隊,並針對特定任務進行微調"。而決策模型消除了這一需求,因此一款決策模型就可以應用於多個領域。相關案例包括:在Cloudflare的GitHub文檔倉庫中標記垃圾拉取請求、攔截垃圾郵件和釣魚郵件、識別釣魚域名、檢測針對大語言模型的提示注入攻擊,以及閱讀有關網際網路骨幹網中斷的郵件以判斷其是否會影響Cloudflare的服務。
決策模型十分適合對郵件、消息或文檔等數據進行快速判斷。
決策模型真的能杜絕幻覺嗎?
在編程領域,"類型安全"的編程語言經過專門設計,能夠在程序運行前就拒絕混合不兼容數據類型的操作(例如將數字與字符串相加),而不是等到運行後才產生錯誤結果。決策模型與之類似,它們能夠防止模型生成意料之外的回覆。TypeSafe AI的公司名稱本身就將類型安全編程與決策模型聯繫起來,這是其營銷策略的一部分,並由此提出了一個令人驚訝的主張:Jev永遠不會產生幻覺。
嚴格來說,這一說法是成立的。大語言模型產生幻覺的原因在於,它們需要在龐大的詞彙可能性範圍內反覆計算Token的概率,並輸出大量Token。這就給概率較低的Token留下了帶偏回複方向的空間,也可能導致模型給出的Token雖然基於訓練數據來看概率較高,但在回復的具體語境中卻並不正確。相比之下,決策模型僅在預先設定的可能性範圍內計算概率,並選擇概率最高的那個作為結果。這就從根本上消除了幻覺問題。
然而,卡內基梅隆大學的克里希南提醒道,"消除輸出結果中的幻覺,並不等同於消除決策過程中的錯誤。"他和合著者們對Jev進行了測試,要求它判斷問題答案的正確性。當判斷可以通過直接閱讀提示內容輕鬆得出時,Jev表現良好,但當判斷需要涉及數學運算或邏輯謎題時,其表現則明顯下滑。
魏忠鈺及其合著者在自己的研究中也報告了類似的結果。他們發現,在涉及文檔理解的問題上,最優秀的決策模型準確率能夠略微超過大語言模型;在涉及工具使用的問題上(例如為完成用戶任務而選擇正確的軟體工具),其得分則與大語言模型相近。然而,當問題涉及需要專業領域知識的場景,例如醫學、金融和法律領域,決策模型的表現就會落後。
"我認為推理能力是一個關鍵因素,"魏忠鈺說道。推理能力使大語言模型能夠在給出最終答案之前,先對回復內容進行一番斟酌。不過魏忠鈺也補充說,推理能力本身並不能解釋所有情況下存在的領域差距,因為有些大語言模型即便不進行推理也表現良好。魏忠鈺表示,訓練決策模型所採用的方法也是一個影響因素,他們在訓練SII-Decision時就採用了專門針對決策任務的訓練方法。
然而,決策模型與大語言模型並非必然是競爭對手。克里希南及其同事還測試了將Jev給出的低置信度答案交由GPT-6進行進一步處理的方案。兩種模型結合使用的準確率略微超過了單獨使用GPT-6的效果,而且成本僅為後者的41%。
魏忠鈺認為,這種"混合架構"將會變得普遍。"決策模型可以調用大語言模型來給出更詳細的解釋,而大語言模型也可以調用決策模型來進行快速判斷。我認為這種方式非常靈活。"






