在AI行業,基準測試已成為各家公司驗證自身模型能力的行業慣例,當測試結果對自己有利時,便藉此在競爭對手中脫穎而出並大肆宣傳自身優勢。換句話說,好的基準測試成績幾乎總是意味著良好的公關效果。
不過,不少公司也已經摸清了如何"戲耍"傳統基準測試體系的門道——這些體系大多歷史悠久,並非為衡量現代模型的能力而設計。
成立於2024年的初創公司Vals表示,他們的使命正是修復這一併不完善的評測體系。在不到兩年的時間裡,該公司已經在科技行業中樹立起了自己的地位。去年,Vals由8VC和彭博Beta領投完成種子輪融資。上月,在經歷了一段快速增長期後,該公司又完成了由安德森·霍洛維茨領投的4000萬美元A輪融資。
公司聯合創始人雷揚·克里希南現年25歲,此前曾在Palantir實習,並在斯坦福大學讀本科期間為微軟以及該校頗受讚譽的人工智慧實驗室工作過。克里希南表示,Vals的誕生源於他自己的一個觀察——基準測試正在落後於其本應衡量的行業的發展速度。
克里希南分享道:"當時我們看到大量非常強大的新模型迅速湧入市場,而學術界的基準測試卻跟不上這種前沿的進步速度。"隨著AI融入社會的方方面面,基準測試真正應該存在的意義,是驗證模型是否真的具備公司所宣傳的能力。
上周,這位年輕的創始人帶我參觀了公司位於舊金山福爾松街的兩層辦公室——這棟古老的磚樓在一個世紀前曾是一家大型啤酒廠的所在地。如今,這座歷史建築不再產出啤酒,而是入駐了多家致力於打造科技行業未來的初創公司。
克里希南告訴我:"從歷史上看,我認為評測工作一直是在以一種非常抽象的方式來衡量智能水平,比如模型是否掌握了足夠的資訊去通過律師資格考試之類的測試。"
在這一點上,Vals力求做出差異化。許多基準測試體系提供的測試題目是公開可查的(這可能導致公司針對這些測試題目專門訓練自家模型,從而在考試中"作弊"),而Vals不會公開披露其具體的測試材料。除了衡量AI模型的通用知識外,Vals還會評估模型完成法律、金融、編程等特定行業相關複雜任務的能力。
克里希南表示:"我們真正在做的,是審視這些模型帶來的實際影響。它們能否在每一個領域都產出與人類同等質量的工作成果?"
他說,這樣做的目的不僅是檢驗模型帶來的正面結果,也要檢驗負面結果。團隊希望藉此分析,"如果這些模型在現實世界中不受約束地運行,會帶來哪些負面影響"。
Vals所評測的能力範圍也在不斷擴大。除了更傳統的行業外,這家初創公司還在持續拓展一些更為獨特的領域。克里希南分享道:"我們有一項關於遞歸自我改進能力的基準測試。我們還在心理健康、網路安全、生物安全等領域開展工作,甚至有專門測試模型理解並應用日內瓦公約、判斷武裝衝突法的基準。"
企業會付費請Vals來測試自家模型,這個商業模式乍一聽可能讓人有點難以理解——一家公司為什麼要花錢去得知自己的模型表現不佳?但擁有一套行之有效的評測體系,能夠幫助企業排查問題並持續改進。克里希南將他們的營收模式類比為學生付費參加College Board組織的SAT考試。
反過來,這些評測結果也正在成為企業在採購新AI模型時的關鍵決策依據。
這家初創公司近期披露,其目前的營收已達到去年同期的八倍。團隊規模也在不斷擴張。Vals今年年初僅有8名員工,如今團隊規模已擴大三倍,達到25人。克里希南表示,隨著公司不斷發展,他們計劃搬遷至一個規模顯著更大的新辦公室,並再招募10到15名員工。該公司近期還推出了一項面向聯邦機構提供模型評測服務的項目。
克里希南認為,自家公司這套基準測試體系,代表著AI公司未來思考業務增長與建立公眾信任的方向。
他說:"AI公司正開始走向上市。SpaceX已經上市,Anthropic計劃今年晚些時候上市,我猜測OpenAI也會很快上市。我認為,隨著AI模型日益成為經濟的核心組成部分並被更廣泛地應用,我們所做的這類基準測試與評測,將會推動這些模型的實際使用,並成為這些公司提交上市文件、或談論未來AI投資計劃時的核心內容。"
Q&A
Q1：Vals是一家什麼樣的公司？它的主要業務是什麼？
A：Vals是一家成立於2024年的AI基準測試初創公司,致力於評測AI模型在法律、金融、編程等具體行業中完成複雜任務的真實能力,而非僅僅衡量模型的通用知識水平。
Q2：Vals最近完成了多少融資？由哪家機構領投？
A：Vals上月完成了由安德森·霍洛維茨領投的4000萬美元A輪融資,此前該公司還曾獲得8VC和彭博Beta領投的種子輪融資。
Q3：Vals的基準測試與傳統基準測試相比有什麼不同？
A：許多傳統基準測試題目是公開的,模型可能針對性訓練從而"作弊";而Vals不公開具體測試材料,並且注重評估模型在真實行業任務中的表現及潛在負面影響。
