昨日晚間,深度求索旗下的大語言模型DeeoSeek-R1悄悄進行了一次小版本升級,但並未在官網發布更新公告,僅僅是在官方交流群中進行了通知,目前在官網、APP、小程序上均已可用。如果不出所料,近日官網將會發布更新公告。
根據Live CodeBench編程代碼測試平台的評分,更新到0528版本的DeepSeek-R1的代碼編程性能超越了OpenAI於今年年初推出的o3 mini high。
根據知乎博主@toyama nao的測試,DeepSeek-R1 0528版本的邏輯成績有14.4%的大幅提升,更新之後再次躋身推理模型的第一梯隊,其中模型使用成本最亮眼,只有OpneAI o3 (high)的5%,不過通過測試的平均耗時較長。
在外網博主@Lech Mazur基於《紐約時報》解謎遊戲的所設計的基準測試Extended NYT Connections中,DeepSeek-R1 0528版本的得分由38.6提升49.8,提升幅度高達29%。在Thematic Generation benchmark測試中,DeepSeek-R1 0528版本的得分(越低越好)由1.80縮減至1.74,排名則是由第9名躍升至第5名。
DeepSeek團隊還是非常謙虛,僅僅是一個小版本升級就有如此高的性能提升,換成別家說不定都命名成新模型了。