RTX 5090跑DeepSeek性能測試，速度超過7900 XTX一倍

近日，NVIDIA宣布其NIM（NVIDIA推理微服務）技術現已支持DeepSeek-R1。NIM是一種雲原生微服務技術，旨在簡化生成式AI模型在雲計算、數據中心及GPU加速工作站上的部署流程。

贊助商廣告

NVIDIA官網發布的文章指出，DeepSeek-R1是目前最先進的推理開放模型。該模型通過對查詢進行多次推理處理，採用連鎖思維、共識和搜索方法來生成最佳答案。為了幫助開發者安全地試驗這些功能，並構建自己的專門代理，DeepSeek-R1模型現已作為NVIDIA NIM微服務預覽版上線使用。

在性能測試方面，根據外媒的測試，RTX 5090在DeepSeek R上的推理性能顯著優於AMD的RX 7900 XTX，性能至少翻了一倍。測試結果顯示，在多個DeepSeek R1型號中，RTX 5090不僅明顯領先於RX 7900 XTX，也比RTX 4090快了不少。

在Distill Qwen 7b和Distill Llama 8b模型中，該RTX 5090每秒可執行200個Tokens，幾乎是RX 7900 XTX的兩倍。