專業雲計算服務供應商正在興起,其中一些如CoreWeave、Lambda、Voltage Park等已使用數萬個Nvidia GPU構建自己的雲計算基礎設施,但有些參與者轉向使用AMD。
其中一個例子是Bit Barn創業公司TensorWave,聯合創始人Jeff Tatarchuk認為AMD最新加速器具許多優良品質,該公司本月早些時候開始部署由AMD Instinct MI300X驅動的系統,今年底目標在2個設施部署20,000個MI300X加速器,並計劃明年上線更多液冷系統。
此外,Jeff Tatarchuk指出AMD最新AI晶片比Nvidia令人垂涎的H100晶片更快, 「僅就原始規格而言,MI300X優於H100。」
MI300X於去年底Advancing AI活動推出,這款750W晶片採用先進封裝組合,將12個小晶片(若算上HBM3模塊則為20個)拼湊成一個GPU,據稱比Nvidia的H100快32%。
除了浮點運算更高,MI300X晶片還擁有更大的192GB HBM3內存,能提供5.3TB/s帶寬,H100帶寬為80GB和3.35TB/s,而內存帶寬越高,AI性能也越好,尤其是大型語言模型推理方面。
不過Tatarchuk也表示,客戶對AMD性能的信心還未高於Nvidia,不確定是否能享受到相同性能。
(首圖來源:pixabay)