DDN 這家以高性能計算 (HPC) 聞名的公司recently獲得了來自美國黑石集團 (Blackstone) 的3億美元投資。據稱這筆資金將用於將其在超級計算領域的領導地位轉化為人工智慧 (AI) 存儲解決方案的優勢。
雖然面向這兩種工作負載的存儲陣列在跟上極高性能處理方面有相似之處，但它們之間存在差異。HPC 工作負載涉及讀取相對較少的數學公式來產生大量的模擬數據。
而在 AI 中則恰恰相反。在訓練過程中需要讀取海量數據來生成相對較小的模型，或在推理過程中根據應用程序或人類提示生成響應。
DDN EXAscaler 適應 AI 需求
DDN 在 HPC 市場銷售其 EXAscaler 陣列。這些陣列使用開源的 Lustre 並行文件系統，該系統最初推出於約20年前。EXAscaler 陣列由多個磁盤驅動器組成，其中一個作為其他驅動器內容的索引。計算節點查詢該節點以確定要讀寫數據塊的其他節點，然後直接與該節點通信。
要運行該系統，計算節點必須運行 Lustre 客戶端，並與所有存儲節點建立直接網路連接。這通常意味著使用 Infiniband 連接，具有零數據包丟失特性，並且控制器能夠直接複製主機機器上的隨機訪問內存 (RAM) 或非易失性內存快速通道 (NVMe) 存儲中的數據。
DDN 已將這些功能整合到面向 AI 工作負載的 AI400X2 陣列中。這些陣列使用與 EXAscaler 相同的 2U 節點，但採用 Nvidia 以太網 SpectrumX 控制器卡。這些卡使用 Nvidia 的 BlueField DPU，為以太網帶來了與 Infiniband 相同的優勢。它們使用融合以太網上的 RDMA (RoCE)，也意味著在直接寫入 Nvidia 圖形處理器 (GPU) 內存時不會丟失數據包 (使用 GPUdirect)。
DDN 的訓練數據存儲
AI400X2 主要用於在訓練工作負載期間與 GPU 進行儘可能快速的通信。但對於企業可能想要存儲的已訓練模型產生的海量數據來說，這可能是一個非常昂貴的選擇。
為此，DDN 自2023年起推出了 Infinia 陣列。這些陣列提供 S3 對象存儲，能夠無中斷地添加驅動器。
DDN 已將 S3 存儲功能卸載到容器中，如元數據伺服器、存儲伺服器等。這意味著當特定的 S3 容器部署在計算節點上時，DDN 可以在 Infinia 中複製類似於 Lustre 的功能。Infinia 陣列還可以配備 SpectrumX 卡以最大化傳輸速度。
DDN 聲稱他們最了解密集型存儲的工作原理。當 GPU 並行寫入數據然後快速讀取數據時，可能會出現不一致性問題。檢查點可以調節這一點，但這是一個在處理過程中消耗資源的操作，且不會產生有用的數據。DDN 表示，通過精心管理數據流和緩存使用，可以避免這種延遲。
DDN 預告重大公告
DDN 在 AI 領域已有建樹，其客戶包括 Elon Musk 的 xAI，後者部署了一台名為 Colossus 的超級電腦，配備了100,000個 H100 GPU。因此，這筆新的3億美元投資的具體用途尚不完全明確。
黑石集團可能正在多個 AI 相關企業中布局，現已在 DDN 董事會中占有一席之位。去年，該基金為 AI 基礎設施即服務供應商 CoreWeave 提供了財務支持。
DDN 承諾將在2月20日發布重大公告，並以"我們讓 AI 成為現實"為宣傳語。
