
分析:生成式 AI 正如決堤的洪水一樣席捲整個 IT 行業。許多供應商將其視為繼網際網路之後又一個劃時代的變革,但也有人擔心這可能會演變成類似網際網路泡沫的事件。
無論如何,從內存-存儲接口層面開始,AI 正在深刻地改變著 IT 存儲領域,生成式 AI 的浪潮正推動著所有存儲技術的發展。縱觀存儲領域,生成式 AI 正在通過六種方式改變著塊存儲、文件存儲和對象存儲的世界。
在最底層,也就是存儲系統與伺服器內存交互的層面,Nvidia GPU 及其高帶寬內存 (HBM) 的出現,使文件存儲系統和陣列控制器處理器及其 DRAM 的主要任務變成了簡單地讓路,允許 NVMe 閃存驅動器通過遠程直接內存訪問和 GPUDirect 協議直接連接到 GPU 內存,實現高速數據傳輸。
DapuStor、DDN、Dell、華為、IBM (Storage Scale)、NetApp、Pure Storage、VAST Data、WEKA、YanRong 以及 PEAK:AIO 和 Western Digital (OpenFlex) 等公司都在這一領域活躍。就連 Nutanix 也計劃添加 GPUDirect 支持。
這種非結構化數據傳輸方式正在擴展到對象存儲領域,使得 PB 級的預留數據可以被釋放出來用於 AI 訓練,以及後續由 GPU 執行的推理過程。近幾個月來,Cloudian、MinIO 和 Scality 都發布了相關新聞。
存儲媒體製造商也在對生成式 AI 作出反應。SSD 製造商和 NAND 生產商認識到生成式 AI 需要快速讀取大量數據,這意味著他們必須生產使用經濟實惠的 QLC (4bits/cell) 3D NAND 的大容量驅動器,如 62TB 和最近的 123TB SSD。生成式 AI 訓練還需要快速作業檢查點以實現更快的訓練作業重啟。
Solidigm 在 2023 年 7 月就推出了 61.44TB D5-P5336 驅動器,隨後 Micron、母公司 SK hynix 和三星也跟進。Phison 也進入這個市場,推出了與 Solidigm 最新的 122TB 驅動器相當的 Pascari D205V 122.8TB 驅動器。
我們可能會在今年年底或 2026 年初看到容量翻倍的新產品。硬盤驅動器 (HDD) 並沒有用於 AI 訓練,因為它們太慢且容量有限。在使用 GPU 進行 AI 推理時,出於相同的速度和容量考慮,SSD 肯定也會是存儲的首選,這對 x86 伺服器來說也是如此。如果 AI PC 流行起來,基於相同的原因,它們也都將使用 SSD 而不是 HDD。
這意味著 HDD 只能用於生成式 AI 的二級存儲,到目前為止,這種情況還沒有大規模發生。希捷、西部數據,毫無疑問還有東芝,都將 HDD 市場擴張的希望寄托在生成式 AI 的數據存儲需求上,並且似乎對此充滿信心。
磁帶市場完全沒有受到生成式 AI 數據存儲需求的直接影響,而且可能也不會受到影響。
在存儲堆棧的驅動器媒體之上,我們有塊存儲陣列、文件伺服器和對象存儲系統。如上所述,幾乎所有的文件伺服器供應商和對象存儲供應商都受到了支持 GPUDirect 訪問驅動器的影響。一些供應商構建了專門的 AI 系統,如 Pure Storage 的 Airi 產品。VAST Data、DDN、WEKA 等公司通過獲得 Nvidia SuperPOD 認證,銷售額有所增長。
隨著生成式 AI 聊天機器人在非結構化數據上進行訓練並轉換為向量嵌入,塊存儲並沒有提供類似 GPUDirect 的訪問,而塊存儲對事務資料庫和 ERP 系統至關重要。
在知識圖譜領域,像 Graphwise 和 Illumex 這樣的公司正在努力使這些數據可用於 AI 訓練。
存儲陣列和數據平台供應商都在改造他們的軟體,以支持添加專有和最新的非結構化數據,來增強由較舊和更通用數據訓練的生成式 AI 大語言模型 (LLM) 的推理能力。這些數據必須向量化,並將生成的向量存儲在資料庫中,供 LLM 在檢索增強生成 (RAG) 中使用。
現有的非 RDBMS 資料庫、數據倉庫和數據湖供應商正在向其產品添加向量存儲功能,如 SingleStore。像 Pinecone 和 Zilliz 這樣的資料庫初創公司已經開發了專門的向量資料庫,承諾提供更好的性能和增強對 LLM 的支持。
數據倉庫和數據湖供應商正在瘋狂地進行以生成式 AI 為中心的開發,以成為 AI 訓練和推理數據的數據源。其中最引人注目的是 Databricks 在去年年底獲得了 100 億美元的風險投資,用於繼續其生成式 AI 業務的發展。
第五個受生成式 AI 影響很大的存儲領域是數據保護,供應商已經意識到他們的備份存儲中包含大量可被生成式 AI 代理使用的數據。像 Cohesity、Commvault 和 Rubrik 這樣的供應商正在提供自己的 AI 代理,如 Cohesity 的 Gaia,並且也在開發 RAG 支持設施。
總的來說,沒有數據存儲供應商能夠忽視 RAG,因為預計所有數據存儲都必須為其提供數據。提供這些數據並不像簡單地給 LLM 提供 API 訪問並讓模型提取所需的任何數據那麼簡單。一個組織通常會有許多不同的數據存儲,要使其內容得到適當過濾,排除完全私密的資訊或低於訪問 LLM 權限的數據,需要建立生成式 AI 版本的提取、轉換(成向量)和加載 (ETL) 管道設置。
像 Arcitecta、Datadobi、DataDynamics、Hammerspace 和 Komprise 這樣的數據管理和編排供應商都在發揮各自的作用,包括映射數據源、提供單一虛擬存儲庫,以及構建數據管道將他們管理的數據輸入到 LLM 中。
存儲供應商也開始在自己的產品中使用生成式 AI 代理,例如用於支持,或簡化和改進存儲產品的管理和安全性。這將影響所有存儲系統供應商,而 AIOps 將通過生成式 AI 代理的使用而轉型;可以將其理解為代理式 AIOps。
網路彈性領域將需要抵禦生成式 AI 代理輔助的惡意軟體攻擊,並且肯定會使用生成式 AI 代理來構建對此類攻擊的響應。
我們將在整個 2025 年看到存儲世界被生成式 AI 持續改變。這種趨勢似乎無法阻止,除了惡意軟體代理外,應該是有益的。