在人工智慧領域，似乎"大"就意味著"強"。
隨著 AI 模型變得更大、更強大，超大規模企業、雲服務提供商和企業都在投入大量資金，建設支持這些模型所需的存儲和計算基礎設施。
根據 IDC 的數據，2024 年上半年 AI 基礎設施投資達到了 318 億美元。IDC 預計到 2028 年，隨著 AI 在企業中的廣泛應用，全年支出將超過 1000 億美元。如果將 AI 應用程序以及相關的 IT 和業務服務計算在內，2028 年全球總支出預計將達到 6320 億美元。
然而，投資激增是一回事，但要充分發揮 AI 在賦能工程師、改造和優化運營以及提高投資回報率方面的潛力，則是另一回事。對於真正想要實現這些目標的企業來說，貫穿 AI 流程的數據管理可能至關重要。
問題在於，無論是本地部署還是雲端的傳統存儲和數據管理方案，都已經在 AI 的巨大需求下承受壓力。容量是其中的一個問題。AI 模型及其訓練所需的數據規模在不斷擴大。例如，Google Bert 在 2018 年推出時有 1 億個參數，而 ChatGPT 4 據估計已超過 1 萬億個參數。
在流程的另一端，推理 (通常需要實時速度) 使得延遲和吞吐量同樣重要。還有許多其他挑戰。AI 需要多種數據類型和存儲，包括結構化、半結構化和非結構化數據。這反過來需要全方位的底層存儲基礎設施 - 塊存儲、文件存儲和對象存儲。這些數據存儲不太可能都在同一個地方。
除了獲取所需資訊所涉及的複雜性外，數據源的廣度和分布也會造成重大管理問題。組織和其 AI 團隊如何確保他們能夠在整個數據資產和 AI 流程中保持可見性？如何確保這些數據得到安全處理？多種工具和相關技能的需求進一步增加了複雜性。
傳統方案帶來的滯後
新型和日益專業化的 AI 模型的引入並沒有消除這些基本問題。今年年初，當中國 AI 引擎 DeepSeek
突然進入更廣闊的市場時，超大規模企業在 AI 基礎設施方面的巨額投資受到了質疑。
即便如此，構建不需要同等計算能力的大語言模型並不能解決根本的數據問題。相反，這可能會使問題變得更具挑戰性。使用較少基礎設施訓練的模型的引入可能會降低企業和其他組織利用 AI 的門檻，使其在自己的基礎設施或數據中心運行 AI 變得更加可行。
DataDirect Networks (DDN) 的 CTO Sven Oehme 解釋說："如果計算部分變得更便宜，就意味著更多人參與，訓練的模型也會更多。隨著參與人數和模型的增加，準備和部署數據以支持這種激增的挑戰變得更加關鍵。"
這不僅僅是傳統本地系統面臨的挑戰。數據科學家依賴了十年或更長時間的基於雲的平台往往也無法滿足當今 AI 的需求。同樣，這不僅僅是原始性能或容量的問題，更是它們智能和安全管理數據的能力問題。
Oehme 舉了元數據的例子，如果管理得當，意味著"通過首先縮小實際感興趣的數據範圍，可以減少需要查看的數據量。"
例如，一輛自動駕駛或網聯汽車會不斷拍攝圖片，比如停車標誌。在發生事故時，以及隨後需要更新或驗證底層模型時，分析相關元數據的能力 - 一天中的時間、行駛速度、方向 - 都變得至關重要。
"當他們將這些圖片上傳到數據中心時...他們希望將所有元數據附加到這個對象上，"他說。這不是一個理論示例。DDN 與多家開發自動駕駛功能的汽車供應商合作。
很快就會發現，AI 的成功不僅取決於組織可以訪問的數據量。"存儲在系統中的數據的豐富性"以及"將所有這些管道或工作流集成在一起，從數據的創建到消費都有完整的治理"都會發揮作用。
然而，許多組織目前必須同時管理多個資料庫、事件系統和通知。這可能會帶來高昂的成本、複雜性和時間消耗，並且inevitably會造成延遲問題。即使是雲計算巨頭 AWS 也不得不開發一個單獨的產品 - S3 Metadata - 來解決元數據問題。
數據也需要智能
DDN 表示，需要的是一個平台，它不僅能提供所需的硬體性能，還能以規模化的方式智能地安全管理數據。而且它需要是可訪問的，無論是通過雲還是本地部署，這意味著它必須提供多租戶功能。
這正是 DDN 的數據智能平台的用武之地。該平台由兩個元素組成。DDN 的 Infinia 2.0 是一個軟體定義的存儲平台，為用戶提供跨組織分散數據集合的統一視圖。EXAScaler 是其高度可擴展的文件系統，針對高性能、大數據和 AI 工作負載進行了優化。
正如 Oehme 所解釋的，Infinia 是"一個數據平台，恰好也支持許多存儲協議，包括結構化數據的協議。"他說這是一個關鍵的區別，"因為 Infinia 允許你存儲數據，不僅僅是普通的數據文件和對象。它允許我在同一視圖中將大量元數據與非結構化數據結合存儲。"
他說，數據和元數據存儲在 Infinia 的可大規模擴展的鍵值存儲中："這完全是以兩種不同方式存儲相同的數據和元數據。因此，我們沒有採用人們過去使用的分層方法。"
這可以帶來更高效的數據管道和操作，既通過消除在組織中蔓延的多個孤島，又通過消除數據科學家和其他專家學習和維護多個數據分析和管理工具的需求。
由於 EXAScaler 和 Infinia 2.0 從一開始就被設計為多租戶，它們能夠從企業應用擴展到雲服務提供商再到超大規模企業。
結果很明顯：根據 DDN 的比較，多 TB/秒帶寬系統，亞毫秒級延遲，比 AWS S3 提供了 100 倍的性能提升。在模型訓練和推理的訪問時間方面，DDN 平台顯示出 25 倍的速度提升。
對於本地解決方案，Infinia 2 支持大規模密度，單個機架可達 100PB，可以減少高達 75% 的電力、冷卻和數據中心占用空間，正常運行時間達到 99.999%。這是一個重要的能力，因為電力和物理空間的獲取正在成為 AI 開發和部署的制約因素，就像技能和數據的獲取一樣。
DDN 與晶片製造商 NVIDIA 密切合作。它與該 GPU 巨頭的硬體架構緊密對齊，可擴展支持單個部署中超過 100,000 個 GPU，同時還與其軟體棧緊密集成，意味著與用於推理的 NIMs 微服務以及 NVIDIA NeMO 框架和 Cuda 的緊密集成。而 NVIDIA 本身就是 DDN 的客戶。
AI 技術正在飛速發展，模型開發者們在激烈競爭用戶的關注。然而，數據 - 以及管理數據的能力 - 最終將決定組織是否能實現 AI 的承諾，無論我們談論的是超大規模企業、雲服務提供商，還是使用其服務的企業。
Oehme 說，潛力是顯而易見的。"如果你有一個非常優秀、非常好奇的工程師，他們會通過 AI 變得更好。"但這取決於數據基礎設施首先得到改善。
