HPE成為加入Nvidia陣營的最近一家系統製造商,於近日宣布推出一系列針對AI優化的聯合開發系統,以及針對生成式AI的聯合銷售和營銷集成。
近日在美國拉斯維加斯舉行的HPE Discover大會上,HPE表示,這些打包系統可以將AI工程師、數據科學家和運營團隊的生產力提高高達90%。
HPE Private Cloud AI具有Nvidia AI計算、網路和軟體,以及HPE通過GreenLake雲提供的AI專用存儲和計算產品的深度集成。GreenLake是一系列雲和即服務選項,旨在提供類似雲的功能,不管IT基礎設施如何,都採用按需付費的定價方式。
該產品由用於IT運營的全新OpsRamp AI Copilot提供支持,有四種配置以支持各種AI工作負載。
HPE Private Cloud AI支持使用專有數據進行推理、微調和檢索自動生成工作負載,將數據隱私、安全性、透明度、治理控制與ITOps以及AIOps功能相結合。
AIOps使用機器學習和數據分析來自動化和改進IT運營任務。ITOps包含了一系列活動,可確保組織的IT基礎設施順利運行。
基於Nvidia AI Enterprise而構建
AI和數據軟體堆棧的基礎是Nvidia AI Enterprise軟體平台和推理微服務。Nvidia AI Enterprise旨在快速開發和部署Copilot以及其他生成式AI應用。NIM是一組用於優化AI模型推理的微服務。
HPE AI Essentials軟體則是一組精選的AI和數據基礎工具,具有統一的控制平面,可適用於各種用途。HPE表示,該工具中包含了企業支持和AI服務,例如數據和模型合規性,具有可擴展功能,可確保AI管道合規、可解釋和可重現。
HPE首席技術官Fidelma Russo表示:「它已經準備好啟動了,你只需將其插入,連接到雲,三次點擊後即可啟動並運行起來。」
HPE將該軟體包稱為AI模型訓練和雲中RAG的本地替代方案。「我們的目標市場是那些希望轉向AI,並且意識到在雲中運行這些模型會壓垮預算的企業,」HPE高級副總裁、高性能計算和AI業務總經理Neil MacDonald這樣表示。
Russo稱,在本地部署AI推理,「在保持數據私密的同時,對於推理工作負載而言,成本效益是原來的四到五倍。」
基礎設施堆棧中包括了Nvidia Spectrum-X以太網網路、HPE GreenLake文件存儲和HPE ProLiant伺服器,支持Nvidia L40S、Nvidia H100 NVL Tensor Core GPU以及Nvidia GH200 NVL2機架級平台。
四種配置
該產品基於ProLiant處理器提供了四種配置,從小型到超大型不等,每種配置都是模塊化且可擴展的。
小型配置包括了428個Nvidia L40S GPU、最高248 TB的存儲空間、8千瓦機架中的100千兆以太網網路。
中型配置配備了多達16個L40S GPU、最高390 TB的存儲空間、17.7千瓦機架中的200千兆以太網網路。
大型機型配備了多達32個Nvidia H100 NVL GPU、最高1.1 PB的存儲空間、以及400千兆以太網網路,採用雙機架配置,每個機架最高25千瓦。
超大型機型配備了多達24個Gh200 NVL2 GPU、最高1.1 PB的存儲空間,800千兆以太網網路,採用雙25千瓦機架配置。
HPE表示,未來將支持Nvidia GB200 NVL72/NVL2以及新的Nvidia Blackwell、Rubin和Vera架構。
Greenlake為混合環境中的端點、工作負載和數據提供了管理服務和可觀察性服務。OpsRamp為整個Nvidia加速計算堆棧提供了可觀察性,包括NIM和AI軟體、Nvidia Tensor Core GPU、AI集群、Nvidia Quantum InfiniBand和Spectrum Ethernet交換機。
新的OpsRamp運營型Copilot利用Nvidia的計算平台,通過對話助手分析大型數據集以獲得洞察。OpsRamp還將集成CrowdStrike的應用接口,以提供跨基礎設施和應用的端點安全的統一服務地圖視圖。
HPE和Nvidia將與服務提供商Deloitte、HCL Technologies、Infosys、Tata Consultancy Service以及Wipro共同銷售這個伺服器包。
瞄準AI能源成本
另外,HPE和工程巨頭Danfoss A/S宣布合作提供一種現成的熱回收模塊,作為打包產品的一個組成部分,為那些開發AI模型以減少IT設備散發熱量的組織提供幫助。
該產品結合了HPE可擴展的Modular Data Center,採用小型的、高密度容器的形式,幾乎可以部署在任何地方,同時採用直接液體冷卻等技術,將總體能耗降低了20%。Danfoss將提供熱再利用模塊,從數據中心捕獲多餘的熱量,將其引導到現場和鄰近的建築物和行業,還將提供無油壓縮機,將數據中心的冷卻效率提高多達30%。