宅中地 - 每日更新
宅中地 - 每日更新

贊助商廣告

X

思科將大規模AI基礎設施塞入小型伺服器套件

2024年11月12日 首頁 » 熱門科技

思科將大規模AI基礎設施塞入小型伺服器套件

思科計算高級副總裁兼總經理Jeremy Foster在最近的IT供應商客戶顧問委員會會議上,就發現幾乎所有企業都正在不同程度地開展AI項目。

Foster在採訪中指出,「其中一些項目可能是從雲端起步,有些項目可能是從本地項目開始,但總體上這種變化趨勢要比過去六個月乃至更久之前明顯加快。我們也相信這股勢頭還將持續下去。其中一些企業已經提交了初始訂單,正在等待交付。在預約到交付之間的這段時間,他們正積極設計用例並思考如何開發應用程序以創造價值。儘管仍處於早期規劃階段,但對生成式AI項目的應用占比已經從原先的十之一二快速增長至如今的十之八九。相信在收到設施資源之後,他們會立即行動起來。」

而企業必須面對的一大現實挑戰,就是確保掌握運行AI工作負載所需要的正常基礎設施。根據思科的AI就緒指數,89%的受訪IT專業人士表示他們計劃在未來兩年之內部署AI工作負載,但只有14%的受訪者確認其基礎設施已經為這類新型工作負載做好了準備。而對基礎設施的全面改造,往往是一項昂貴且複雜的任務。

思科希望通過本周在洛杉磯合作夥伴峰值上公布的全新硬體產品,讓這場轉型來得更輕鬆、更便宜。相關產品基於其UCS產品組合以及經過驗證的設計方案,努力將更多所需技術整合進這些高度集成的系統當中。這些產品對於正權衡到底是在雲端、抑或是本地執行AI任務的企業來說,不啻於一份厚禮。

思科將大規模AI基礎設施塞入小型伺服器套件

思科計算產品管理副總裁Daniel McGinniss在採訪中表示,「我們看到很多客戶更傾向於選擇本地部署,而具體基礎設施模式則視工作負載需求而定。比如說以企業身份在雲端運行模型訓練,而後再轉向本地。業務數據一般都集中在本地設施之內,這一點非常重要。因此對於最重要、對業務影響最大的應用程序,企業肯定更希望能在本地基礎設施上運行。這也符合我們觀察到的普遍情況,即將全部業務用例都匯總起來,儘可能排除干擾和外泄因素。總之,不同需求對應的基礎設施模式也是各不相同的。企業可能會在CPU上運行推理,但不會在CPU上運行訓練。我們的不少大型企業客戶則更加靈活,可能在雲端進行模型訓練,也有可能在本地基礎設施上完成訓練。」

在本次會議上,思科發布了UCS C885A M8伺服器,專門用於處理大規模GPU密集型AI訓練與推理任務。這是UCS產品家族中的最新成員,思科於2009年首次公布了這條產品線,當時希望在網路之外進一步拓展數據中心業務,藉此與戴爾、惠普等廠商在計算領域展開競爭。

思科將大規模AI基礎設施塞入小型伺服器套件

UCS C885A M8以英偉達的HGX超級計算平台作為構建基礎,包含8張英偉達H100或H200 Tensor Core GPU或者8張AMD MI300X OAM GPU加速器(後續預計還將支持英特爾晶片),且每張GPU都配備一塊英偉達ConnectX-7網路接口卡(NIC)或BlueField-3 SuperNIC,允許客戶在伺服器集群之上運行AI模型的訓練工作負載。另有英偉達BlueField-3數據處理單元(DPU),同時配備兩塊AMD第四代或第五代EPYC晶片。

這些系統通過思科的Intersight雲平台進行管理。

與此同時,思科還公布了AI POD。此POD擴展了思科另一套經過長期驗證(這套設計方案發布已有20多年)的方案成果,用於為AI推理工作負載提供預配置的基礎設施堆棧,能夠從邊緣部署擴展至大規模集群以實現檢索增強生成(RAG)。

AI POD同樣在很大程度上依託於英偉達技術,包括其GPU及AI Enterprise軟體平台與HPC-X工具包,此外輔以思科自家的UCS X系列模塊化設計、機箱、M7計算節點、帶有英偉達GPU的PCI-Express節點、思科UCS結構互連以及Intersight管理軟體。

其中還囊括了紅帽OpenShift應用平台,並允許用戶根據需求在Nutanix、NetAPp的FlexPod或者Pure Storage的FlashStack等方案間靈活做出選擇。

思科將大規模AI基礎設施塞入小型伺服器套件

思科的McGinnis表示,這樣的技術堆棧對於仍在努力理解AI所需複雜基礎設施環境的組織來說,無疑是大有裨益。

他解釋道,「幾十年來,人們一直在努力構建虛擬化環境。剛開始大家對此也不熟悉。而現在的生成式AI浪潮又帶來了類似的問題,可以說是歷史的重演。整體堆棧的概念確實能讓客戶感到安心,緩解他們對於未知的焦慮和恐懼。比如他們並不清楚要如何確定環境規模,也不了解該如何搭配CPU、內存、驅動器和GPU組合。這是個需要認真考慮的全新方向。而我們則為他們確定了設施規模,在必要時整個堆棧都將隨時聽候調遣。而隨著他們更好地了解自己的需求和環境,客戶可以進一步做出定製和調整。但作為啟動的第一步,整體解決方案這個概念往往非常重要。」

UCS C885A M8伺服器(現已開放訂購,並將於今年年底出貨)和AI POD(11月內開放訂購)正是思科不斷增長的AI基礎設施產品家族中的最新成員,其他成員還包括運行在思科Silicon One G200晶片上的800G Nexus交換平台,以及與英偉達合作開發並於今年6月推出的Nexus HyperFabric AI集群——其將思科AI網路同英偉達的加速計算和AI Enterprise軟體,連同VAST數據存儲全面融合了起來。

思科將大規模AI基礎設施塞入小型伺服器套件

思科的Foster表示,Nexus HyperFabric AI集群將於明年開始開放訂購,希望能幫助更多企業快速建立起業務需要的AI網路。

Foster總結道,「如果大家打算訓練兩套網路,那就得區分前端網路和後端網路。現在我們將其合併成統一的以太網網路,允許客戶將管理能力從網路一直延伸到伺服器上的網路接口卡,而後配合Intersight保持伺服器環境的正常運行,再根據客戶的用例需求進行整體環境優化。」

宅中地 - Facebook 分享 宅中地 - Twitter 分享 宅中地 - Whatsapp 分享 宅中地 - Line 分享
相關內容
Copyright ©2025 | 服務條款 | DMCA | 聯絡我們
宅中地 - 每日更新