處理器大廠英特爾指出,AI顛覆各產業,企業對兼顧成本效益和快速開發部署基礎設施的需求愈趨增長。應對需求攀升,推出搭載性能核心(P-core)的Xeon 6和Gaudi 3 AI加速器,強化致力提供每瓦最佳性能且降低總持有成本(TCO)的強大AI系統承諾。
英特爾Intel Xeon 6搭載性能核心,專為處理運算密集型工作設計,兼顧優異效率。相較上代處理器,Xeon 6性能提升兩倍,不僅核心數增加、內存帶寬加倍,更將AI加速功能嵌入每核心,專為滿足邊緣到數據中心和雲計算環境的AI性能需求。
Gaudi 3 AI加速器特別為大規模生成式AI優化設計。Gaudi 3有64個張量處理器核心(TPC)與八個矩陣乘法引擎(MME),加速深度神經網路運算。還有訓練與推論用128GB HBM2e內存,以及可擴展網路的24個200 Gb以太網路連接埠。
Gaudi 3也有與PyTorch框架、先進Hugging Face Transformer模型和diffuser模型無縫兼容性。英特爾近期宣布與IBM合作,將Gaudi 3 AI加速器部署至IBM Cloud,客戶使用AI與擴展AI規模時,能同時強化性能與降低總持有成本(TCO)。
英特爾AI技術還有多種考量,如靈活彈性選項、具競爭力價格性能比,以及可用AI技術等。英特爾x86架構與開放生態系,支持企業構建具優化總持有成本及每瓦性能的高價值AI系統。市場高達73% GPU加速伺服器為Intel Xeon系列處理器的伺服器處理器(host CPU)。
英特爾執行副總裁暨數據中心與AI解決方案總經理Justin Hotard指出,AI需求帶動數據中心大規模轉型,因此軟硬體和開發工具需要更多選擇。英特爾推出性能核心的Xeon 6和Gaudi 3 AI加速器,促進開放生態系發展,使客戶以更佳性能、效率和安全性,滿足所有工作。
英特爾與OEM夥伴戴爾科技、美超微,開發共同設計系統,戴爾科技與英特爾共同設計適用Gaudi 3和Xeon 6且以檢索增強生成(RAG)為基礎的解決方案。生成式AI(Gen AI)解決方案由原型設計推進至量產就緒時,會有即時監控(real-time monitoring)、錯誤處理(error handling)、記錄日誌文件(logging)、安全性和可擴展性等挑戰。
故英特爾與OEM廠商夥伴,共同處理這些挑戰,推出量產就緒的RAG解決方案,創建於Open Platform For Enterprise AI(OPEA)平台上,基於OPEA的微服務架構集成至可擴展的RAG系統,並對Xeon和Gaudi AI系統優化,目的為協助客戶輕鬆集成Kubernetes、Red Hat OpenShift AI和Red Hat Enterprise Linux AI的應用程序。
Intel Tiber產品組合提供企業解決方案,解決橫跨AI、雲計算與邊緣環境的各種挑戰,包括訪問、成本、複雜性、安全性、效率和可擴展性。Intel Tiber Developer Cloud提供英特爾Xeon 6預覽系統,可供技術評估與測試。特定客戶可搶先體驗英特爾Gaudi 3,以實際驗證AI模型。Gaudi 3集群下季度推出,可大規模量產部署。
(首圖來源:英特爾)