短於核心，長於線程和矩陣數學
更新時間：協調世界時2024 年 5 月 7 日（星期二）20:39
IBM不甘被排除在人工智慧基礎架構的遊戲之外，於本周二推出了一對微小的Power 10伺服器，瞄準網路邊緣的數據處理。
Power S1012系統既有PC風格的塔式配置，也有更為傳統的2U半寬機架式機箱。兩款系統均可配備IBM自主研發的Power 10處理器，支持1核、4核或8核，板載內存最高可達256GB。
雖然與英特爾和AMD邊緣-中心晶片（最多可配備64個核心）相比，這聽起來並不算多，但值得注意的是，IBM的Power平台基於RISC架構，優先處理高線程工作負載，支持SMT4或SMT8。
這意味著這些系統中使用的Power 10 eSCM模塊每個核心最多可支持8個線程，最高配置可支持64個線程。
IBM宣稱其新伺服器的性能是即將推出的Power S814的三倍，這聽起來似乎令人印象深刻，不過想一想，該系統基於的Power 8平台已有10年歷史。不過話說回來，Power 10系列也不是新丁，它也將在9月份迎來三周歲生日。
IBM設想將這些系統部署在多種場景中，包括在空間或功率受限的邊緣部署中進行人工智慧推理，或在遠程或後台辦公場景中運行更傳統的工作負載。
其主要思路似乎是，就地處理從邊緣流入的所有數據流，而不是將其全部送回中央數據中心，客戶可以通過這種方式減少延遲並抑制帶寬消耗。
從表面上看，IBM 瞄準的是現有的Power 客戶，他們熟悉與 SMT 重型架構相關的特定硬體和軟體細微差別。分析管理商Equitus就是這些客戶中的一員，IBM稱該公司已經在使用這些系統，在邊緣運行人工智慧模型。
至於IBM是如何處理這些人工智慧工作負載的，可能與你想像的大相徑庭。據我們所知，這些系統並沒有配備IBM在公告中沒有提到的GPU。相反，IBM 似乎依靠處理器的矩陣數學加速器（MMA）來完成繁重的工作，每個核心都內置了四個矩陣數學加速器。
在很多方面，這些 MMA都讓人想起英特爾2023年起推出的第四代和第五代Xeon Scalable平台中的AMX引擎。正如我們最近探討過的，這些引擎完全有能力運行規模在70億到130億參數之間的小型大語言模型。
除了MMA之外，IBM還強調了對透明內存加密的支持，以保護進出設備上人工智慧模型的數據。考慮到這些系統很可能部署在安全性或監管有限的遠程位置，這很可能是一個受歡迎的功能，尤其是對於那些受到高度監管的行業。
S1012系統將於6月14日開始發售。
另：IBM 剛剛向開源世界發布了一系列代碼生成模型，該公司表示：「我們的目標是讓代碼生成對於儘可能多的開發人員變得儘可能的簡單。」
