AI智能體
對計算資源需求的不斷增長，或將迫使客戶大幅增加CPU部署規模。
CPU在人工智慧時代曾被認為已幾乎不再重要，但如今得益於智能體AI催生的新需求，CPU正迎來新的發展機遇。
根據半導體研究機構TrendForce的分析，自主AI智能體日益增長的計算需求，或將迫使運營商大幅增加CPU部署，並重新考量伺服器基礎設施中CPU與GPU之間的配比關係。
TrendForce指出，相較於傳統的大語言模型推理任務，AI智能體帶來的工作負載對CPU的依賴程度更高。儘管GPU在執行AI模型訓練任務方面仍不可或缺，但負責協調AI智能體自主運行所需的複雜動作序列的，是CPU——這正是GPU無法勝任的工作。
這些活動包括任務規劃、子任務調度、調用外部工具、管理多個智能體之間的交互以及評估執行結果。TrendForce表示，智能體還依賴傳統計算資源來執行Python代碼、搜索資料庫、爬取網站以及處理資訊。
TrendForce認為，正因如此，CPU正迎來新的發展機遇，正在成為AI基礎設施中更為重要的組成部分，而不再僅僅是GPU的輔助處理器。
TrendForce指出，傳統AI數據中心通常按照每4至8個GPU配置約1個CPU的比例進行部署，這反映出行業長期以來對加速計算密集型AI工作負載的重視。
但智能體AI可能會改變這一切。TrendForce援引Arm的估算數據稱，隨著智能體AI工作負載的普及，數據中心每千瓦容量所需的CPU核心數量可能從約3000萬核增加到1.2億核。
這意味著CPU核心需求可能出現四倍的增長。TrendForce預計，在智能體AI基礎設施中，CPU與GPU的配比將趨向於每1至2個GPU配置1個CPU，相比許多現有AI部署中明顯偏低的CPU配置比例有顯著提升。
這一轉變也可能影響系統性能、能耗以及基礎設施成本。TrendForce援引的研究數據顯示，在某些智能體工作負載中，基於CPU的工具處理環節所占的總延遲比例可能高達90.6%。在特定運行條件下，CPU的動態能耗也可能占到系統總能耗的相當大一部分。
這些數據凸顯出平衡CPU與GPU資源配置的重要性。如果負責協調AI智能體及執行相關任務的處理器成為瓶頸，僅僅增加GPU容量未必能夠提升整體性能。
頗為意外的是，這種對CPU需求日益增長的明顯信號，正來自英偉達。長期以來，英偉達一直在淡化甚至貶低CPU的作用，將GPU定位為解決一切問題的終極方案。
但幾年前隨著Grace處理器的推出，英偉達的態度已然發生轉變，如今該產品線已發展至Vera一代。Vera專為與英偉達GPU平台緊密協同工作而設計，配備88個CPU核心和176個線程，並搭載高頻寬的NVLink-C2C互連技術，用於與英偉達加速器之間的通信和內存共享。
英偉達還在開發專用的Vera CPU機架，使客戶能夠獨立於以GPU為主或純GPU系統部署CPU系統。由此可見，英偉達也清楚地認識到，CPU在某些方面是GPU無法替代的。
TrendForce的分析揭示出AI計算領域正在發生的一場更為深遠的變革：隨著系統從生成單一響應逐步轉向自主執行多步驟任務，負責協調這些任務的處理器的重要性正在不斷提升。
