去年末，谷歌推出了面向人工智慧（AI）應用的新實例，由「Axion」Arm處理器和基於第七代TPU「Ironwood」提供支持。同時谷歌正在準備第八代TPU，將分為兩個版本：一個是專為AI推理設計，TPUv8x「Zebrafish」；另一個則是針對AI訓練優化，TPUv8ax「Sunfish」，用於訓練Gemini等AI模型。其中在TPUv8x上，谷歌得到了聯發科的幫助，後者對晶片設計和封裝提供支持。
據TrendForce報道，隨著加入到谷歌的第八代TPU項目，聯發科正在強化自身在AI生態系統中的角色。近日聯發科首席執行官蔡力行在一次公開活動中，概述了XPU開發面臨的四大挑戰，涵蓋計算、記憶體、互聯和先進封裝技術。其中記憶體變得愈發重要，成為決定性的限制因素，目前在XPU物料清單的占比已達到50%，凸顯了記憶體對系統成本和整體性能日益增長的影響。
蔡力行表示，雖然AI訓練工作負載仍主要依賴HBM，但是隨著解決方案逐漸轉向定製化設計，AI推理正成為下一大增長引擎。在這一轉變下，得益於更高的密度和成本效益，DDR DRAM預計會被更廣泛地採用，另外SRAM將服務於更具選擇性的應用場景。在此背景下，SK海力士和三星都在推進相關開發。
SK海力士以「AI-N P」（性能）、「AI-N B」（帶寬）、「AI-N D」（密度）三個核心維度為目標，正在開發針對AI數據中心市場的「AIN」系列產品陣容。其中「AI-N B」也就是高帶寬閃存（HBF），「AI-N D」屬於大容量、低成本的解決方案，剩下的「AI-N P」就是與英偉達之間的合作，基於SLCNAND閃存打造，旨在有效地處理大規模AI推理環境中的大量數據輸入和輸出。
早在2021年，三星就推出了業界首款內置AI處理能力的HBM，名為HBM-PIM，最高可提供1.2 TFLOPS嵌入式計算能力，使記憶體晶片本身可以執行CPU、GPU、ASIC或FPGA的操作。之前有消息稱，三星再次將注意力轉向PIM技術，希望能在未來AI應用中取代傳統HBM。
