DRAM供應持續緊張，已將AI巨頭逼到拆舊伺服器回收記憶體的地步。
谷歌供應鏈基礎設施高級總監Nikhil Cherian近日透露，AI行業已從算力受限快速轉向記憶體受限，高性能記憶體目前占單台AI伺服器物料成本的約75%。
據Cherian介紹，為突破記憶體瓶頸，谷歌在軟硬體兩端同時發力，硬體層面甚至建立了內部回收供應鏈，將退役伺服器拆解後回收可用的DDR4記憶體模組。
Cherian坦言，谷歌專門設計了硬體轉接器，使上一代DDR4記憶體能夠連接到新一代AI伺服器上，並且正在專門重新導入退役伺服器以拆取其中的DDR4模組。
這意味著原本應使用DDR5的新AI伺服器，在部分情況下不得不降級使用回收的DDR4。
軟體層面，谷歌持續優化底層函數庫、模型架構和KV Cache壓縮技術，試圖降低單位算力的記憶體消耗。
今年穀歌推出了兩款TPU ASIC，分別是面向訓練的TPU8t和面向推理的TPU8i，其中TPU8i每顆晶片配備288GB HBM3e，提供8.6 TB/s記憶體頻寬，並集成384MB片上SRAM用於儲存活躍的KV緩存，減少對外部系統記憶體的查詢需求。
TPU8i伺服器採用谷歌自研基於Arm架構的Axion處理器替代傳統x86主機CPU，依賴高速DDR5記憶體架構處理數據預處理等主機級任務。
然而即便如此，谷歌仍被迫在部分場景中以回收的DDR4替代DDR5，足見當前DRAM供應緊張程度之深。
