美光
在探索開發高耐久性NAND快閃記憶體模組的方案，這些模組將更靠近GPU，而不是像傳統NAND快閃記憶體那樣位於儲存池深處，需要經過多種協議的傳輸。該架構旨在打破傳統儲存層級壁壘，將NAND快閃記憶體從遠端儲存池遷移至緊鄰GPU的位置，以填補HBM/DRAM與常規系統儲存之間的性能空白。
根據Digitimes的報道，與傳統追求高密度TLC或QLC顆粒不同，美光追尋的新NAND更側重於提升I/O速度、頻寬及讀取延遲表現。其設計目標是在GPU封裝或PCB上直接集成數百GB級的高速緩存層，作為顯存與系統儲存間的超快緩衝帶。這對大語言模型推理尤為關鍵：當模型參數超出顯存容量時，該層級可有效緩解內存頻寬瓶頸，使系統在減少GPU數量的前提下，通過增加儲存層級來支撐更大規模的推理任務。更重要的是，相比昂貴的HBM或DRAM，這種定製化NAND成本顯著更低，且容量可按需靈活配置。
實際上SK海力士與SanDisk已率先推動HBF，試圖以更耐用的NAND擴展GPU的HBM尋址空間。然而，所有廠商仍面臨共同挑戰：如何在保持NAND成本優勢的同時，大幅縮小其與HBM在頻寬和耐久性上的差距，這樣才能使之真正成為HBM的有效補充，而非僅是概念驗證。
隨著AI算力需求持續飆升，儲存架構的創新正成為繼製程微縮之後的新競爭焦點。若這種近GPU NAND得以量產落地，不僅將重塑AI伺服器的硬體設計範式，更有望大幅降低大模型部署門檻，推動生成式AI向更廣泛場景滲透。目前，該技術仍處於早期探索階段，但其潛在影響已引發產業鏈高度關注。
