微軟Azure硬體系統與基礎設施總裁Rani Borkar近日表示，單純增加儲存晶片產能無法解決AI基礎設施瓶頸，儲存與電力正成為比計算晶片更難繞開的硬限制。受限於數據傳輸延遲與頻寬，許多AI系統往往僅能發揮約20%的實際性能。
她提出「從晶片到系統」的跨層協同設計路徑，涵蓋模型、編譯器、晶片、網路到供電的聯合優化，目標是在相同儲存與電力條件下提升計算資源的持續產出。
以微軟自研AI加速器Maia 200為例，該晶片採用台 積 電3nm工藝，搭載216GB HBM3e內存，同時通過模型壓縮、數據科學與架構設計降低KV Cache需求。網路方面，微軟採用雙層Scale-up網路，將網路接口控制器整合進晶片，以降低延遲並減少加速器閒置。
電力端同樣經歷巨變，AI機櫃功耗已升至數百千瓦。微軟引入固態變壓器與800V直流供電架構，並將精細電壓與時鐘控制器整合至Cobalt 200的每個核心內。
Borkar強調，沒有任何一項創新能單獨消除瓶頸，但聯合優化能大幅提高資源交付成果。微軟提出的「有效產出」指標，正將AI基建競爭從堆砌晶片數量轉向系統級效率比拼。
