宅中地 - 每日更新
宅中地 - 每日更新

贊助商廣告

X

不靠先進制程、不用HBM,東方算芯把3D近存晶片放進了大模型訓練集群

2026年10月16日 首頁 » 熱門科技

在半導體行業,晶圓對晶圓的混合鍵合併不是一項全新技術。

2016年前後,索尼把其用在了手機CMOS圖像傳感器上,像素層與邏輯層以「銅-銅」直連的方式疊在一起;2018年,長江儲存發布Xtacking架構,把儲存陣列晶圓和外圍電路晶圓鍵合到一起,用在3D NAND上。

此後近十年,這項工藝的主戰場,一直是圖像傳感器和快閃記憶體。

但如果把同樣的工藝用在DRAM與AI邏輯晶片之間,做出大算力晶片,再組成集群連續進行大模型訓練,能行嗎?

過去,這條路線一直停在論文和樣片階段,看得見,卻做不到。而東方算芯,率先把它變成了現實。

最近在上海舉辦的國芯展上,東方算芯宣布,基於DF1000打造的首個全國產大規模訓練集群已正式交付。

這也是3D大算力晶片首次在128卡集群規模上完成穩定性驗證:集群連續訓練72小時無中斷,千億參數級的Step 130B大模型僅用7天便完成訓練適配。按計劃,年底東方算芯還將交付千卡級集群。而從項目立項到集群具備訓練能力,整個過程只用了24個月。

消息發布以來,外界關注較多的是「24個月」和「7天」這兩個數字。

但如果把DF1000的規格拆開看,還有一組數字更能說明這條路線的特點:520 TFLOPS的BF16算力,對應6.4TB/s的訪存頻寬。每完成一次浮點運算,DF1000能分到的頻寬約為主流GPU的2~3.6倍。

這樣的配比,在當前的AI晶片中並不多見。

01  頻寬:把「距離」換成「密度」

從行業背景看,隨著大模型參數規模和Agent推理需求的快速增長,AI晶片面臨的瓶頸已不只是算力,數據搬運同樣關鍵。

魏少軍在今年WAIC上將國產AI晶片面臨的挑戰概括為「三堵牆」:算力牆、內存牆和通信牆。其中,內存牆的本質,就是計算單元的處理速度遠快於數據從儲存送到計算單元的速度。

不靠先進制程不用HBM東方算芯把3D近存晶片放進了大模型訓練集群

國際歐亞科學院院士、清華大學微電子學研究所和微電子與納電子學系教授,

東方算芯董事長兼CEO 魏少軍(截取自:清華大學官網)

這樣的挑戰之下,主流的解法是2.5D封裝加HBM。

具體而言,邏輯晶片與多組HBM並排放在矽中介層上,靠微凸點和橫向走線相連。這條路線要提升頻寬,只能多放幾組HBM、或者不斷抬高接口頻率,同時還要依賴先進制程和HBM供應。

對國產晶片而言,這兩樣恰恰都是最難拿到的。而東方算芯的選擇,是從根上改變儲存與計算的連接方式。

不靠先進制程不用HBM東方算芯把3D近存晶片放進了大模型訓練集群

D DRAM近存計算:邏輯層與DRAM層混合鍵合垂直互連(來源:東方算芯官網)

DF1000是國內首顆採用DRAM-Logic晶圓級混合鍵合不靠先進制程不用HBM東方算芯把3D近存晶片放進了大模型訓練集群3D垂直集成的AI算力晶片。其把DRAM晶圓直接鍵合在邏輯晶圓上方:兩片晶圓表面的銅焊盤對準後直接連接,中間沒有凸點,也沒有中介層,計算層與儲存層在垂直方向上「面對面」相連。

不靠先進制程不用HBM東方算芯把3D近存晶片放進了大模型訓練集群

巔峯DF1000 AI加速卡(來源:東方算芯官網)

這種方式帶來的第一個變化在距離。數據從儲存到計算單元,不再需要經過毫米級的橫向走線,而是穿過微米級的垂直互連。傳輸距離縮短後,信號延遲顯著降低,每比特數據的搬運能耗也同步下降。這是一次在頻寬、延遲與工藝三個維度上的架構級創新。

第二個變化在密度。混合鍵合把互連間距從傳統方案的數十微米壓縮到了亞微米級。間距縮小,連接密度會成平方倍增長:按方陣排布粗算,間距為數十微米時,每平方毫米只能布置數百個連接;進入亞微米級後,同樣的面積可以容納上百萬個連接,兩者相差三到四個數量級。

落到DF1000上,這種密度優勢直接體現為垂直通道的數量,其3D DRAM可提供相當於傳統HBM數十倍的TSV數量,互連密度和頻寬密度均實現了數量級提升。

不靠先進制程不用HBM東方算芯把3D近存晶片放進了大模型訓練集群

【筆者根據「互連密度≈1/間距²」(方陣排布)估算繪製

數據來源:亞微米級取自東方算芯官網「互連間距壓縮至亞微米級」的表述,按1μm計;作為參照,微凸點約50μm、晶圓級混合鍵合3μm取自S. Wang et al., Electronics 2023, 12(5):1077;晶片級混合鍵合約9μm為業界公開報道典型值。

連接數量一旦以數量級增加,儲存接口的設計邏輯就會隨之改變。訪存頻寬等於接口數量與單接口速率的乘積。傳統方案的接口數量受限於連接密度,只能不斷提高單接口速率;混合鍵合把連接數量提升了幾個數量級後,DF1000可以用大規模並行的接口獲得更高的總頻寬。

這也正是DF1000能在14nm工藝上實現6.4TB/s訪存頻寬的原因。在同等容量下,DF1000的頻寬可達HBM方案的5倍以上。

這套結構的擴展路徑同樣明確:增加DRAM堆疊層數,可以提升顯存容量;高密度的垂直互連,則持續提供頻寬。3D DRAM因此具備了替代HBM的能力。

第三個變化在封裝層面。3D DRAM替代傳統的數據儲存結構後,原本留給HBM的封裝面積,以及邏輯晶片上用於連接HBM的接口資源,都被釋放了出來。在此基礎上,DF1000引入了Infinity Chiplet 3.5D+擴展結構,將3D垂直集成與2.5D平面擴展相結合,同等封裝尺寸下,可以容納更多計算單元和互聯接口,算力、網路頻寬和互聯規模都較傳統2.5D方案更進一步。

更關鍵的是供應鏈。DF1000不使用HBM的高頻寬顯存,也不依賴最先進的製造工藝,從晶片設計、14nm晶圓製造、3D先進封裝到封測,全部在本土產業鏈上完成閉環。正如魏少軍多次強調的,DF1000最重要的價值在於實現了全國產供應鏈,「如果供應鏈不安全,技術再好也沒用」。

此前,國內學術界和產業界在混合鍵合DRAM方向上已有不少探索,東方算芯則率先將這項技術推進到了大模型訓練晶片與集群層面。

02  配比:DF1000為什麼「頻寬優先」?

要理解DF1000的設計取向,可以藉助屋頂線模型不靠先進制程不用HBM東方算芯把3D近存晶片放進了大模型訓練集群(Roofline Model)來分析。這是晶片架構領域常用的性能分析方法,由加州大學伯克利分校的研究者於2009年提出,用來判斷計算任務的性能受限於算力,還是受限於訪存頻寬。

在這一模型中,峰值算力與訪存頻寬之比構成一個「拐點」,單位為FLOP/Byte。計算任務的算術強度,即每讀取1字節數據所需執行的浮點運算次數,低於拐點時,性能受訪存頻寬限制;高於拐點時,性能才由峰值算力決定。

按520 TFLOPS的BF16算力和6.4TB/s的訪存頻寬計算,DF1000的拐點約為81 FLOP/Byte。作為參照,過去幾代主流GPU的算力增速明顯快於頻寬增速,拐點大致落在150~300 FLOP/Byte之間。DF1000的拐點更低,意味著每單位算力配備了更多的訪存頻寬。

這樣的配比,與大模型推理的計算特徵高度匹配。在推理的Decode階段,每生成一個token,都需要從顯存中完整讀取一遍模型權重。以BF16權重為例,每讀取2字節權重,約執行2×批量大小次浮點運算,算術強度大致等於批量大小,在常見的批量範圍內遠低於拐點。

這意味著,在Decode階段,決定推理速度的不是峰值算力,而是訪存頻寬。此時繼續增加算力,計算單元只能等待數據,算力利用率往往只有20%~30%;反過來,頻寬提升多少,性能就提升多少,單個token的生成成本也隨之下降。

DF1000以頻寬優先的配比,瞄準的正是這一區間。

不靠先進制程不用HBM東方算芯把3D近存晶片放進了大模型訓練集群

DF1000應用場景:AFD分布式推理(來源:東方算芯官網)

這一設計取向,也契合了算力需求的結構性變化。隨著大模型從訓練走向大規模推理,衡量算力的標準正在改變:競爭從單晶片性能轉向系統層面,核心指標變成了單位功耗產出的token總量,以及在服務等級協議約束下提供低延遲token的能力。

在這套指標體系下,訪存頻寬的權重顯著上升。DF1000面向的三大應用場景:大模型訓練、AFD分布式推理和大模型單機推理,正是圍繞這一變化展開的。其中,AFD(Attention-FFN分離)將注意力計算與前饋網路部署在不同的計算資源上,注意力部分需要反覆讀取KV Cache,是典型的頻寬密集型負載,恰好是DF1000最擅長的區間。

頻寬優勢同樣延伸到了訓練側。大規模矩陣乘法和預填充屬於計算密集型負載,算術強度高於拐點,充足的頻寬可以保證數據持續供給,讓計算單元始終保持滿載;歸一化、激活函數、優化器更新等逐元素運算則屬於頻寬密集型負載,頻寬越高,這些環節的耗時越短。

無論任務在拐點的哪一側,高頻寬都能轉化為實際收益。

03 效率:軟體定義計算架構,釋放有效算力

3D近存讓數據能夠足量、及時地送到計算單元,只解決了一半問題。

在14nm工藝下,單顆晶片能集成的計算單元數量和運行頻率都有上限,無法像先進制程那樣靠堆疊電晶體換取算力。因此,DF1000的有效算力,最終取決於每一個計算單元能否被充分利用。

而提高利用率,恰恰是現有兩條主流路線都難以兼顧的問題。DSA專用架構針對特定算法設計硬體,運行目標算法時效率很高,但AI算法大約每三到六個月就會出現較大變化,一旦算子結構與硬體不再匹配,部分計算單元就會閒置。

另一方面,GPGPU通用架構依靠可編程性適應算法變化,但通用性的代價是利用率,傳統架構在大模型負載下的算力利用率通常只有30%~40%,需要依靠先進制程提供更多電晶體來彌補。

前者缺靈活性,後者依賴先進工藝,都不適合在14nm製程上追求高性能。

東方算芯的解法是軟體定義晶片不靠先進制程不用HBM東方算芯把3D近存晶片放進了大模型訓練集群:硬體的計算結構不再固定,而是由軟體配置,軟體寫入什麼功能,晶片就具備什麼能力。這樣一來,晶片既能像專用架構那樣讓硬體貼合算法,又能像通用架構那樣隨算法演進而調整。

魏少軍曾強調,正是軟體定義同時解決了計算效率和能量效率兩個核心問題,3D近存則主要負責頻寬。

具體到DF1000,計算單元的浪費通常來自三個環節:硬體與算子不匹配、計算單元等待數據、部分單元空閒。軟體定義架構針對這三個環節分別給出了對應設計。

針對不匹配,DF1000採用由數據流驅動的粗粒度Tile計算架構。其可重構張量計算引擎支持FP32、FP16、BF16、FP8、FP4等多種精度,能夠根據模型特性動態重構,自動選擇最優數據通路;張量計算單元與向量計算單元共享數據通路,減少了因算子類型不同而閒置的硬體;對於Attention等Transformer核心算子,DF1000設計了可重構Transformer加速器進行硬體級優化。

由於硬體結構可以隨軟體調整,DeepSeek不靠先進制程不用HBM東方算芯把3D近存晶片放進了大模型訓練集群、Qwen、GLM等主流大模型架構的持續演進,都可以通過軟體配置來適配,而不必重新設計晶片。

針對計算單元等待數據的問題,DF1000以Tensor Tile為基本調度單元,構建了全異步、無阻塞的數據流執行引擎。數據的流向由軟體顯式安排,取代了傳統緩存機制,省去了緩存命中判斷和數據替換的開銷;計算與數據搬運深度重疊,當前Tile在計算時,下一個Tile的數據已經在傳輸。3D近存提供的高頻寬,正是通過這套執行模型轉化為計算單元的持續滿載。

不靠先進制程不用HBM東方算芯把3D近存晶片放進了大模型訓練集群

軟體定義計算架構:可重構張量計算引擎與Tensor Tile數據流(來源:東方算芯官網)

針對部分單元空閒,DF1000通過任務處理的空間並行和硬體資源的時分復用來調度資源。空間上,多個任務同時分布在不同的計算單元上執行;時間上,同一批計算單元在不同時段承擔不同任務。兩者結合,讓晶片上的計算單元在任何時刻都儘量處於工作狀態。

幾類痛點逐一消除後,DF1000的計算效率可達85%以上,比其他方案高出30%以上。

這意味著在同樣的14nm工藝下,DF1000可以把更大比例的峰值算力轉化為有效算力,從而降低了對先進制程的依賴。

這也對應了魏少軍曾提出的問題:「如何在現有工藝條件下實現高性能,同時能夠滿足通用大模型發展的晶片路線,對中國來說是一個獨有的問題。」DF1000的答案,是讓計算、儲存與互聯三者協同匹配。

用他的話說,「這不是單項指標最優,而是多項指標協同最優」。

04  速度:晶片到集群,24個月跑通

架構上的優勢,最終要體現在工程交付上。魏少軍曾用一組數字描述了AI產業的時間錯配:應用以周為單位更新,算法以月為單位疊代,晶片設計以年為單位,而系統部署周期長達5到10年。晶片從設計到真正可用的周期越長,與算法演進之間的落差就越大。

因此,對AI晶片公司而言,核心的工程問題是如何縮短從晶片到可用系統的周期。

傳統路線之所以慢,在於其串行推進的邏輯。晶片流片,回片後才開始軟體適配,軟體穩定後再搭建集群,每一個環節都要等上一個環節完成。東方算芯則不同,晶片設計、編譯器與算子庫開發、集群系統架構三條線並行推進、協同驗證,這是24個月跑通全鏈路的關鍵。

而三條線並行,根源還是在於架構的選擇。

一方面,軟體定義架構讓軟硬體可以同步開發。DF1000的硬體結構由軟體配置,這意味著硬體與軟體之間的接口在設計之初就被清晰定義。硬體團隊確定Tile的接口、數據通路和精度之後,編譯器、運行時和算子庫團隊即可基於同一套抽象同步開發,不必等到回片之後才開始適配。

在DF1000加速卡回片後,算力、顯存頻寬、通信頻寬、功耗溫度等全項規格測試全部完成,11項BF16算子測試一次性通過,證明了這套軟硬體協同設計在矽片上的有效性。

另一方面,數據流架構縮短了新模型的適配周期。可重構陣列的工作方式,是把神經網路映射為數據流圖,在Tile陣列上空間展開執行,而不是為每一個算子單獨編寫和調優程序。Transformer類大模型的核心算子種類相對集中,再加上針對Attention的硬體優化,以及覆蓋編譯器、運行時、算子庫、集合通信庫、分布式訓練框架和一站式工具鏈的全棧軟體,併兼容主流深度學習框架,新模型的適配工作量大幅減少。Step 130B的7天訓練適配,正是這一能力的體現。

此外,獨立的通信層讓晶片能夠擴展為集群。單卡跑通之後,規模化的瓶頸轉向卡間通信。在傳統架構中,集合通信往往要占用一部分計算資源,卡數越多,計算與通信的爭搶越明顯。

DF1000的原生分布式執行模型不靠先進制程不用HBM東方算芯把3D近存晶片放進了大模型訓練集群將通信獨立成層,分為三級:

晶片級,每顆計算晶片集成專用的軟體定義通信處理器,卸載AllReduce、AllGather、Send/Recv等集合通信操作,通信與計算異步執行;

伺服器級,基於標準以太網構建超節點互聯;

軟體級,提供計算通信重疊的編程模型和原生分布式運行時,支持從單卡到多卡的平滑擴展。通信被卸載之後,計算陣列可以專注於計算,大規模並行效率隨之提升。

不靠先進制程不用HBM東方算芯把3D近存晶片放進了大模型訓練集群

原生分布式執行模型:晶片級軟體定義通信處理器(來源:東方算芯官網)

另外,系統層面進行了全面標準化。DF1000遵循OAM 2.0規範不靠先進制程不用HBM東方算芯把3D近存晶片放進了大模型訓練集群,提供風冷和液冷版本,可接入主流國產伺服器平台;

擎元QY100為單機8卡伺服器,支持國產CPU和作業系統。

拓域TY64為64卡液冷超節點,單節點算力33 PFLOPS@BF16,即64張DF1000的算力總和;

慧算HS128、HS512分別為128卡和512卡的智算集群,整體交付、開箱即用。

由於超節點基於標準以太網,交換機和網卡可以直接選用成熟的國產產品,集群側的研發周期和供應鏈風險都得以降低。

不靠先進制程不用HBM東方算芯把3D近存晶片放進了大模型訓練集群

擎元QY100&慧算HS512(來源:東方算芯官網)

集群交付環節,東方算芯形成了「部署—聯調—壓測—試訓—驗收」的標準化交付體系。128卡DF1000訓練集群承載了Llama2-70B、JYXC-130B等多個大模型訓練任務,實現72小時連續訓練無中斷,訓練精度達標。

對訓練集群而言,72小時是一道關鍵門檻,鏈路穩定性、顯存可靠性、溫度控制等問題,大多需要在長時間連續運行中才能得到充分驗證。集群同時配備了智能調度、故障自愈和全維度監控體系,有限的運維團隊即可支撐集群的穩定運行。

不靠先進制程不用HBM東方算芯把3D近存晶片放進了大模型訓練集群

拓域TY64 64卡液冷超節點(來源:東方算芯官網)

05  寫在最後

24個月跑通全鏈路,背後是近20年的技術積累:從2006年清華大學的可重構計算研究,到2019年提出軟體定義近存計算,再到2024年東方算芯成立、2026年DF1000發布並實現集群交付。

工程周期能夠壓縮,前提是技術路線早已明確。

按照「量產一代、研發一代、預研一代」的節奏,東方算芯計劃推出的DF2000,各項性能參數較DF1000翻倍;2027年計劃第四季度推出DF3000,指標在DF2000基礎上再次翻倍。2026年年底的千卡級集群交付,將是這條路線在交付更大規模上的又一次驗證。

在後摩爾時代,當工藝微縮的紅利逐步放緩,通過架構創新和先進封裝提升系統效率,正在成為全球半導體產業的共同方向。

而反觀東方算芯所實現的,是一條立足成熟工藝、不依賴HBM、可以規模化複製的「中國方案」。

宅中地 - Facebook 分享 宅中地 - Twitter 分享 宅中地 - Whatsapp 分享 宅中地 - Line 分享
相關內容
Copyright ©2026 | 服務條款 | DMCA | 聯絡我們
宅中地 - 每日更新