核心要點：
將計算能力移至更靠近內存的位置，能夠減少數據移動、降低功耗並縮短延遲。
不同的AI工作負載對內存架構、互連方式和處理方式有著各自不同的需求。
軟體支持、標準化以及熱管理，仍然是制約這類技術更廣泛應用的主要障礙。
從數據中心內的AI訓練，向邊緣側AI推理的轉變，需要人們從根本上重新思考數據應處理和儲存的位置、處理方式，如何確定數據處理的優先級，以及在有限功耗預算下如何權衡功耗與性能。
這些探索的核心在於一個共識：數據量的爆炸式增長——尤其是在物理AI領域，數據正從傳感器實時傳輸而來——要求大部分數據儘可能靠近內存進行處理。這一話題自物聯網誕生之初便已被討論，但真正受到廣泛關注則是因為AI帶來的數據洪流，以及人們對數據移動和處理所需功耗的擔憂。以電池驅動的電動汽車和無人機為例，用於數據處理的能耗越少，單次充電的續航里程就越長，也就有更多能量可以分配給關鍵及非關鍵功能。
挑戰在於判斷哪些數據需要保留、哪些可以捨棄、哪些需要立即處理。這些是截然不同的優先級判斷。做出這些選擇需要先進的處理能力，而以最少能耗獲得結果的最快途徑，就是儘量縮短數據在處理單元與內存之間移動的距離。
「這些大語言模型進入物理設備的現實，正促使所有人重新思考內存架構的設計方式，」Cadence產品管理部門總監弗蘭克·費羅表示。「即便只談傳統內存——先不說內存內處理——我該如何劃分這些模型，才能同時最大化處理器和內存子系統的整體性能？」
要解決這些問題，需要引入多種新方法，例如近內存處理（PNM）
和內存內處理（PIM），同時還需要在多項技術和方法上實現改進。編譯器和作業系統需要跟上步伐，相關標準也亟待建立。
「過去幾年，數據中心的AI以及這些大語言模型一直是所有人關注的焦點，而現在這些模型已經訓練完成，並被推向了網路邊緣和物理AI領域，」費羅說。「現實情況是，計算能力和內存都十分有限。」
邊緣側的AI推理面臨的挑戰，與在AI數據中心訓練AI模型截然不同。
「訓練過程幾乎總是伴隨著高度可變的內存訪問模式，並且主要使用解釋型代碼——例如Python到PyTorch的轉換——這就需要跨多層內存實現一致性所帶來的複雜處理，」Quadric首席營銷官史提夫·羅迪表示。「而一旦進入推理階段，使用模式就會發生顯著變化。無論是在數據中心運行的大型大語言模型，還是在本地運行的模型，比如汽車中較小的大語言模型或VLA（視覺-語言-動作模型），在運行之前模型本身就已確定。這意味著數據訪問模式是預先可知的。正是在這一點上，提前編譯技術能夠充分利用各種近內存、內存內處理或內存內計算（IMC）方案的優勢。整個系統清楚地知道計算將在何處、何時、以何種方式發生。不存在某個計算環節需要猜測數據是否在另一個內存子系統中被修改的問題，因為整個系統的調度安排早在AI推理模型編譯完成的那一刻——提前數小時、數天甚至數周——就已經規劃妥當。」
AI推理流程中的某些階段，相較於其他階段更能從近內存方案中獲益。
「將計算能力推送到DRAM內部或其附近，會帶來一些有趣的影響，」Expedera首席科學家兼聯合創始人沙拉德·喬爾表示。「這改變了你的通信模式——變成了激活值流向內存，而不是內存流向激活值——這會改變所需的通信量。這類方案適用於低批量解碼場景。舉例來說，如果批量大小為1，你在進行解碼但並未讀取所有權重，那麼一旦轉向以成本優化為目標的大批量解碼，或是以大批量執行為目標的預填充階段，激活值的通信就會成為具有挑戰性的環節。可以從這兩個角度來思考這個問題。歸根結底，你需要將執行過程拆分為對儲存量敏感、對頻寬敏感或對批處理敏感的不同部分。」
無論如何，讓計算能力更靠近數據，能夠減少數據移動所耗費的時間和能量，而在同一內存封裝內（定製HBM）或同一內存晶片上（LPDDR6-PIM）進行處理，帶來了兩大根本性優勢。「其中一個優勢是性能，」Cadence產品營銷總監科斯·吉切夫表示。「如果我們考慮的是SoC內部的CPU或核心，每當需要執行一次操作，都必須訪問外部內存，這就會產生一次事務：『好的，從內存中取一些數據，這會先命中SoC內某處的緩存。』數據最終會抵達內存，再返回緩存，最後返回處理器。這一整套操作確實需要耗費一定時間。」
因此，儘管晶片架構師能夠讓SoC上的計算快速運行，但SoC仍需等待數據到達。「內存內處理在很大程度上解決了這個問題，」吉切夫說。「現在你可以說：『我在內存中有這麼一塊數據，去對它執行某個操作，然後我只需讀取結果就行了。我要跳過先讀取數據、再計算、最後寫回這整個步驟。我只需要讀取一次，僅此而已。』」
圖1：內存內計算與內存內/近內存處理的對比——數學運算發生的位置以及各術語的含義。需要注意的是，在硬體層面，CIM和IMC常被互換使用，用以描述那些直接在內存陣列內執行計算任務的架構，但IMC在軟體層面還有另一層含義。來源：Semiconductor Engineering
減少數據移動
歸根結底，要讓這種方案行之有效，整個系統都需要進行優化。
「思考框架已經從『我們需要更多內存』轉變為『我們需要一種能讓內存持續獲得數據供給、同時不餓死其他數據流量的互連架構』，」Baya Systems首席商務官南丹·納揚帕利表示。「而最近，這又進一步轉變為：『如何圍繞稀缺性本身來構建架構。』」
其他人也持相同看法。「AI系統正日益受限於在計算單元、內存、加速器、晶片組（chiplet）和晶片之間高效移動數據的能力，」Arteris產品管理與市場營銷副總裁安迪·奈廷格爾表示。「這使得互連和內存架構變得與內存設備本身同等重要。這也進一步凸顯了對可擴展的片上網路（NoC）、晶片組、緩存一致性以及系統映射技術的需求，這些技術能幫助客戶在晶片製造之前就優化數據移動方案。」
互連、緩存方案和封裝技術在邊緣側都發揮著日益重要的作用，但要在控制成本的同時選擇合適的組合方案，是一項挑戰。因此，儘管新一代高頻寬內存使得在多晶片堆疊的基礎晶片中實現更多處理成為可能，但根據成本的不同，一種將計算切片置於DRAM儲存體旁邊的LPDDR6-PIM方案可能更具吸引力。
「近內存計算仍然依賴外部通道接口，」SK海力士高級副總裁兼研究員金浩植表示。「但通過將處理單元設置在靠近內存數據的位置，我們實際上可以消除或減少大量數據移動，從而獲得更高的能效。同時，我們還能將計算功能從CPU或GPU上卸載出去，從而更好地利用主機CPU或GPU的資源。」
典型的應用場景涉及將內存控制器集成於基礎晶片內部。「我們正在集成一些有用的近內存處理單元，用於卸載簡單的乘累加（MAC）運算，」金浩植說。「因為，如果考慮推理工作負載的運算特點，大多數函數計算都是簡單的MAC運算。因此我們可以將MAC運算置於基礎晶片內部進行擴展，然後與GPU協同完成更複雜、計算密集型的運算。」
多年的發展歷程
部分必要技術如今已經具備，而另一些則需要數年時間才能開發成熟，或改進到足以產生實質影響的程度。
「我們預計在三到五年後，也就是大約2030年前後，才會看到內存內應用的落地，」Ayar Labs產品管理總監維沙爾·錢德拉塞卡表示。「你希望能夠連接多個GPU，使得不同的GPU能夠相互訪問對方的內存。人們一直在努力提升單個GPU的內存容量，但受限於數據包大小和HBM頻寬等因素。內存內計算是其中一條路徑，它使得內存的基礎晶片本身具備某種形式的計算能力。」
不過，這項技術距離商業化還有一段距離。「說這項技術已經在市場上投入使用，有點過於樂觀了，」Cadence的費羅表示。「可能存在一些非常特定的嵌入式應用正在使用某種形式的內存內處理技術，但從廣泛應用的角度來看，現階段仍處於早期階段。」
內存內處理方案正在緩慢地從研究階段走向商業化。例如，三星公布了其面向低功耗移動端設備側AI應用的LPDDR6-PIM晶片的架構與性能基準數據。
「LPDDR-PIM是在JEDEC（電子器件工程聯合委員會）內部獲得最多關注的技術，」是德科技內存解決方案項目經理蘭迪·懷特表示。「目前圍繞LPDDR-PIM的積極研發和討論正在進行中，但硬體和軟體方面都存在挑戰。從硬體角度來看，你需要將邏輯工藝與DRAM工藝混合在一起，而這兩種工藝針對的優化指標各不相同，因此這種創新本身就使製造工藝變得更加複雜和昂貴。你必須非常謹慎地進行選擇，並確保你的應用場景能夠承受這種額外的成本。」LPDDR6-PIM的應用範圍，將從針對性能優化的固定節點邊緣伺服器，延伸到針對能效優化的手機和平板電腦。
比硬體更棘手的問題？
軟體方面的挑戰可能更為艱巨。「你要如何管理工作負載的不均衡分布和負載均衡？」懷特指出。「假設你採用一種棋盤式布局的內存陣列或核心，每隔10列左右的內存，就嵌入一條垂直的邏輯矽片切片。如果你拿起這塊PIM晶片放到顯微鏡下觀察，你會看到一個棋盤狀結構，每隔若干行就重複出現這樣的切片。這種布局本身就帶來了一些時序約束。當你訪問某一行數據時，必須等待計算引擎上某條指令的運算完成。所以這不僅僅是在不同儲存體訪問之間獲取數據並平衡時序的問題。現在，內存訪問與等待計算數據完成被耦合在了一起。這種設計的全部意義在於：我不需要頻繁地移動數據。我只是在相鄰單元之間移動數據，這確實很好。從硬體角度來看，功耗更低等優勢都能實現。但對於負責編寫BIOS、必須創建同步調度程序的工程師來說，複雜度已經呈爆炸式增長。」
必須從對整個系統的影響角度來考量PIM架構。「硬體必須經過設計和優化，確保計算係數的數量等參數設置合理，」懷特說。「然後內存也需要以恰當的方式進行劃分，不能劃分得過於精細，這樣才能在粗粒度和細粒度之間實現恰當的權衡。」
圖2：要讓近數據計算發揮其潛力，哪些問題必須得到解決。來源：SK海力士/DAC
此外，內存編程模型目前仍處於變動之中，尤其是隨著PIM、CIM、CXL連接的分層內存以及異構內存架構等非傳統內存系統的興起，這一變動更加明顯。
「我不認為這個行業會最終統一到單一的編程模型和一致性實現方案上，」Rambus研究員兼傑出發明人史蒂芬·鄔表示。「在過去40年裡，業界已經實現了多種不同的編程模型、一致性協議和一致性模型，為系統設計者和應用開發者提供了不同的權衡方案。架構和一致性實現方式的多樣化，正在推動業界開發更多高性能庫的需求，使程式設計師能夠調用以不同優化方式實現的通用函數，以適配不同的系統。高性能庫維持著一定的抽象層級，這在提升程序可移植性和性能可擴展性的同時，也讓程式設計師無需了解底層硬體的全部細節。」
編譯器與內存控制器的考量
支持新型內存架構，需要軟體層面的創新。
「問題已經不再是PIM是否可行或是否有意義，」SK海力士的金浩植表示。「這已經是現實。問題在於如何構建軟體編譯框架和系統軟體。整個生態系統都需要跟進這一變化。」
Cadence的吉切夫對此表示認同。「真正的挑戰在於，當前系統的設計方式是讓編譯器、作業系統以及一切軟體都圍繞著SoC內部的處理器核心或加速器來運作，整個系統都是為了讓這個處理器完成所有工作而設計的，」他說。「這就是現有的基礎架構。而現在，本質上你可以將部分處理器的工作卸載出去，並說：『我需要執行這個操作，但並不一定需要處理器來完成它。』要實現這一點，背後需要一整套基礎架構的支撐。這涉及軟體層面的問題。作業系統和處理器需要明白：『這些操作我可以發送給內存去完成，它們會處理好，我只需獲取結果；但另一些操作我仍需在本地執行，因為我現有的內存可能無法勝任，或者我的系統這樣做效率不夠高。』」
晶片內部的標準化同樣是一項必要需求。「你要如何將這些組件連接在一起？」吉切夫說。「目前，就從處理器到SoC互連結構再到內存之間的事務傳輸類型而言，我們還沒有一種行之有效的方式來表達『去內存中執行這個操作』這樣的指令。這套基礎架構目前尚不存在。我們需要硬體和協議能夠指示內存去完成這些操作，同時也需要軟體和作業系統支持整個系統完成這項工作，並判斷何種方式才是高效的。」
歸根結底，這涉及兩種不同的數據流。「我有一路數據流，用於儲存、讀取和寫入，」費羅解釋道。「同時我還有另一路數據流，用於計算，而這並非作業系統和處理器原生設計所適配的模式。現在你需要處理器廠商、處理器與互連結構之間接口的開發者、系統廠商，當然還有作業系統開發者之間展開協作。所有這些環節都需要做出相應調整。這種調整可能很大，也可能不大，但如果沒有標準化，每個人的系統都將變得高度定製化。」
本地代理與內存控制器
近內存和內存內架構給流量管理和系統一致性帶來了各自不同的壓力。
「在傳統的硬體一致性系統中，本地代理負責追蹤共享數據在整個系統中的使用位置，並確保各個處理單元獲得正確的數據副本，」Rambus的鄔解釋道。「硬體一致性機制消除了程式設計師手動管理跨處理單元數據更新的需求，從而簡化了編程工作。而諸如鎖和屏障等同步原語，以及軟體一致性機制，則為應用程式提供了額外一層控制手段，用以管理數據更新的方式和時機。這些硬體和軟體機制共同作用，使得設計高效算法成為可能，同時維持一定程度的硬體抽象層級，隱藏了底層硬體的細節，從而簡化了編程任務，也簡化了系統中為維持一致性而對數據更新方式進行管理的工作。」
這意味著軟體工程師越來越需要理解硬體層面的知識，反之亦然。
「隨著問題規模的增長和處理單元數量的增加，要實現良好、可擴展的性能正變得愈發困難，」鄔表示。「儘管本地代理把管理一致性的負擔從程式設計師身上卸下，但本地代理為維持一致性而發送的消息，本身可能成為性能瓶頸。程式設計師越來越需要理解底層硬體的結構和功能，才能獲得良好的性能表現。算法通常需要進行調整，以某種方式對數據進行分片，從而最大限度地提升任務的獨立性，並最小化系統中一致性流量的傳輸量。在某些系統中，完全不採用硬體一致性機制反而能獲得最佳性能，但這會使編程任務變得更加複雜。」
內存控制器面臨著雙重挑戰。「其中一部分挑戰在於內存子系統，它由物理層（PHY）和控制器組成，」Cadence的吉切夫說。「控制器本身正是這些指令真正執行工作的地方。但現在你面對的是一套不同的指令集。在此之前，基本上只有兩種指令——讀取數據、寫入數據，僅此而已。實際的控制邏輯比這複雜得多，但從宏觀層面看，這就是它的全部功能：以儘可能高效的方式讀取和寫入數據。而現在，一種不同的挑戰正在浮現，我們需要一套不同的指令和規則來表達：『嘿，現在能不能幫我把這份數據乘以那份數據，或者把內存中的這份數據除以另一個數值，又或者執行某種運算。』對控制器來說，實現這一點本身並非重大挑戰。我們只需增加更多指令，並設法讓它們正常運作、儘可能高效地執行即可。」
第二個挑戰則更為棘手。「處理器需要具備發送這些指令的能力，」吉切夫說。「它需要在內存子系統內部預先準備好數據，以便確認：『如果我要把這份數據與那份數據相乘，我是否已將正確的數據放在了正確的位置？運算結果是否被放置在了正確的位置？這次操作是否已經完成？』控制器會負責管理其中一部分工作，但同時也必須與整個系統保持非常緊密的協作。」
熱管理、物理限制與CIM
近內存處理有助於減少數據流量，但也可能放大現有的物理層面問題，例如散熱問題。
「內存短缺的部分原因，在於當前業界最先進設計方案及對現有內存的使用方式，」Vinci全球現場應用與解決方案負責人薩蒂什·拉德哈克里希南表示。「創新的設計方案有助於降低單位需求，並提升利用率。目前提升內存利用率最具可行性的方案——包括更高層數的HBM堆疊、定製HBM、近內存計算、內存內計算以及基於晶片組（chiplet）的解耦方案——都共有一個特點：它們都是用物理層面的新問題，去換取頻寬問題的解決。將內存堆疊得更靠近計算單元，會恰恰在最難散熱的位置集中產生熱量。異質材料堆疊和微米級互連結構，會產生不受晶片、封裝和電路板之間邊界限制的熱機械應力和翹曲行為。熱量不會止步於晶片本身，與之相伴而來的各種限制條件同樣如此。」
正因如此，內存廠商往往會在發布新架構的同時，一併公布相應的新散熱技術。例如，SK海力士宣布了一種集成式HBM（iHBM）方案，在HBM封裝內部嵌入了集成冷卻元件（ICE）。美光近期公布的技術路線圖中，包含了採用熱感知設計的垂直HBM（vHBM），並在物理層（PHY）上方配備了散熱片。三星則正通過一系列方案應對散熱問題，其中包括混合銅鍵合（HCB）技術以及散熱路徑模組（HPB），該公司計劃將這兩項技術應用於HBM5產品中。
SK海力士的金浩植提出，可以利用內存內計算來降低HBM基礎晶片的發熱量。「如果你把DRAM堆疊在邏輯晶片之上，DRAM對溫度是非常敏感的，」他說。「而邏輯晶片則很容易產生熱點。基本上，熱點會出現在內存的底部區域。散熱確實可能成為一個真正的挑戰，需要加以解決。內存內計算可以成為一種解決方案。它的功耗極低，因此完全可以將內存內計算單元設置在基礎晶片或內存的底部區域。」
在實踐中，IMC/CIM技術可能適配定製化的HBM4或HBM4E產品，因為其基礎晶片採用的是代工廠的邏輯工藝製造。SRAM是其原生內存類型，這意味著可以在基礎晶片上構建SRAM CIM宏單元。CIM技術在SRAM陣列內部直接完成乘累加運算，因此權重數據無需在內存和獨立的MAC運算單元之間反覆移動。數據移動恰恰是能耗消耗的主要來源，這也是為什麼SRAM CIM宏單元在每瓦運算次數這一指標上，相比傳統數字加速器能表現出遠勝一籌的能效水平。每次運算所消耗的能量越少，功率密度就越低，DRAM下方產生的熱點也就越少。
結論
軟體支持，仍是連接近內存硬體與其在AI領域應用潛力之間的缺失環節。對於編譯器和AI框架而言，近內存處理和內存內處理架構正成為新興的發展方向，這有望讓開發者將數學運算操作直接卸載到內存子系統中執行，但支撐這一轉變所需的軟體生態，目前仍在努力追趕之中。
不同架構所能提供的計算能力及其局限性各有不同。LPDDR6-PIM僅限於配備適用於矩陣-向量乘法和逐元素數學運算的MAC單元或簡單算術邏輯單元（ALU）。而採用邏輯工藝製造基礎晶片的定製化HBM4/HBM4E產品，則可以添加其他內存控制功能。但這種靈活性是有代價的——存在一個散熱上限，能夠容納多少計算能力，取決於其在DRAM下方產生的額外熱量有多少。
「過去兩年裡，我們在定製HBM以及如何利用其基礎晶片層這一話題上，投入了大量的討論時間，」Cadence的費羅指出。
AI正在推動計算能力向內存更近的位置遷移，但僅憑物理距離上的靠近，並不足以帶來實質性的收益。要實現更廣泛的應用，關鍵在於將工作負載與硬體相匹配、妥善管理散熱問題，並為編譯器和作業系統配備相應工具，使其能夠判斷應將哪些任務卸載出去。移動計算位置只是解決方案的一部分；讓系統高效地利用這一變化，才是下一個需要通過的考驗。
