數據移動、擁塞與能效正成為決定算力可用性的關鍵因素。隨著需要被不同處理單元處理、儲存和訪問的數據量持續增長，數據的移動、管理與追蹤正變得愈發複雜。
複雜SoC與多晶片實現，尤其是涉及AI的場景，可能包含大量片上網路（NoC）以管理和調度數據移動。這些網路可支持相干或非相干緩存與I/O，也可僅負責系統中某一物理部分的通信。但所有這些都需要在設計流程中比以往更早地規劃，並在整個系統生命周期內持續監控。
"從我們與AI SoC團隊的交流來看，訓練和推理不僅增加了數據量，更讓數據移動本身成為系統的主要瓶頸，"Arteris產品管理與市場營銷副總裁Andy Nightingale表示，"計算能力的擴展速度遠超摩爾定律，但數據移動、擁塞和能效越來越決定著這些算力是否真正可用。"
一致性與流量類型的權衡
數據流量與一致性是為特定應用場景選擇最優NoC的重要出發點。"晶片架構師應該思考：誰需要一致性以及為何需要、哪些智能體產生突發流量而哪些產生穩定流量、延遲邊界在哪裡真正重要，以及在衍生產品或小晶片間預期有多少復用或擴展，"Nightingale說，"CPU集群通常需要相干NoC，因為其編程模型依賴於此。NPU通常是非相干的，因為顯式數據移動和本地儲存能提供更好的功耗和吞吐量表現。"
ChipAgents首席執行官William Wang也認同一致性是關鍵起點："對於一致性至關重要的共享內存CPU集群，選擇相干NoC；對於吞吐量比嚴格一致性更重要的NPU和加速器，選擇非相干NoC。"
NoC存在多種形態：全緩存相干、末級緩存相干、I/O相干（也稱單向相干）以及非相干。相干網路通常比非相干網路更昂貴、更耗電。
"一種非常普遍的做法是，將擁有緩存的高性能CPU連接到相干網路，同時儘量縮小相干範圍，"Baya Systems首席解決方案架構師Kent Orthner表示，"你只希望在內存和CPU之間，也許還包括AI加速器之間保持相干。系統其餘部分通常使用更簡單的只讀寫協議。這種簡單協議不追蹤誰最後訪問了數據或誰負責數據，只是訪問內存或PCIe控制器等端點，讀取所需數據。人們談論SoC上多個NoC時，相干域與非相干域的劃分是最常見的分類方式。"
從自研到商用NoC IP的演變
過去，大型晶片製造商通常自研相對簡單的NoC。但隨著數據移動複雜性的增長，業界已逐步轉向商用NoC IP。"每家都有自己的方案來解決'如何根據輸入需求提供可配置模組'這一問題，"Synopsys戰略項目與系統解決方案執行總監Frank Schirrmeister說，"你說：'我有30個源，有些是相干的、非相干的、緩存相干的，有些只是I/O相干的。'然後你進入配置環境，按下按鈕，系統通過構建模組實例化緩存、TLB等組件來構建NoC。在數十億門的晶片上，如何確定各組件的擺放位置、如何傳輸數據，這一挑戰相當顯著。"
緩存一致性比I/O一致性更具挑戰性。"I/O核心一致性的場景範圍更廣，"Schirrmeister表示，"通常是外設（如GPU或網路接口）讀取CPU緩存數據，但反過來不行。而緩存一致性則要求多個CPU核心對所有核心上的內存保持一致視圖，這複雜得多，因為存在更多可能的狀態。"
緩存用於在處理器附近臨時儲存數據，以避免每次都訪問需要約100納秒的外部內存。"在我們關注的大型系統中，可能有非常多的處理器共享內存。如果某個處理器不知道另一個處理器已在本地緩存中保存了某份數據的副本，就可能讀取到錯誤的值，"Orthner解釋道，"緩存一致性的核心就是確保每個處理器看到的資訊視圖完全一致。"
小晶片、多晶片與3D集成
多晶片組合需要額外管理相干與非相干NoC。"我們的物理AI小晶片平台通常至少由三個小晶片組成，"Cadence小晶片與IP解決方案產品營銷集團總監Mick Posner表示，"中間是系統小晶片，一側是CPU小晶片，另一側是AI加速器。中心的系統小晶片必須同時具備相干接口和非相干接口：與CPU之間需要緩存一致性，與AI加速器之間則只需I/O一致性，因為加速器更像是一個擴展單元，通常擁有自己的內存，不需要緩存一致性。"
實現這一目標需要多個NoC協同工作。"為相干性設計的NoC通常比非相干NoC有更多開銷，"Posner說，"兩者之間的鏈路默認是非相干的，因為其中一側沒有相干性要求。"
一致性、可編程性與集成的平衡
在多晶片組合中協調數據移動，對可編程性和系統發現機制提出了更高要求。NoC可以幫助小晶片在封裝中相互識別。"在小晶片方案中，你可能將完全相同的晶片單獨封裝，也可能與另外四個小晶片組合封裝，甚至垂直疊加，"Orthner說，"因此，上電時小晶片如何發現彼此、了解自身在封裝中的位置，成為一個複雜問題，需要更高程度的可編程性。"
啟動時，系統需要一個管理智能體來協調路由配置，使不同小晶片能識別相同的目標地址，但通過不同路徑到達。
疊片配置帶來更多網路挑戰。"如何管理來自不同供應商的晶片，並評估其系統集成質量？"Keysight EDA高速數字設計領域負責人Hee Soo Lee表示，"疊片配置中，熱學和機械問題將比電氣問題更為突出。這些系統都受市場驅動，尤其是數據中心AI工作負載對數據需求的持續增長。"
面向PPA的優化
無論相干與否，多NoC均可從晶片設計的自頂向下方法來考量。"假設頂層有兩個主NoC，用於連接所有子系統，其下是本地化NoC，"Posner說，"你需要針對所連接的網路定製NoC，按照功耗、性能和面積（PPA）進行配置，並理解這一層次結構，因為一切都需要被統一管理。"
AI驅動的EDA技術正在幫助處理PPA權衡。"工具正在向完全自主的多智能體工作流作業系統演進，能夠跨越從規格到矽片的全流程進行推理，並提供實時設計質量反饋、PPA優化和跨域協同設計，"ChipAgents的Wang指出。
在大型SoC中，設計人員通常會創建多套配置。"配置網路通常與相干及主數據路徑分離，因為它只需低吞吐量——用於讀取寄存器、檢查系統性能、管理電源控制等，"Orthner說，"你希望在不影響主數據流量的前提下訪問它。"
地理或拓撲差異也推動了獨立NoC的需求。"晶片西側可能是一組計算核，東側是另一組，如果主數據路徑上兩者無需通信，就可以分別實現為東西兩個獨立網路，再通過第三個網路匯聚，"Orthner舉例說。
內存需求正在推動新的網路設計決策。"即使地理位置相同，人們也會將內存空間一分為二，分別稱為'偶數'網路和'奇數'網路，以便在系統中實現兩倍的數據流量，"Orthner解釋道，"當你設計晶片時，物理設計工程師需要在指定區域內放置所有NoC組件並滿足時序要求。如果不同項目中使用了不同工具，就會產生層次結構中相互疊加的邏輯，使物理設計師的工作極為困難。"
統一NoC軟體
為應對上述挑戰，設計人員越來越傾向於在單一項目中無縫集成多個NoC的統一解決方案。統一NoC軟體並非將所有數據匯聚於單一NoC，而是在一個統一項目中管理多個NoC。"在整體網路設計框架內，我們保持各小型網路相互獨立，"Orthner解釋道，"相干與非相干流量可以邏輯隔離，但共享物理連線——這在優化面積和成本時是非常強大的能力。你可以用一次工具運行涵蓋所有並行運行的網路，並在系統設計師的控制下讓它們共享資源。"
數據中心層次結構
從數據中心視角審視NoC，需要回答幾個基本問題：機架之間如何通信？機架內的卡如何通信？卡上晶片如何交互？小晶片之間如何通信？
"整個數據中心現在就是你的電腦，"Baya Systems首席解決方案架構師Saurabh Gayen表示，"你需要理解機架組織方式、數據如何在橫向擴展域中流動，再逐層向下到縱向擴展域、封裝級、小晶片級。必須建立自頂向下的視圖，這定義了層次化設計和分組方式。"
"你需要更密集、更緊湊、更扁平、更高性能的緊耦合層次化架構，"Gayen說，"不能依賴大量鬆散連接的網路。過去的數據中心可以這樣做，但現在作為行業整體，我們已經下定決心，全力打造更扁平、更高性能、更密集的層次結構。"
"性能是自頂向下的，但工程實現是自底向上的，必須在兩者之間保持層次化平衡，"Gayen總結道。
結語
過去，NoC在晶片設計中常被視為後期補充，往往在物理布局接近完成時才被處理。如今，設計人員必須在開發早期階段就將NoC納入規劃，確保通信基礎設施與處理單元同步優化，從而提升性能、能效和可擴展性。
"正在發生變化的是優先級的重新定位，"Arteris的Nightingale表示，"數據移動現在與計算和內存並列，成為一流的設計維度，尤其是隨著系統從單片晶片擴展到小晶片和分布式架構。領先團隊正在更早地投入具備可觀測性、服務質量保障和長期可擴展性的架構，而不是將互連視為後期優化項。"
為跟上系統架構的演進步伐，業界必須從設計最早階段就優先開發穩健的標準化安全協議，並投資於可擴展的互連解決方案。隨著小晶片和多晶片集成日益普及，跨供應鏈的協作對於確保互信、互操作性和應對新興威脅的韌性至關重要。持續的研究、跨廠商合作以及自適應網路拓撲的採用，將是滿足下一代系統對安全、高性能數據移動需求的關鍵。
Q&A
Q1：相干NoC和非相干NoC有什麼區別，分別適用於什麼場景？
A：相干NoC能確保多個處理器對內存數據保持一致視圖，適用於CPU集群等依賴共享內存編程模型的場景，但開銷更大、功耗更高。非相干NoC不追蹤數據歸屬，只負責簡單讀寫，適用於NPU、AI加速器等對吞吐量要求高、不需要嚴格一致性的場景。I/O相干（單向相干）介於兩者之間，外設可讀取CPU緩存數據，但反向不行，常用於GPU或網路接口等外設連接。
Q2：小晶片（chiplet）架構下，NoC面臨哪些新挑戰？
A：小晶片架構帶來了多方面新挑戰。首先是晶片發現問題：上電時各小晶片需要識別彼此的位置並動態配置路由。其次是一致性管理：不同小晶片之間的鏈路需要根據連接對象選擇相干或非相干接口。此外，疊片配置還帶來熱學和機械問題。這些挑戰要求NoC具備更高的可編程性，並在封裝層面進行系統級的統一規劃和管理。
Q3：什麼是統一NoC軟體，它能解決什麼問題？
A：統一NoC軟體是一種在單一項目框架內管理多個NoC的設計方法，而非將所有數據匯聚於單個NoC。它允許設計人員在一次工具運行中涵蓋所有並行NoC，讓相干與非相干網路保持邏輯隔離的同時共享物理連線，在系統設計師的控制下共享資源。這解決了多NoC使用不同工具導致層次結構混亂、物理設計困難的問題，有助於在優化面積和成本的同時維持設計的清晰層次結構。
