2025年，全球AI產業來到了微妙的「分水嶺」。
這一年，推理模型（Reasoning Models）的崛起，驗證了OpenAI曾隱晦指出的方向——測試時算力（Test-Time Compute）是繼預訓練參數量、訓練數據量之後的「第三種 Scaling Law」。
即通過讓模型在輸出結果前進行「長思考（Long Thinking）」，利用思維鏈（CoT）和強化學習（RL）進行自我博弈，AI可以在參數量不變的情況下，獲得更高的智能密度。
然而，當工程界「長思考」範式從實驗室搬進企業級多智能體（Agentic AI）系統時，卻結結實實地撞上了三面厚重的「工程牆」。
01 Agentic AI撞上三面「工程牆」
第一面是「記憶邊際的成本牆」。如今的智能體已不再停留在Chatbot形態，更多的是逐漸作為企業的數字員工存在，需要長期處理橫跨數月的項目日誌、數百萬行的代碼庫，甚至複雜的法律卷宗。
然而，在傳統的Transformer架構下，KV Cache（鍵值緩存）的顯存占用，隨著序列長度呈二次方（線性優化後依然龐大）增長。這對於超大規模的Token中尋找更優解的Agent而言，單純的Attention機制意味著更高的顯存開銷和推理延遲。
第二面是「專家的『貧富差距』牆」。為在擴大模型參數規模的同時控制計算成本，MoE（混合專家模型）逐漸成為主流選擇。然而，在分布式推理場景中，現有的MoE架構普遍面臨「專家負載不均（Expert Collapse）」的問題。
理論上，MoE依賴路由器（Router）把不同token分散到不同專家（Expert），以提升吞吐、降低成本。但在實際訓練和推理中，由於路由偏置的自強化，讓被頻繁選中的專家更快收斂、表現更好，於是更容易在下一輪被路由命中，形成正反饋。
但是，在真實業務中的token並不均勻（例如代碼、公式、特定領域文本），路由器自然會把這些高頻模式集中送往少數專家。
具體來說，在分布式推理中，專家通常綁定在特定GPU或節點上，一旦熱門專家達到容量上限，其它token就只能排隊等待，無法被「動態轉移」。久而久之，MoE 不再是「多專家並行」，而是隱性退化為幾個專家在獨立承擔大部分計算。同時，專家之間的數據路由也帶來了巨大的通信開銷（Communication Overhead），這在追求低延遲的Agent交互中是較為嚴重的消耗。
（兩個請求token激活了模型的不同部分，需要加載更多權重，導致內存帶寬飽和）
截取自：論文《MoE Inference Economics from First Principles》
（基於特定數據集的經驗觀察，專家使用情況的分布不均勻）
截取自：SGLang報告
第三面是「企業信任的黑盒牆」。閉源模型的性能優勢，並不足以抵消其在核心業務場景中的不透明性風險。當其被引入金融、醫療、研發等核心場景時，問題便不再只是「好不好用」，而是「敢不敢用」。訓練數據的不透明、對敏感資訊記憶風險的不確定，以及安全邊界難以審計，使得「黑盒」模型在企業級部署中，正從技術更優解，演變為信任成本更高的選項。
這三面「工程牆」，並非理論的缺陷，在既有範式下，通過堆疊參數、拉長上下文，雖然能帶來性能提升，但在長期運行、系統延遲和可審計性等企業級要求面前，其工程代價正在顯著放大，逐漸暴露出可擴展性的瓶頸。
這也意味著，如今的問題，已不再只是模型是否足夠「聰明」，而是底層架構是否具備支撐企業級智能體持續運轉的工程彈性。
也正是在這一背景下，NVIDIA在12月15日，發布了NVIDIA Nemotron 3系列(以下簡稱「Nemotron 3」)開放模型、數據和庫，通過Hybrid Mamba-Transformer MoE和Latent MoE等創新架構設計，在系統層面同時回應記憶、負載與信任三重挑戰，為「Agentic AI」時代的智能體系統提供了新的工程範式。
NVIDIA 創始人兼首席執行官黃仁勛表示：「開放創新是AI進步的基礎。通過 Nemotron，我們將先進 AI轉化成開放平台，為開發者提供構建大規模代理式系統所需的透明度與效率。」
02 NVIDIA Nemotron 3擊穿Transformer「不可能三角」
Nemotron 3系列開放模型的核心突破，在於其對主流計算範式的解構與重組。
在長文本推理中，業界長期受困於Transformer 的「不可能三角」——長上下文、低顯存占用、高推理精度。
坦白來說，Transformer的核心是——自注意力機制（Self-Attention），雖然在捕捉全局依賴和複雜邏輯上無出其右，但其計算複雜度和內存占用是其「短板」。而基於狀態空間模型 SSM——Mamba則具有線性的複雜度，擅長以較低的內存開銷，處理超長序列。就像高效的流水線工人，可以不知疲倦地處理數百萬Token的輸入流。
而反觀NVIDIA的策略，則是「取長補短」，即Nemotron 3創造性地採用Hybrid Mamba-Transformer MoE架構。
Mamba層可以理解為「長跑運動員」。模型的「主幹」大量採用了Mamba層。在處理長文檔、歷史記錄等海量上下文時，Mamba負責資訊的壓縮與傳遞，確保KV Cache和 SSM Cache 的增長保持在極低水平。這使得Nemotron 3 能夠原生支持 1M（100萬）Context Window，且顯存占用極低。
Transformer層可以看作「精算師」。在Mamba層之間，交錯插入Transformer Attention 層。這些層被戰略性地部署在關鍵位置，負責處理需要高強度邏輯推演、代碼生成、複雜數學證明等「高光環節」。
這一設計帶來的效率提升無疑是顛覆級的。相較於純Transformer架構，Nemotron 3 Nano在保持30B參數規模（3B 激活參數）的同時，其緩存使用效率顯著提升。這意味著在同等硬體（如單張 L40S）上，企業可以運行更深、更長上下文的Agent。
截取自NVIDIA官網
如果說混合架構仍屬於「戰術層面的創新」，那麼Nemotron 3在模型規模與架構層面的整體設計，則更是面向Agentic AI的系統性重構。
Nemotron 3提供Nano、Super與Ultra三種規模，面向多智能體系統在真實生產環境中的吞吐、穩定性與可擴展性需求而設計。
Nemotron 3 Nano具備 300 億參數的小型模型，每次運行最多激活30億參數，適用於針對性、高效的任務。
Nemotron 3 Super具備約1000 億參數的高精度推理模型，每個token最多激活 100 億參數，適用於多智能體應用。
Nemotron 3 Ultra具備約 5,000 億參數的大型推理引擎，每個token最多激活 500 億參數，適用於複雜的 AI 應用
其中，Nemotron 3 Nano的推理吞吐量已較Nemotron 2 Nano 提升約4 倍。
截取自NVIDIA官網
截取自NVIDIA官網
然而，真正體現其戰略的是，在Nemotron 3中引入的突破性的異構潛在混合專家 (MoE) 架構，則是不折不扣的「戰略武器」。
Nemotron 3 混合架構（截取自NVIDIA官網）
傳統的MoE架構在Token層面進行路由（Token Routing）。每個Token在經過每層時，都需要在成百上千個專家中進行選擇。在分布式系統中，這意味著海量的數據需要在不同的 GPU顯存之間頻繁搬運，導致通信帶寬成為瓶頸（Memory Bandwidth Bound）。
Latent MoE 引入了「潛在表示論」，其工作流程堪稱對數據的「空間摺疊」：
首先，在投影（Projection）階段，輸入的Token向量被映射到維度更低的潛在空間；隨後，在這一壓縮後的低維空間中，路由器（Router）完成專家的選擇與計算，實現隱式路由；最後，計算結果再通過投影層還原回原始維度，回到主幹網路。
這一方法允許模型在相同計算成本（FLOPs）下，調用4倍數量的專家。相當於在原本擁堵的城市地面交通之外，新增了一條地下高速通道，顯著緩解了大規模集群中 All-to-All通信帶來的壓力。
在推理解碼端，Nemotron 3 引入了多Token預測（MTP） 技術，允許模型在一次前向傳播中預測未來的多個Token，顯著提升推測性解碼的接受率。
更為關鍵的是底層精度的突破。Nemotron 3 Super和Nemotron 3 Ultra直接採用 NVFP4（4位浮點格式）進行預訓練。NVIDIA為此設計了更新的NVFP4算法，並在25T Token的內部數據集上進行了穩定性測試，確保在4-bit精度下訓練依然穩定收斂。
這種原生低精度訓練，使得其在Blackwell架構
上，訓練和推理的吞吐量將獲得硬體級的原生加速，且沒有「訓練後量化（PTQ）」的精度損失。
03 「黑盒」變「白盒」 NVIDIA開啟Agent「功能性」範式遷徙
如果說架構決定了模型的上限，那麼數據則決定了模型的實際可用性。NVIDIA在 Nemotron 3的創新上展示了其對功能性正確性（Functional Correctness）的極致追求，並推出了一整套「Nemotron Agentic Safety Dataset」的數據資產。
坦白講，OpenAI證明了RL在推理中的核心作用，而NVIDIA 則通過開源NeMo Gym將這一過程標準化。
NeMo Gym是專為構建和擴展強化學習環境的開源庫，不僅支持傳統的 RLHF，更引入了NeMo RL庫，支持在多種環境中對模型進行後訓練。
NVIDIA此次特別發布了10個Gym環境（Gym Environments），用於訓練模型生成正確的工具調用、編寫功能性代碼或生成滿足可驗證標準的多步驟計劃。結合 NeMo Evaluator，開發團隊可以自動化地驗證模型的安全性與性能。
工具鏈與訓練環境只是前提，真正決定模型能力上限與安全邊界的，仍然是數據本身。然而，在當前的開源生態中，長期存在「只開權重、不開數據」的結構性缺口。也正因如此，NVIDIA此次選擇了近乎「顛覆性」的開放方式。
具體而言，其一是3T Token預訓練數據。NVIDIA發布了全新3萬億Token規模的預訓練數據集，重點覆蓋代碼、數學與推理等高價值領域，並通過合成增強與系統化標註管道進行質量強化，為推理模型提供更高密度的基礎語料。
其二是18M 訓練後樣本（Post-training Samples）。規模約1300萬樣本的訓練後語料庫，用於監督微調（SFT）與強化學習階段，且直接支持Nemotron 3 Nano 的對齊與能力收斂。
其三是Nemotron智能體安全數據集。包含近11000條真實AI智能體工作流，用於緩解多智能體系統在真實運行中可能出現的新型安全風險。
此外，NVIDIA還同步開源了Data Designer工具，幫助開發者構建、處理並管理自有數據集。通過該工具鏈，開發者不僅能夠復現實驗結果，還可以在 GitHub 代碼庫中直接訪問完整的訓練方案（Recipes）、分詞器配置與長上下文設置，使 Nemotron 3 從「可用模型」，轉變為高度透明、可審計、可復現的「白盒平台」。
截取自NVIDIA官網
04 激發「飛輪效應」 NVIDIA生態疆域不斷拓展
如果說Nemotron 3 Nano證明了NVIDIA在模型效率與工程可用性上的極限能力，那麼真正讓這一模型體系產生「外溢效應」的，則是其被快速吸納進真實產業生態的能力。
從開發者工具鏈、推理引擎支持，到企業級平台、雲基礎設施與主權AI，NVIDIA圍繞Nemotron 3構建起了覆蓋初創公司、企業與主權AI體系的Agentic AI網路。
Agentic AI的創新應用並不僅產生在大型企業內部，更在初創公司與研究型團隊之中產生。在這一層面，General Catalyst與Mayfield 旗下的多家投資組合公司，已開始基於 Nemotron 3 探索麵向人機協作的AI Agent應用形態。
Mayfield管理合伙人Navin Chaddha 指出，NVIDIA的開放模型堆棧與初創加速計劃，使初創團隊能夠在模型、工具與基礎設施層面以更低成本完成試驗、形成差異化，並加速規模化落地。
在企業級場景中，Nemotron3 的價值進一步顯現。其早期用戶已覆蓋諮詢、軟體、製造、安全與雲計算等多個關鍵行業，包括埃森哲、Cadence、CrowdStrike、德勤、安永、Oracle、ServiceNow、西門子、新思科技與Zoom等。
在具體落地案例中，相關企業已將Nemotron 3 嵌入自身的核心業務系統之中：
ServiceNow將Nemotron 3 與其智能工作流平台結合，發布了重新訓練的推理模型 「April」，用於企業級自動化決策。
CrowdStrike基於Nemotron 構建了安全運營智能體「Charlotte AI」，以釋放其安全數據的推理價值。
Perplexity通過智能體路由機制，將工作負載定向至Nemotron 3 Ultra 等高性價比模型，以優化Token經濟結構。
在主權AI層面，英國UK-LLM 使用Nemotron數據集進行威爾斯語訓練，展示了其在多語言與本地化AI體系建設中的潛力。
為了進一步降低使用門檻，NVIDIA還將Nemotron 3快速推向主流雲與推理生態。
在推理服務側，Hugging Face、Baseten、Fireworks、Together AI、OpenRouter等平台已率先上線 Nemotron 3 Nano，使開發者能夠以API方式直接調用模型能力。
在企業級平台層面，Couchbase、DataRobot、H2O.ai、JFrog、UiPath 等也已完成集成，將Nemotron 3納入既有數據、MLOps與自動化工作流之中。
在雲基礎設施層，NVIDIA同樣選擇了「先鋪路、再放量」的策略。Nemotron 3 Nano已通過Amazon Bedrock以無伺服器方式對外提供，並計劃陸續登陸Google Cloud、Microsoft Foundry、CoreWeave 等雲平台，使模型能夠在不同算力與合規環境下靈活部署。
與此同時，NVIDIA還同步啟動了 「Nemotron 模型推理挑戰賽」，鼓勵開發者社區基於其開放模型與數據集，進一步探索推理能力與多智能體系統的邊界。
NVIDIA方面透露，Nemotron 3 Super和 Ultra預計將於2026年上半年推出。
05 寫在最後
Nemotron 3的推出，或許意味著開源大模型進入了下一個「Linux 時刻」。
如果在2023 年，開源模型還在努力模仿 GPT-3.5 的「對話能力」；那麼現在，以Nemotron 3為代表的新一代開源模型，已經開始在架構層面針對Agentic AI 的核心痛點——無限記憶、極速推理、工具調用——進行原生的「基因改造」。
混合Mamba-Transformer架構的落地，證明了Transforme並非AI的終局；Latent MoE 的引入，展示了算力效率挖掘的深邃潛力。更重要的是，NVIDIA這一次不僅給出了「魚」（模型權重），更給出了「漁網」和「海圖」（全棧數據與訓練方案）。這種「白盒化」，為全球AI行業提供了一套關於如何構建企業級智能體的標準範式。
對於開發者而言，Nemotron 3不再是需要費力調優的半成品，而對於NVIDIA自身而言，這不僅是對 Blackwell 硬體的護航，更是其在應用層與算力層之間，定義的「中間件」標準。
當「長思考」不再受限於顯存牆，當「黑盒」逐漸透明，2026年的AI賽道，或許將不再熱衷於刷榜，而將爆發於能夠產生複利的業務場景深處。
