英偉達
發布了一款專注於推理能力的新型AI模型，該模型結合了多種神經網路架構，旨在提升企業系統處理複雜任務和自動化的能力。
該公司表示，其Nemotron 3 Super模型融合了Mamba序列建模、Transformer注意力機制和專家混合路由技術，用以支持所謂的"智能體"AI系統，這些系統能夠在企業應用中規劃和執行多步驟工作流。
英偉達在聲明中指出，多智能體系統生成的Token數量可能比標準聊天交互多15倍。這可能導致"上下文爆炸"問題，使智能體偏離原始目標並增加成本，因為每個子任務都需要使用大型推理模型。
"我們發布Nemotron 3 Super正是為了解決這些限制，"英偉達表示。"這個新的Super模型擁有1200億總參數和120億活躍參數，為軟體開發和網路安全分類等複雜多智能體應用提供最大的計算效率和準確性。"
英偉達表示，該模型採用開放權重、數據集和訓練方案發布，允許開發者對其進行修改並在自己的基礎設施上部署。
這一發布反映了AI行業的更廣泛轉變，供應商正從聊天機器人轉向設計用於驅動自主AI智能體的模型。
Gartner分析師總監Jaishiv Prakash表示："增強的推理能力直接支持更好的任務規劃、錯誤糾正和工作流分解，這些共同提高了AI智能體在企業使用中的可靠性。然而，智能體系統的成功不僅取決於模型能力，還取決於整體系統架構，包括協調、數據集成、上下文管理和治理。"
Nemotron 3 Super體現了英偉達在改善涉及持續推理和長上下文處理的企業AI工作負載性能方面的努力。分析師稱，該模型的混合架構可以幫助組織在現有基礎設施上更高效地運行複雜的智能體工作負載。
Forrester副總裁兼首席分析師Charlie Dai表示："Nemotron 3 Super結合了Mamba的線性時間序列處理與Transformer注意力和專家混合路由，為長上下文和多步驟工作負載提供了比純Transformer更高的吞吐量、更低的延遲和更好的記憶體效率。對企業而言，這意味著更低的總體擁有成本、更好的本地或主權GPU集群利用率，以及更快的智能體執行速度。"
Kadence International高級副總裁Tulika Sheel表示，該模型的架構設計為每個任務只激活參數的子集，這有助於提高效率。
"這種設計顯著提升了吞吐量並降低了計算成本，同時保持了準確性，"Sheel說道。"對企業來說，這可以轉化為更快的推理、長上下文工作負載的更好性能，以及大語言模型更具成本效益的部署。"
開放推理模型正在成為尋求對AI系統構建和部署擁有更大控制權的企業的一個選擇。麥肯錫公司的研究將這種興趣歸因於強大的性能、易用性，以及與專有替代方案相比更低的實施和維護成本。
"因此，許多組織可能會採用混合策略，將開放模型用於內部工作負載，將專有模型用於外部或高性能任務，"Sheel說道。"開放推理模型可能推動企業轉向更可定製的、自託管的AI策略，而非完全依賴專有平台。"
分析師還表示，隨著企業將AI擴展到金融、醫療保健和政府等受監管行業，微調和檢查模型的能力變得越來越重要。
"開放推理模型通過支持微調、檢查和本地部署，為企業提供了專有基礎模型的可靠替代方案，"Dai表示。"這支持領域邏輯的定製、法規合規性和數據駐留，同時減少對封閉API和基於使用量定價的依賴。"
Q&A
Q1：Nemotron 3 Super模型的主要特點是什麼？
A：Nemotron 3 Super是英偉達推出的1200億總參數、120億活躍參數的AI模型，融合了Mamba序列建模、Transformer注意力機制和專家混合路由技術，專門為複雜多智能體應用如軟體開發和網路安全分類提供最大的計算效率和準確性。
Q2：為什麼企業需要專門的推理模型來支持AI智能體？
A：多智能體系統生成的Token數量比標準聊天交互多15倍，容易導致"上下文爆炸"問題，使智能體偏離原始目標並增加成本。Nemotron 3 Super通過混合架構設計，為每個任務只激活參數子集，顯著提升吞吐量並降低計算成本。
Q3：開放推理模型對企業有什麼優勢？
A：開放推理模型支持微調、檢查和本地部署，為企業提供了專有模型的可靠替代方案，支持領域邏輯定製、法規合規性和數據駐留要求，同時減少對封閉API和基於使用量定價的依賴，降低總體擁有成本。
