這項由英偉達
（NVIDIA）領導，聯合喬治亞理工學院、香港大學、芝加哥大學和麻省理工學院研究人員共同完成的研究，以預印本形式於2026年7月7日發布在arXiv平台，論文編號為arXiv:2607.05722v1。感興趣的讀者可以通過該編號查詢完整論文。
**當AI說話要一個字一個字蹦出來**
你有沒有注意到，當你跟AI聊天時，螢幕上的字是一個一個"打"出來的，就像有人在實時敲鍵盤？這種現象背後隱藏著一個深層的技術瓶頸：現有的主流大語言模型，也就是支撐ChatGPT、Qwen等助手的核心技術，在生成文字時只能嚴格地"一個字一個字地往下生成"，每生成一個字，都必須等上一個字完全確定下來才能開始下一個。這種方式就像一個打字員，必須先把第一個字完整地打出來，才能去想第二個字。
這種逐字生成的方式在用戶量少的時候還好，但當伺服器同時面對成千上萬個用戶的時候，GPU（圖形處理器，可以理解為AI的"計算大腦"）就會嚴重"閒置"——它明明有能力同時處理很多任務，卻被迫排隊等待，浪費了大量的算力資源。
為了解決這個問題，研究人員這些年一直在探索一種叫做"擴散模型"（Diffusion Model）的新方法。這種方法的思路是：與其一字一字地生成，不如先扔出一堆"噪音占位符"，然後一次性把它們都變成有意義的文字——一次可以生成好幾十個字。這就好比一個雕塑家，不是一筆一筆地畫素描，而是先捏出一個大致的泥人形狀，再一次性精雕細琢所有的細節。
然而現實很骨感。現有的擴散模型在生成質量上一直不如傳統的"逐字生成"模型——它們就像一個雕塑家，速度快了，但雕出來的作品沒那麼精緻。更棘手的是，即便與另一種加速方法"多令牌預測（MTP）"相比，現有的擴散模型在實際運行效率上也沒有表現出明顯優勢。
就在這個關鍵節點，英偉達的研究團隊推出了 **Nemotron-Labs-Diffusion**，一個將"逐字生成"、"擴散生成"和一種全新的"自猜自驗"模式融為一體的三模式語言模型。這個模型試圖回答三個業界一直爭論不休的核心問題：逐字模型和擴散模型究竟是競爭關係還是互補關係？擴散模型能否在加速上超越MTP方法？擴散模型的長期潛力到底有多大？
---
一、同一個大腦，三種思維方式
要理解Nemotron-Labs-Diffusion的核心設計，不妨把它比作一位多才多藝的翻譯官。這位翻譯官擁有三種工作模式：第一種是"正常翻譯模式"，就像普通翻譯一樣，一個詞一個詞地翻譯，速度中規中矩，但質量有保障；第二種是"批量翻譯模式"，把整段話先打上草稿，再一次性修改完善，速度很快；第三種是"草稿審核模式"，先用批量方式打一份草稿，再用精細的逐詞方式審核，速度和質量雙兼顧。這三種模式都由同一個人（同一個模型）來完成，不需要請三個不同的翻譯官。
**第一種模式：經典的"逐字生成"**
這就是傳統大語言模型的工作方式。模型從左到右，一個字接一個字地生成，每生成一個字，都要結合之前所有已經生成的內容來決定下一個字是什麼。這種方式的優勢是生成質量高、邏輯連貫，因為每一步都在充分利用前面的所有資訊。在用戶量大、伺服器同時服務很多人的高並發場景下，這種模式依然是最穩定的選擇。
**第二種模式：並行的"擴散生成"**
擴散生成模式借鑑了圖像生成領域的技術邏輯。具體來說，這個模型採用了一種叫做"分塊擴散"的方式——把要生成的文字分成若干個"塊"，每次處理一個塊。在處理當前塊時，模型會同時預測這個塊里所有位置的文字，而不是一個一個來。這就好比你在拼一幅拼圖，不是一塊一塊地找，而是先把某一個區域的所有碎片一次性歸位。
在生成過程中，模型從一堆"占位符"（用特殊的遮罩標記代替）開始，逐步把這些占位符替換成真實的文字。每一輪替換，模型會根據自信程度優先確定最有把握的位置，不斷疊代，直到整個塊完全生成完畢。生成完一個塊後，已經確定的內容會被保存下來，用於輔助生成下一個塊。
為了讓擴散模式更高效，研究團隊還專門訓練了一個輕量級的"採樣器"——一個只有480萬參數的小型神經網路（相比於主模型的80億參數，這只是約0.06%的額外開銷）。這個採樣器的工作是預測"當前這個位置的推測結果是否正確"，就像一個質檢員，幫助模型更聰明地決定哪些位置的結果可以直接採納，哪些需要再想想。實驗證明，加了這個採樣器之後，在相同準確率下，模型能多生成30%的字（即1.3倍的生成效率），或者在相同效率下，準確率提升10.6個百分點。
**第三種模式：聰明的"自猜自驗"**
這是這篇論文最有創意的貢獻之一。"自猜自驗"（Self-Speculation）的思路是：先讓模型用擴散方式"猜"出一批候選文字，然後再讓同一個模型用逐字方式"驗"這些候選文字對不對。
具體流程是這樣的：以已經確定的文字為基礎，在後面加上若干個占位符，讓擴散模式一次性預測出所有占位符的值，得到一批"草稿文字"。然後，用逐字模式從左到右重新過一遍這批草稿文字，在每個位置預測"如果按逐字方式生成，這裡應該是什麼字"。如果逐字模式的預測結果和草稿一致，這個字就被"接受"；一旦出現不一致，就從那個位置開始停止接受，同時把逐字模式在第一個不一致位置的預測結果作為一個新的"正確字"納入結果。這樣一來，每輪操作至少確認1個字，最多確認"草稿長度+1"個字。
為了讓草稿的質量更好（從而讓更多草稿字被接受），研究團隊還用了一種叫做LoRA（低秩適配，一種輕量級微調技術，只需訓練極少參數就能改善模型特定行為）的技術，專門針對擴散生成路徑做了額外訓練，讓草稿的分布更貼近逐字驗證的結果。加了這個改進之後，在三個不同規模的模型（30億、80億、140億參數）上，每輪生成的有效字數分別提升了14.4%、32.5%和27.6%。
除了這種"線性自猜自驗"（先猜後驗、兩次前向傳播），研究團隊還設計了"二次自猜自驗"（Quadratic Self-Speculation），能在一次前向傳播中同時完成猜測和驗證，進一步減少計算開銷。不過由於目前底層算子支持還不夠優化，實際運行效率略遜於線性版本，因此默認使用線性版本。
---
二、讓兩種"學習方式"相互促進，而非互相拆台
理解Nemotron-Labs-Diffusion的訓練方式，可以用這樣一個比喻：培養一個既能寫詩又能做數學的全才學生。傳統做法是讓他專注於一門——要麼只學文，要麼只學理。這個研究團隊的做法是：同時教他兩種技能，而且發現這兩種技能不但不會互相干擾，反而會相互促進。
**聯合訓練的數學邏輯**
在技術層面，模型在訓練時同時接受兩種"作業"：一種是傳統的"預測下一個字"作業（AR損失），另一種是"從被遮住的文字中恢復原文"作業（擴散損失）。最終的優化目標是兩個損失的加權組合：總損失 = AR損失 + 0.3 × 擴散損失。
這裡的係數0.3是經過仔細調參得出的。研究團隊在訓練中發現，擴散損失的數值通常比AR損失大很多，如果簡單地把兩者等權疊加，擴散損失會"壓制"AR損失，導致模型逐字生成能力下降。將係數設定為0.3，讓兩個損失的量級大致對齊，能同時讓兩種能力都達到最優。更有趣的是，在0.1到0.5的係數範圍內，無論提高還是降低係數，兩種能力都會同步下降——它們在0.3這個點上共同達到了最優，說明兩個目標並不是此消彼長的競爭關係，而是真正的互補關係。
**巧妙的注意力機制設計**
在訓練時，模型的輸入是同一段文字的兩個版本：一個是"乾淨版"（原文），一個是"加了噪聲的版本"（部分文字被遮掩）。模型的注意力機制需要在這兩個版本之間建立聯繫，而注意力的連接方式有嚴格規定：加噪聲的文字塊內部可以雙向互相"看"（因為擴散模式需要同時預測整個塊）；加噪聲的文字可以"看"乾淨版中它前面的內容（作為上下文）；乾淨版內部則只能從左往右單向"看"（嚴格因果關係，用於計算AR損失，避免未來資訊泄露）。這個精心設計的注意力模式，讓一次前向傳播就能同時計算兩種損失，大大提升了訓練效率。
**兩階段訓練策略**
為了讓模型能更好地學會兩種技能，研究團隊採用了兩階段訓練。第一階段完全用逐字方式訓練，在海量數據上打好"語言理解"的基礎，形成強大的從左到右的語言先驗知識。第二階段才開啟聯合訓練，在第一階段的基礎上引入擴散損失。消融實驗（控制變量的對比實驗）清楚地展示了這個策略的價值：僅靠兩階段訓練這一個改進，模型的擴散生成準確率就提升了5.74個百分點，是所有單項改進中貢獻第二大的。
研究團隊還發現了一個值得關注的細節：在訓練擴散目標時，由於每個樣本被遮掩的字數是隨機的，不同樣本對訓練損失的"貢獻權重"天然不均等。如果簡單地對每個樣本取平均，那些被遮掩字數很少但每個字損失很高的樣本會對訓練產生不成比例的影響，造成訓練不穩定。研究團隊的解決方案是"全局損失平均"：不按樣本平均，而是把批次中所有字的損失放在一起平均，讓每個字的權重相等。這個看似簡單的調整，使模型準確率提升了2.12個百分點。
---
三、擴散模式的理論上限到底有多高
在驗證了模型的實際性能之後，研究團隊做了一件非常有價值的事：他們計算了擴散生成模式的"理論速度上限"（Speed-of-Light，SOL），也就是說，如果有一個完美的採樣策略，擴散生成最多能有多快？
**如何找到理論上限**
要計算這個上限，首先需要定義什麼是"正確答案"。研究團隊的做法是：用一種"串行去噪"過程，每次只確定一個最有把握的位置，從頭到尾運行整個塊，得到的最終結果就是"基準答案"。這個過程需要N次前向傳播（N等於塊的長度），但它代表了模型在沒有任何並行壓力下能夠收斂到的最佳輸出。
有了基準答案，就可以問：如果用一個理想的並行策略，需要多少次前向傳播才能得到同樣的結果？研究團隊設計了一種叫做"遞歸動態壓縮"的方法來近似回答這個問題：每次前向傳播後，找出預測結果與基準答案一致的所有位置，然後用一種聰明的搜索策略找到最大的"安全子集"——即一次性確認這些位置不會影響其餘位置的最終預測結果——並把它們全部確認。通過這種方式，每次前向傳播可以確認多個位置，大大減少所需的總輪數。
**令人振奮的數字**
在對713個來自不同領域的真實問題進行測試後，結果相當驚人。當塊大小設為32時，平均每次前向傳播可以正確確認7.60個位置，也就是每次"並行處理"能替代串行方式的7.60步。在代碼生成和多語言內容上，這個數字甚至超過了10倍。這說明擴散模式本身具有很強的內在並行性——很多位置的內容其實並不相互依賴，完全可以同時確定。
相比之下，目前實際採用的基於置信度的採樣策略（選當前最有把握的位置來確認）只能達到約3倍的每次前向傳播確認字數，與理論上限的7.60倍相差甚遠。這意味著當前的採樣方法只開發出了擴散並行潛力的約40%，還有巨大的改進空間等待探索。
**與"自猜自驗"的對比**
把擴散模式的SOL和線性自猜自驗做對比，結果更加耐人尋味。在"接受率"（每個接受步驟確認多少字）這個指標上，SOL達到7.60，線性自猜自驗達到6.82，差距只有約10%——說明用AR驗證來篩選擴散草稿，是一種接近理論上限的有效方法。
但在"真實每次前向傳播確認字數"這個更實際的指標上，差距就大了：SOL達到6.02，線性自猜自驗只有3.41，差距高達76.5%。這個差距來自兩個原因：首先，線性自猜自驗每個接受周期需要兩次前向傳播（一次擴散、一次AR驗證），而SOL每次前向傳播就能直接確認多個位置；其次，線性自猜自驗只能接受從頭開始連續一致的前綴，一旦中間某個位置不一致就必須停止，拋棄後面即使正確的位置。這兩個局限性合在一起，造成了實際效率與理論上限之間的76.5%差距，也指明了未來改進擴散採樣器的方向。
---
四、完整的模型家族與實戰表現
基於上述訓練框架和推理算法，英偉達研究團隊交付了一個完整的模型家族，覆蓋30億、80億、140億三個參數規模，每個規模都提供基礎版（Base）、指令微調版（Instruct）以及視覺語言版（VLM）三種變體。
**與頂尖對手的正面比拼**
在指令模型評測中，研究團隊把Nemotron-Labs-Diffusion-8B與當前最強的開源逐字模型（Qwen3-8B、Qwen2.5-7B、Ministral3-8B）以及最強的開源擴散模型（LLaDA-8B、Dream-7B、SDAR-8B）進行了全面對比，涵蓋科學問答（GPQA）、指令遵循（IFEval）、知識評測（MMLU）、代碼生成（HumanEval、MBPP、LiveCodeBench-CPP）以及數學推理（Math500、GSM8K、AIME24、AIME25）共10個基準測試。
結果顯示，在逐字模式下，Nemotron-Labs-Diffusion-8B的平均準確率為63.61%，比Qwen3-8B高出0.86個百分點，同時超越了所有其他對比模型。這說明聯合訓練不但沒有損害逐字生成能力，反而略有提升。
在擴散模式下，模型以2.57倍的每次前向傳播生成字數實現了63.18%的平均準確率——依然比Qwen3-8B的62.75%高出0.43個百分點，同時比最強的擴散對手SDAR-8B高出整整9.09個百分點。
採用LoRA增強的線性自猜自驗模式，模型在保持62.81%平均準確率的同時，將每次前向傳播生成字數提升到了5.99倍，是Qwen3-8B的近6倍並行效率。
**規模化的一致性**
把評測範圍擴展到30億和140億參數，結論非常一致。在30億規模上，模型在線性自猜自驗模式下以4.36倍每次前向傳播生成字數超越Qwen3-4B 1.77個百分點。在140億規模上，以5.96倍每次前向傳播生成字數超越Qwen3-14B 1.19個百分點。更有趣的規律是：模型規模越大，並行潛力越強——線性自猜自驗的每次前向傳播生成字數從30億參數的4.36倍增長到140億參數的5.96倍。研究團隊認為這是因為更大的模型具有更強的"預見未來"的能力，草稿的質量更高，從而讓更多草稿字能通過AR驗證。
**基礎模型同樣優秀**
在基礎模型（未經指令微調）評測中，與擴散領域的標杆LLaDA-8B和Dream-7B相比，Nemotron-Labs-Diffusion-8B在擴散模式下的平均準確率分別高出17.21%和6.83%。逐字模式也以71.89%的平均準確率超越了Qwen3-8B（71.58%）和Ministral3-8B（66.75%）。
**延伸到視覺理解**
為了證明這個框架的通用性，研究團隊還把Nemotron-Labs-Diffusion擴展到了圖文理解任務。具體做法是：在80億參數的指令模型基礎上，接入一個視覺編碼器和一個兩層的多模態投影器（負責把圖像特徵翻譯成語言模型能理解的格式），然後在多模態指令數據上繼續聯合訓練。
一個工程上的小創新值得一提：原本的雙流注意力設計（訓練時同時處理加噪聲和乾淨兩個版本的輸入）如果把圖像詞元也包含在加噪聲版本中，會浪費大量計算資源，因為圖像詞元永遠不會被遮掩。研究團隊的解決方案是"非對稱雙流"設計：在加噪聲版本中只保留文字部分，去掉圖像詞元，而在乾淨版本中保留完整的圖文內容。這樣做既不損失視覺上下文，又顯著減少了計算量。
在視覺語言基準測試（AI2D圖表理解、ChartQA圖表問答、DocVQA文檔理解、MMMU多學科理解、MathVista數學視覺推理等）上，Nemotron-Labs-Diffusion-VLM-8B在逐字模式下比最強的擴散視覺語言對手LLaDA-V-8B高出1.3個百分點；在線性自猜自驗模式下，對於超過200字的長回答，每次前向傳播生成字數達到7.45倍，且準確率幾乎不降。
---
五、在真實硬體上的實際速度表現
數位遊戲終究要落地。研究團隊在三種不同定位的英偉達GPU上進行了實際吞吐量測試，並與當前業界最流行的加速方案Qwen3-8B-Eagle3（Eagle3是一種基於額外小型"草稿頭"的多令牌預測方法）進行了對比。
在最高端的GB200 GPU上，使用SGLang推理框架在單用戶（批次大小為1）的場景下，Nemotron-Labs-Diffusion-8B的線性自猜自驗模式以851 token/秒的速度運行，是同模型逐字模式（256 token/秒）的3.32倍，是Qwen3-8B-Eagle3（354 token/秒）的2.4倍。使用專門優化過的計算核心，線性自猜自驗甚至能達到1015 token/秒，折合3.97倍加速。研究團隊還估算了該平台上的SOL理論上限吞吐量為1471 token/秒，意味著仍有約45%的提升空間有待挖掘。
在面向創意專業人士的RTX Pro 6000上，線性自猜自驗在FP8精度下達到277 token/秒（逐字模式為80 token/秒，加速3.46倍），Eagle3為137 token/秒。若採用INT4量化，線性自猜自驗甚至能跑到525 token/秒（加速6.56倍），遠超Eagle3的211 token/秒。
在針對邊緣計算的DGX Spark上，線性自猜自驗在FP8精度下達到77.5 token/秒（逐字模式24.7 token/秒，加速3.14倍），Eagle3為43.2 token/秒。
在多用戶並發場景（同時服務多人）下，隨著並發量提高，逐字模式逐漸追上甚至超越自猜自驗模式——這符合預期，因為高並發時GPU已經跑滿，不再有資源來利用多令牌並行。Nemotron-Labs-Diffusion的價值在於：它在低並發場景下的加速效果顯著優於Eagle3，在高並發場景下又能無縫切換為逐字模式，成為一個真正的"全場景通用"方案。
從對各類任務的接受長度（每次接受周期確認的有效字數）來看，Nemotron-Labs-Diffusion-8B在不加LoRA和加LoRA兩種配置下，平均接受長度分別為5.46和6.82，對比Eagle3的2.75和多令牌預測的4.24，在所有11個測試類別中均大幅領先。在模型最擅長的代碼、數學、推理和多語言四個類別中，差距進一步擴大到6.75和8.69（Nemotron-Labs-Diffusion）對比2.81（Eagle3）。
---
說到底，Nemotron-Labs-Diffusion做了一件看起來簡單但背後邏輯深刻的事：它證明了"逐字生成"和"並行擴散"這兩種AI生成方式並不是非此即彼的選擇，而是可以在同一個模型里共存、互補，各自在最擅長的場合發揮作用。
對於普通用戶來說，這意味著未來使用AI助手時，不管是獨自深夜提問還是在公司伺服器上與數百人同時使用，AI都有望給出更快、更流暢的回應。對於開發者來說，這意味著一個模型可以覆蓋以往需要多個模型才能兼顧的部署場景，大幅降低維護成本。
研究團隊也坦誠地指出了這項工作的局限和未來方向：當前擴散模式的實際效率與理論上限之間還有76.5%的差距，如何設計更聰明的採樣策略來逼近這個上限，是擺在所有研究者面前的重要挑戰。此外，如何讓AR驗證突破"只能接受連續前綴"的限制、接受非連續位置的正確草稿，以及如何在段落級別實現更高維度的並行生成，也是非常值得探索的方向。
如果你對這項研究的技術細節感興趣，可以通過arXiv編號 **arXiv:2607.05722v1** 查閱完整論文；模型權重也已開源，可在Hugging Face平台搜索"Nemotron-Labs-Diffusion"找到完整的模型家族。
---
Q&A
Q1：Nemotron-Labs-Diffusion的三種模式分別適合什麼場景？
A：逐字模式適合伺服器同時面對大量用戶的高並發場景，保證穩定質量；擴散模式通過一次性並行生成多個字來提高速度，適合對時延敏感的中等並發場景，可以靈活調整準確率和速度的平衡；自猜自驗模式則專為單用戶或低並發場景設計，用擴散方式打草稿、用逐字方式驗證，在響應速度上實現最高加速，在GB200 GPU上單用戶吞吐量是純逐字模式的3到4倍。
Q2：自猜自驗比Eagle3快多少，為什麼能更快？
A：在英偉達GB200 GPU上單用戶場景，Nemotron-Labs-Diffusion的線性自猜自驗比Qwen3-8B-Eagle3快約2.4倍，在RTX Pro 6000上快約2.3倍。原因主要有兩點：一是擴散草稿的平均接受長度（約6.82字/輪）遠高於Eagle3（約2.75字/輪），意味著每次驗證能確認更多字；二是擴散草稿是並行生成的，不像Eagle3那樣需要用小模型逐個遞歸預測，GPU利用率更高。
Q3：Nemotron-Labs-Diffusion聯合訓練會不會讓逐字生成能力變差？
A：不會。研究團隊的對比實驗顯示，在同等訓練數據量下，加入擴散訓練目標（權重係數0.3）之後，逐字生成的平均準確率反而略有提升——基礎模型提升0.14個百分點，指令模型提升0.43個百分點。研究者認為這是因為擴散訓練讓模型學會了更好地"預見未來"，從而也增強了逐字預測時的規劃能力。
