這項由延世大學、甲骨文公司、卡內基梅隆大學、馬里蘭大學和中佛羅里達大學聯合開展的研究發表於2025年10月，論文編號為arXiv:2510.05040v1。研究團隊包括來自延世大學的李志勛（Jihoon Lee）、文皓延（Hoyeon Moon），甲骨文公司的阿尼特·庫馬爾·薩胡（Anit Kumar Sahu），卡內基梅隆大學的索米亞·卡爾（Soummya Kar）等多位研究者。這個跨國研究團隊的發現可能徹底改變我們對AI文字生成的理解。
說起AI寫文章，大多數人想到的都是那種從左到右、一個字一個字往下寫的方式，就像我們人類寫作一樣。但最近有一種叫做"擴散語言模型"的新技術，它的工作方式完全不同——就像在一張紙上先隨機放置一些文字片段，然後慢慢填補空白，最終形成完整的文章。這種方式聽起來很神奇，但一直存在一個讓研究者頭疼的問題：怎樣的填補順序才能寫出最好的文章？
研究團隊在深入分析這個問題時有了一個驚人發現：這些擴散語言模型在訓練過程中，實際上悄悄學會了許多種不同的"寫作風格"，就像一個作家同時掌握了新聞報道、小說創作、學術論文等各種文體。每當模型按照不同的順序來填補文字時，就會激活其中某種特定的"寫作專家"。以前的研究方法都是選擇一種固定的填補順序，這就像讓一個多才多藝的作家只能用一種寫作風格，白白浪費了其他才能。
為了驗證這個想法，研究團隊開發了一套名為HEX（隱藏半自回歸專家）的全新方法。這個方法的核心思想非常巧妙：與其固執地使用一種填補順序，不如同時嘗試多種不同的順序，然後讓這些"隱藏專家"進行投票，選出最好的答案。就像解決一道數學題時，不是只用一種解法，而是同時用幾種不同的方法求解，如果多種方法都得出同樣的答案，那這個答案就更可靠了。
**一、從失敗中發現的秘密**
故事要從研究團隊遇到的一個意外現象開始。按照常理，讓AI按照自己最有信心的順序來填補文字應該能得到最好的效果，就像讓學生先回答最有把握的題目一樣。但在數學推理任務中，研究者們發現了令人困惑的現象：這種"按信心排序"的方法不僅沒有幫助，反而經常導致AI產生大量無意義的重複內容。
更具體地說，當AI被要求解決GSM8K數學題（這是一個包含小學到初中水平數學應用題的測試集）時，傳統的高信心填補方法只能達到24.72%的正確率，而完全隨機的填補順序竟然能達到50.87%的正確率。這就像一個學生在考試時，閉著眼睛胡亂答題的成績居然比仔細思考後作答還要好，這顯然不正常。
深入分析後，研究團隊發現了問題的根源。在訓練過程中，由於文章的大部分位置都應該是空白的（用特殊的結束符號填充），AI學會了對這些結束符號給出很高的信心分數。結果就是，當按信心排序時，AI總是優先填入結束符號，導致文章還沒開始寫就結束了，就像一個人剛開口說話就說"再見"一樣荒謬。
這個發現讓研究團隊意識到，問題的關鍵不在於AI沒有足夠的能力，而在於我們沒有找到正確的方式來激發它的能力。就像一把鎖有很多種開法，但我們一直只嘗試其中一種，結果當然打不開。
**二、隱藏專家的驚人發現**
為了深入理解這個現象，研究團隊進行了一個巧妙的實驗。他們讓AI回答一個簡單的問題："誰發明了電話？"正確答案是"貝爾"。然後，他們觀察當給AI提供不同的上下文資訊時，它預測"貝爾"這個詞的信心如何變化。
結果讓人大開眼界：當AI能看到比較完整的句子時，比如"發明者是___"，它對"貝爾"的預測信心非常高；但當給它的資訊很少時，比如只有"___發明者___"，它就變得不那麼確定了。更有趣的是，有些情況下AI甚至會給出完全錯誤的答案。這就像同一個人在不同環境下展現出不同的專業水平：在圖書館裡能答對歷史問題，在嘈雜的咖啡廳里就可能答錯。
這個實驗證實了研究團隊的猜想：AI內部確實存在多個"隱藏專家"，每個專家都擅長處理特定類型的填補任務。有些專家擅長在有充足上下文時進行推理，有些專家則適合處理資訊不完整的情況。關鍵是要找到合適的方法來調用這些不同的專家。
進一步的分析顯示，不同的文字填補順序實際上對應著不同的"專家調用模式"。當按照從左到右的小塊順序填補時，激活的是一類專家；當按照大塊順序填補時，激活的又是另一類專家。這就解釋了為什麼單一的填補策略往往效果不佳——我們只利用了AI全部能力的一小部分。
**三、半自回歸策略的巧妙設計**
在發現了隱藏專家的存在後，研究團隊面臨一個新的挑戰：如何設計出既能激活不同專家，又能保證文字生成質量的填補策略？完全隨機的填補雖然有時效果不錯，但很不穩定，就像閉著眼睛開車偶爾能到達目的地，但大部分時候都會出事故。
研究團隊的解決方案是採用"半自回歸"的策略。這個聽起來複雜的名詞其實描述的是一種很直觀的方法：把要生成的文字分成若干個連續的小塊，然後從左到右依次填補每個小塊，但在每個小塊內部，所有文字可以同時生成。這就像寫文章時先確定段落結構，然後逐段展開，但每段內的句子可以並行構思。
這種策略的巧妙之處在於它保持了語言的自然流動性（從左到右的順序），同時又允許局部的並行處理。實驗證明，這種方法幾乎完全消除了之前提到的"結束符號泛濫"問題。在GSM8K測試中，半自回歸策略將正確率從22.52%提升到了76.27%，同時將產生錯誤輸出的比例從55.8%降低到了0%。
更重要的是，不同的塊大小會激活不同的隱藏專家。小塊生成（比如每次4個詞）激活的專家偏向於細緻的局部推理，大塊生成（比如每次32個詞）激活的專家則更擅長整體規劃。這就為下一步的創新奠定了基礎。
**四、HEX方法的核心創新**
基於對隱藏專家的深入理解，研究團隊開發了HEX（Hidden semi-autoregressive EXperts）方法。這個方法的基本思路可以用一個生動的比喻來解釋：HEX就像組織了一場"專家會診"，讓多個不同專長的專家同時對同一個問題給出解答，然後通過投票決定最終答案。
具體來說，HEX會使用5種不同的塊大小（8、16、32、64、128個詞）來生成文本，每種塊大小對應一種不同的專家調用模式。對於每個問題，HEX會產生25個不同的答案（每種塊大小生成5個答案），然後讓這25個答案進行"投票"，選出出現頻率最高的答案作為最終結果。
這種方法的威力是驚人的。在GSM8K數學推理測試中，HEX達到了88.10%的正確率，相比之前最好的單一策略提升了3.56倍。在更困難的MATH競賽題目中，正確率從16.40%提升到了40.00%。在科學推理任務ARC-C中，正確率從54.18%躍升到87.80%。在測試AI是否會傳播錯誤資訊的TruthfulQA測試中，正確率從28.36%大幅提升到57.46%。
**五、實驗驗證與深入分析**
為了確保HEX方法的可靠性，研究團隊進行了大量細緻的實驗驗證。他們發現，隨著參與投票的專家數量增加，整體正確率穩步提升，同時答案之間出現分歧的情況逐漸減少。這種現象很符合"集體智慧"的原理：當更多獨立的專家參與決策時，錯誤答案會相互抵消，正確答案會得到強化。
研究團隊還測試了一個重要問題：HEX的成功是否僅僅因為生成了更多答案，而不是因為調用了不同的專家？為了回答這個問題，他們比較了兩種方法：一種是用同樣的塊大小生成25個答案然後投票，另一種是用5種不同塊大小各生成5個答案然後投票。結果顯示，多樣性策略明顯優於數量策略，證明了隱藏專家理論的正確性。
更有趣的是，研究團隊發現不同的塊大小確實會導致完全不同的推理路徑。在一個關於2024年圖靈獎獲得者的問題中，小塊大小的專家傾向於生成"Andrew"（正確答案），而大塊大小的專家可能生成"Michael"或"David"等其他名字。通過投票機制，正確答案獲得了更多支持，從而被選為最終結果。
**六、方法的普適性與局限性**
HEX方法不僅在數學推理任務中表現出色，在各種不同長度的文本生成任務中也展現出了穩定的優勢。無論是生成128個詞的短文本，還是512個詞的長文本，HEX都能保持比傳統方法更高的質量。這種一致性表明，隱藏專家現象是擴散語言模型的一個基本特徵，而不是某些特定任務的特殊現象。
研究團隊還發現，平均來看，參與HEX投票的各個專家的表現都不如最終的投票結果。這再次證實了集體決策的優勢：整體的智慧確實大於部分的簡單相加。
不過，HEX方法也有其局限性。最明顯的是計算成本的增加：為了獲得一個高質量的答案，需要生成25個候選答案，這使得計算時間增加了約5倍。對於實際應用來說，這需要在質量和效率之間找到平衡點。
此外，這項研究主要聚焦於推理類任務，對於更具創造性的任務（如創意寫作、開放式對話等）的效果還有待驗證。不同類型的任務可能需要不同的專家組合策略。
**七、理論意義與實際影響**
從理論角度來看，這項研究最重要的貢獻是揭示了擴散語言模型內部的"隱藏專家"現象。這個發現改變了我們對這類模型的理解：它們不是簡單的文本生成工具，而是集成了多種專業能力的複合系統。每種填補策略實際上是在調用不同的專家子網路，而傳統的單一策略方法只是在利用這個豐富系統的一小部分能力。
這種理解為未來的研究開闢了新的方向。比如，我們可以嘗試設計更精細的專家調用策略，針對不同類型的任務使用不同的專家組合。也可以研究如何在訓練階段就有意識地培養不同類型的專家，而不是讓它們自然湧現。
從實際應用的角度來看，HEX方法提供了一種無需重新訓練就能大幅提升模型性能的途徑。這對於已經部署的大型語言模型來說具有重要價值：只需要改變推理策略，就能獲得顯著的性能提升。這種"測試時擴展"的思路可能會成為未來AI系統優化的重要方向。
**八、對比現有技術的優勢**
將HEX與現有的其他優化方法對比，其優勢主要體現在幾個方面。首先是無需訓練的特點：傳統的性能提升方法通常需要收集新數據、設計新的訓練目標、進行大量的計算訓練，而HEX只需要改變推理過程，可以立即應用到現有模型上。
其次是效果的顯著性：HEX在多個標準測試中都達到了與專門訓練的強化學習方法（如GRPO）相當甚至更好的效果。這意味著通過巧妙的推理策略，我們可以達到與昂貴的重新訓練相同的效果。
第三是方法的可解釋性：HEX基於清晰的理論基礎（隱藏專家假說），每個組件的作用都能得到合理解釋。這與許多黑盒優化方法形成對比，為進一步的研究和改進提供了明確的方向。
**九、未來發展前景**
這項研究開啟了擴散語言模型優化的新篇章，但同時也提出了許多值得進一步探索的問題。比如，是否存在更優的專家組合策略？能否設計出自適應的專家選擇機制，根據任務類型自動調整策略？
另一個有趣的方向是將這種思路擴展到其他類型的生成模型。圖像生成、音頻生成等領域的擴散模型是否也存在類似的隱藏專家現象？如果存在，我們能否開發出相應的優化方法？
從更宏觀的角度來看，這項研究體現了AI研究中一個重要的趨勢：從單純追求模型規模的擴大，轉向更深入地理解和利用現有模型的內在能力。這種思路可能會催生出更多創新的優化方法，推動AI技術在不大幅增加計算成本的情況下實現性能突破。
說到底，這項研究最迷人的地方在於它揭示了AI系統中隱藏的複雜性和智能性。就像發現一個看似普通的人實際上精通多種技能一樣，研究團隊發現了擴散語言模型內部蘊藏的多重專家能力。HEX方法的成功不僅為當前的AI應用提供了實用的改進方案，更重要的是，它為我們理解和開發下一代更智能的AI系統指明了方向。
這種發現讓人想起科學史上的許多重要時刻：當我們以新的角度審視已知的事物時，往往能發現前所未見的奧秘。在AI快速發展的今天，也許最大的突破不一定來自更大的模型或更多的數據，而可能來自對現有系統更深入的理解和更巧妙的利用。這項來自中美研究團隊的工作，正是這種智慧探索的典型代表。
Q&A
Q1：擴散語言模型的隱藏專家是什麼意思？
A：隱藏專家是指擴散語言模型在訓練過程中自動學會的多種不同"寫作風格"或處理模式。就像一個作家同時掌握新聞、小說、學術等不同文體，模型內部也存在多個專門處理不同情況的"專家"。不同的文字填補順序會激活不同的專家，產生不同質量的輸出。
Q2：HEX方法為什麼比傳統方法效果更好？
A：HEX方法通過同時使用多種不同的塊大小來激活模型內部的不同專家，然後讓這些專家"投票"選擇最佳答案。這就像組織專家會診一樣，比依賴單一專家更可靠。實驗顯示，HEX在數學推理任務中將正確率從24.72%提升到88.10%，效果提升了3.56倍。
Q3：HEX方法有什麼實際應用價值和局限性？
A：HEX的最大價值是無需重新訓練就能大幅提升現有模型性能，可以立即應用到已部署的AI系統中。但局限性是計算成本增加約5倍，因為需要生成多個候選答案進行投票。目前主要在推理類任務中驗證有效，對創意寫作等任務的效果還需進一步研究。
