這項由伊利諾伊大學厄巴納-香檳分校研究團隊完成的研究，於2026年6月以預印本形式發布，論文編號為arXiv:2606.28661，題為《當更多採樣適得其反：測試時擴展的眾數上限與相關性上限》。
你有沒有遇到過這樣的場景：在一道選擇題上反覆糾結，把四個選項看了又看，最終反而把原本正確的答案改掉，選了一個錯的？這種"想多了反而出錯"的現象，不只發生在人類身上，也同樣困擾著如今最先進的AI推理系統。而這篇研究，就是專門來解剖這個問題的。
研究團隊提出了一個核心命題：當我們讓AI對同一道題反覆作答很多次，並從中挑選答案時，多做幾次真的會越來越准嗎？答案出人意料——不，到了某個點之後，做再多次都沒用，甚至會更糟。為了把這件事說清楚，研究團隊引入了兩個核心概念：**眾數上限**（modal ceiling）和**相關性上限**（correlation ceiling），並用嚴謹的數學推導和真實數據驗證了這兩個上限的存在和位置。
這項研究的意義在於，它揭示了AI推理系統一個長期被忽視的根本瓶頸——不是"能不能生成正確答案"，而是"能不能認出哪個是正確答案"。這對AI系統的設計、評測以及計算資源的分配，都有直接的實踐影響。
---
一、AI答題的方式：反覆抽籤，然後投票
要理解這篇研究，先得了解現代AI推理系統的一種常見工作方式。
當一個AI系統面對一道難題時，它不一定只給一個答案。更常見的做法是：讓它對同一道題獨立作答很多次，比如100次、1000次，然後從這堆答案里挑一個最終答案。這種方法叫做"測試時擴展"（test-time scaling），核心思路是：答的次數越多，總有一次能蒙對，勝算自然更高。
這就像你參加一個多選題考試，規則是可以反覆填寫答題卡，只要有一次寫對了就算通過。你當然會儘可能多填幾次。研究人員把這種"至少有一次答對"的概率叫做**覆蓋率**（coverage），它確實會隨著作答次數的增加而不斷上升，這一點毋庸置疑。
但現實部署中的AI系統不是這樣運作的。它必須最終給出一個答案，而不是把100個答案全塞給用戶。那怎麼從一堆答案里挑一個？最常見的做法是**多數投票**，也就是哪個答案出現次數最多，就選哪個——這叫做"自洽性"（self-consistency）方法。
問題就出在這裡。假設一道難題，AI作答了100次，其中有3次答對了，但有40次給出了同一個錯誤答案。多數投票會選出那個出現40次的錯誤答案，而3次正確答案則被淹沒其中。不僅如此，當你繼續作答到1000次時，那個錯誤答案可能出現了400次，正確答案依然只有零星幾次——投票結果不會改變，反而會以更高的"自信心"給出錯誤答案。
研究團隊把覆蓋率（能不能找到正確答案）與選擇準確率（能不能挑出正確答案）之間的差距稱為**可識別性缺口**（identifiability gap）。覆蓋率一直在攀升，選擇準確率卻早早撞上了天花板，兩條曲線之間那片空白，就是AI"能生成卻無法選出"的答案區域。
---
二、第一道牆：當投票結果徹底固定下來
研究團隊用一個精確的數學命題描述了投票結果的固化過程。
對於一道固定的題目，AI每次作答都會生成一個答案字符串。所有可能的答案字符串構成一個分布，其中出現頻率最高的那個答案叫做**眾數**（mode）。根據概率論中的大數定律，當你抽取的樣本足夠多時，每個答案出現的頻率會越來越接近其真實概率，而頻率最高的答案——也就是投票結果——會越來越穩定地收斂到那個眾數。
這意味著：一旦作答次數足夠多，投票結果就徹底鎖定了。對於眾數恰好是正確答案的題目，多投票是好事；但對於眾數是錯誤答案的題目，繼續投票只會更加堅定地得出錯誤結論。這個固化的上限就叫做**眾數上限**（modal ceiling）——它是由"AI最常給出的答案是否恰好正確"所決定的，與你投了多少票毫無關係。
具體來說，在一個基準測試中，所有題目的眾數上限平均值就是**眾數命中率**（modal-hit rate，πmode）——即在所有題目里，AI最常給出的答案恰好是正確答案的比例。一旦達到這個上限，再多的樣本只是在浪費計算資源，或者讓系統更加自信地犯錯。
研究團隊在Beeching等人發布的真實數據集上驗證了這個預測。該數據集包含500道數學題（MATH-500），使用Llama-3.2-1B-Instruct模型，每道題各作答256次。結果顯示：覆蓋率攀升到了0.88（十道題里有近九道至少有一次答對），但多數投票的準確率只有0.45（只有不到一半的題目投票結果是正確的），而且在大約64次之後就幾乎不再變化。這256次作答里，每道題平均只產生了約13種不同的答案，而不是256種——答案分布極度集中，投票結果早早就固定了。
這個發現還揭示了一個更微妙的現象：在這0.45的選擇準確率中，有相當一部分來自於那些AI正確率不足50%的難題——也就是說，AI在這些題上答對的次數比答錯的少，但因為錯誤答案分散在許多種錯法上，正確答案反而是出現最多的單一答案，從而成為眾數。這說明眾數上限比單純的"多數投票能不能超過50%"要寬裕得多。
---
三、第二道牆：重複做題不等於學到更多
除了投票結果固化這個問題，研究團隊還發現了另一個完全獨立的上限，這個上限與評估AI在一批題目上的平均準確率有關。
考慮這樣一個情形：為了測量AI的數學能力，你讓它對某道題做了一萬次，統計答對的比例。你會認為這比只做一次要更精確得多，畢竟樣本量大了一萬倍。但研究團隊指出，這個直覺是錯誤的。
原因在於，這一萬次作答都是同一個AI、同一道題、同樣的條件下產生的，它們之間並不是相互獨立的。這就像調查一個家庭里所有成員的政治觀點——如果家庭成員之間相互影響，那麼問了十個人，並不等於你獲得了十個獨立的意見，實際資訊量可能只相當於兩三個獨立個體。
這種相關性在統計學中用**組內相關係數**（intraclass correlation，簡稱ρ）來衡量。ρ越大，意味著同一道題的多次作答越"雷同"，實際攜帶的獨立資訊就越少。研究團隊借用了經典調查統計學中的"設計效應"（design effect）概念，把n次相關作答等效換算成了**有效樣本數**（neff）：
neff = n ÷ [1 + (n-1) × ρ]
當n趨向無窮大時，這個公式的極限是1/ρ。這就是**相關性上限**（correlation ceiling）：無論你做多少次，所獲得的有效資訊量永遠不會超過1/ρ個獨立樣本。
用一個具體數字來感受這件事：如果ρ = 0.1（同一道題的多次作答之間有10%的相關性），那麼相關性上限就是10。這意味著，你對一道題做了一百次、一千次，甚至一萬次，從統計意義上獲得的精度等價於大約十次獨立作答——第一萬次作答帶來的額外資訊，約等於第十次作答的百萬分之一。
研究團隊在Brown等人發布的大規模數據集上檢驗了這一點。該數據集涵蓋GSM8K（小學數學應用題）和MATH（競賽數學題），使用Llama-3系列模型，每道題各作答一萬次。結果發現，不同題目之間的難度差異導致的組內相關係數約為0.4到0.6。換算下來，一萬次作答的有效樣本數大約只有2——也就是說，為了估計模型在某道題上的真實準確率，花費一萬次作答的計算資源，實際上只換來了約等於兩次獨立作答的統計精度。
這個上限與選擇準確率無關，它是專門針對"用重複作答來估計準確率"這件事的。研究團隊特別強調，這兩個上限——眾數上限和相關性上限——是完全不同的東西，分別約束不同的目標，必須分開理解。
---
四、難題堆里的另一個規律：越難的題，覆蓋率漲得越慢
前面講的兩道牆都是關於"選答案"和"評估準確率"的，那麼覆蓋率本身有沒有上限？
研究團隊指出，覆蓋率在數學上是沒有"重複作答"上限的——只要一道題對AI來說不是完全不可能解出，那麼只要作答次數足夠多，總會有一次答對，覆蓋率會趨近於1。但問題在於，這個趨近過程可以非常漫長。
這裡涉及到題目難度分布的問題。如果所有題目對AI來說難度相同，覆蓋率會像"拋硬幣"一樣以指數速度上升——每多作答一次，沒答對的概率就乘以一個小於1的常數，所以會越來越快地接近100%。但現實中，不同題目對AI來說難度差異極大：有些題十次里能答對九次，有些題一萬次里也只偶爾對一次。
當題目難度分布呈現出這種"長尾"特徵時（即有大量極難的題目），覆蓋率的上升速度就會從指數型變成**冪律型**（power law）——也就是每多作答十倍，覆蓋率只上升固定的一小段，而不是以固定比例壓縮剩餘未覆蓋的空間。
研究團隊用貝塔分布（Beta distribution）對難度分布建模，推導出了覆蓋率趨近上限的速度為n的負α次方，其中α由難度分布的形態決定。這與Brown等人發表的實驗數據吻合——他們在四個數量級（1次到一萬次）的作答範圍內，觀察到覆蓋率在對數坐標軸上呈現近似線性的緩慢上升，這正是冪律型收斂的特徵。
還有一種更極端的情況：如果某些題目對AI來說根本不可能答對（比如超出模型能力範圍的題目），那麼這些題目的"可達率"為零，覆蓋率永遠無法越過這個硬性邊界，無論作答多少次。這是模型能力本身的極限，不是採樣策略能彌補的。
---
五、為什麼同一道題多次作答會"雷同"？
講到這裡，你可能會好奇：明明每次作答都是隨機生成的，為什麼還會有相關性？
研究團隊用了一個非常直觀的框架來解釋這件事。他們把AI的每次作答想像成這樣一個過程：AI內部對每道題有一個隱藏的"擅長程度"θ，每次作答就像以θ為成功概率拋一枚硬幣。不同題目的θ不同：有的題θ = 0.9，十次里九次對；有的題θ = 0.05，二十次里才有一次對。
這個框架來自統計學中的德芬內蒂定理（de Finetti's theorem）：只要假設多次作答是"可交換的"（即換個順序不影響概率分布），就可以用這種混合模型來表示。而θ的方差除以s(1-s)（其中s是平均正確率）就是組內相關係數ρ。
從這個角度看，ρ反映的主要不是"同一道題的多次作答相互影響"，而是"同一道題的多次作答都受制於這道題本身的難度"——它們的命運被這道題的θ綁在了一起。研究團隊用Beeching等人的五輪獨立實驗數據驗證了這一點：重新跑一遍同樣的模型，題目的θ幾乎沒有變化（不同輪次之間的組內相關係數ρw約為0.0007，接近於零），說明題目難度是穩定的，而不同題目之間的難度差異（ρb約為0.4）才是造成相關性的主要來源。
---
六、三個目標，三種停止時機
研究團隊把這一切整合成了一個實用的決策框架。他們指出，"重複作答"在三種不同目標下的效用衰減速度完全不同，因此最佳停止時機也不同。
評估AI在一批題目上的平均準確率，這是最快觸達上限的目標。由於難度差異導致的組內相關係數約為0.4到0.6，每道題只需大約2次作答（即1/ρb）就能獲取幾乎全部的統計資訊，多做一千次並不比多做兩次強多少。正確的做法是：與其對同一道題反覆作答，不如把計算資源分配到更多不同的題目上。
挑選一個答案用於實際輸出，這是中等速度觸達上限的目標。投票結果收斂的速度取決於答案分布的集中程度——如果一道題只有十幾種不同答案，那麼大約十幾到幾十次作答就足以讓投票結果穩定下來。繼續作答不會改變投票結果，只會強化現有的選擇。如果想提高這個上限，核心手段是讓答案分布更分散（比如調高隨機性參數、使用更多樣化的提示方式），而不是增加作答次數。
找到至少一個正確答案供驗證器篩選，這是唯一沒有重複作答上限的目標。只要有一個外部工具能判斷哪個答案是對的（比如代碼測試器、數學證明驗證器），那麼每一次額外作答都有概率貢獻一個新的正確答案，覆蓋率會持續上升，計算資源的投入是真實有效的。
這三個目標對應的最佳資源分配完全不同，但它們共享同一批作答樣本。研究團隊提供了一個可操作的公式：從已有的作答日誌中估算ρ，計算出有效樣本數neff，就能知道當前的採樣預算有多少是真正有用的，何時繼續作答已經是在浪費資源。
---
七、如何測量這道牆的高度？
研究團隊還給出了一個實用的估算方法，讓任何人都能從手頭的數據中讀出這些上限。
估算組內相關係數ρ的方法很簡單：假設你有M道題，每道題各作答ni次，其中答對了ci次。計算每道題的答對比例pi = ci/ni，然後比較不同題目之間的方差（題目間差異）與同一道題不同次作答之間的方差（題目內差異）。前者越大、後者越小，就說明題目間難度差異越大，ρ就越高。具體公式使用統計學中的方差分析估算器，研究團隊在論文附錄中給出了完整推導。
有效樣本數neff = n ÷ [1 + (n-1) × ρ]，上限為1/ρ。這個數字告訴你：你用n次作答實際上獲得了多少獨立樣本量的資訊。研究團隊建議在報告任何基於重複採樣的AI評測結果時，都應該在名義樣本數n旁邊附上這個有效樣本數neff，以及相關性上限1/ρ，這樣讀者才能真正理解這個評測結果的可靠程度。
---
歸根結底，這項研究傳遞了一個清醒的信號：計算資源不是免費的，多花不一定多得。覆蓋率的上升令人振奮，但它描述的是"AI能生成什麼"，而不是"AI能交付什麼"。真正決定AI系統實際表現的，是它能不能把正確答案排在第一位——而這個能力，不會隨著作答次數的增加而自動提升。
當你下次看到某個AI系統宣稱"經過N次採樣後準確率達到X%"，不妨問一句：這N次里，有效樣本數是多少？投票結果在第幾次就已經固定了？計算資源花在了真正有用的地方嗎？這篇研究給了你追問這些問題的工具。
有興趣深入探討這些數學細節的讀者，可以通過論文編號arXiv:2606.28661查閱完整論文。
---
Q&A
Q1：AI重複作答的"覆蓋率"和"選擇準確率"有什麼區別？
A：覆蓋率是指在所有作答中至少有一次答對的比例，它會隨著作答次數增加而持續上升。選擇準確率則是指最終投票選出的答案是否正確，它受制於"眾數上限"——一旦作答次數足夠多，投票結果就固定在出現最多的答案上，如果那個答案是錯的，繼續作答只會更自信地給出錯誤結論。兩者之間的差距就是模型"能生成卻無法選出"的答案區域。
Q2：組內相關係數ρ越大，意味著重複作答越沒用嗎？
A：是的。ρ反映的是同一道題多次作答之間的相似程度，主要來源是不同題目之間的難度差異。ρ越大，有效樣本數的上限1/ρ就越低。比如ρ = 0.5時，無論作答多少次，所獲得的統計資訊等價於最多2次獨立作答。實測數據顯示，主流數學基準測試的ρ約為0.4到0.6，意味著一萬次作答的實際資訊量約等於兩次獨立作答。
Q3：想提高AI投票選答案的準確率，應該怎麼做？
A：根據研究結論，增加作答次數並不能提升投票準確率，因為投票結果會收斂到固定的眾數。真正有效的手段是讓答案分布更分散，比如調高生成時的隨機性參數（溫度）、使用不同的提示方式、混合使用多個不同模型——這些方法能讓答案分布更均勻，減少錯誤答案的集中優勢，從而提高正確答案成為眾數的概率。
