假設你手裡有兩份關於明天股市走向的預測。一份來自華爾街資深交易員的實時報價，另一份來自一個剛剛讀完新聞的AI模型。你會信誰？
這個問題聽起來簡單，但背後藏著一個所有做混合決策系統的人都會撞上的難題：如何知道AI模型的判斷，到底有沒有給已有的預測添磚加瓦？
這不是在問「這個AI模型準不準」，而是在問一個更刁鑽的問題：這個AI模型比我手頭已經有的預測,好在哪裡,或者根本沒有更好。伊利諾伊大學香檳分校的研究者們把這個問題起了個名字,叫相對能力
。
**相對能力衡量的不是模型本身的水平,而是模型相對於某個已有資訊源的邊際價值。**
這個區分乍一看有點抽象,但它其實對應著現實里一個非常樸素的直覺。一個很擅長下棋的人,如果對手是新手,他的水平體現得淋漓盡致;但如果對手是世界冠軍,同樣的棋力可能就顯得平平無奇。模型的價值從來不是絕對的,而是相對於對手,或者說相對於已經存在的那個預測源。
一個正在被開發商用的預測助手,如果已經接入了Polymarket這樣的預測市場數據,那這個助手每次調用大語言模型,都要面對一個選擇:是相信市場,還是相信模型,或者說,該給模型多大的話語權。這篇論文要解決的,正是這個"話語權分配"的問題。
預測市場:一種讓人們用真金白銀下注來預測未來事件的平台,比如Polymarket和Manifold,市場價格本身就反映了群體對某件事發生概率的共識判斷。
模型分歧,什麼時候才是有用資訊
先說一個容易被忽略的事實:模型和市場預測不一樣,不代表模型就是錯的。
論文用了一個很乾淨的數學框架來說清楚這件事。設想外部預測（市場給出的概率）為g,模型給出的預測為f，兩者之間的差值f-g，論文管它叫「分歧」。這個分歧本身沒有意義，除非它能預測市場的錯誤方向。
也就是說,只有當模型和市場的分歧,恰好和市場犯錯的方向一致時,這個分歧才值錢。用論文裡的話說,增益取決於這個分歧與外部預測誤差之間的協方差,如果這個協方差是零,那模型再自信,也提供不了任何增量價值。
布里爾分數:一種評價概率預測好壞的指標,預測和真實結果差得越遠,分數越高（越差），完美預測的分數是0。
這個邏輯其實很像醫生看診時怎麼用第二意見。假如你已經做了一次CT檢查,報告顯示八成沒問題。這時候你去問另一個醫生的意見,如果這個醫生的判斷總是和CT結果一致，那他的意見對你來說沒有增量資訊,你聽不聽都無所謂。但如果這個醫生恰好擅長發現CT容易漏掉的某類問題,那即便他單獨看起來經驗不如放射科專家,他的意見依然值錢,因為他糾正的正是第一份報告可能犯錯的地方。如果醫院不做這層區分,只按醫生的資歷一刀切地決定聽誰的,很可能會漏掉那些專精某個盲區、經驗不算最深但恰好能補足漏洞的意見。
為什麼要按「領域」分別調權重,而不是一刀切
論文接下來拋出了一個更細緻的問題:如果你要把模型預測和市場預測按比例混合,這個比例應該是全局統一的,還是應該按問題類型分別設定?
論文給出的答案很明確,應該分開設定,而且給出了一個漂亮的數學證明來說明分開設定能省下多少損失。這個證明的核心思路是,不同領域裡,模型分歧和外部預測誤差之間的關係是不一樣的。比如在經濟數據類問題上,模型可能經常能捕捉到市場沒跟上的信號,但在地緣政治類問題上,可能市場的群體智慧遠勝過模型的判斷。如果只用一個全局權重,相當於把這兩種截然不同的情況強行拉平,損失就出現在這種拉平里。
論文給出了一個定理(文中稱為定理1),精確計算出了分域調權和全局調權之間的差距有多大。這個差距和兩件事成正比:一是每個領域裡模型分歧的大小,二是這個領域最優權重和全局權重之間差得有多遠。差得越遠,分域處理帶來的收益就越大。
這就好比一家連鎖餐飲公司決定菜單定價。如果總部規定所有門店統一定價,那些身處高消費商圈、食材成本高的門店會虧錢,而身處低消費商圈的門店又顯得貴。分區域定價雖然多了一層管理成本,但能讓每個門店都貼近自己真實的成本和需求結構。如果不分區,公司損失的不是某一家店的利潤,而是所有偏離全局均值最遠的那些門店的利潤總和,這正是定理1量化出來的東西。
能力門控機制:把這套理論落地成一個可用的算法
理論說完了,接下來是怎麼把它變成一個真正能跑起來的系統。論文提出的方法叫做「能力門控」,英文是competence gate。
這個門控機製做三件事。第一,它從歷史上已經出結果的問題里,為每個領域單獨估計一組混合權重,權重可以是負數,負權重的意思是這個來源在犯錯時能拿來當糾錯信號,而不是字面意義上"這個來源不可信"。第二,對樣本量小的領域,它把估計出來的權重朝全局權重方向收縮,防止小樣本導致的權重估計過於極端。第三,它對最終混合出來的預測做一次保序回歸校準,確保輸出的概率數值真正對應著歷史上的實際發生頻率。
保序回歸:一種校準方法,把模型輸出的原始概率值調整成與歷史實際發生頻率更吻合的數值,常用於概率預測系統的後處理。
收縮這一步特別值得展開講講。假設某個領域(比如非洲某地區的衝突預測)歷史上只有20個已解決的問題樣本,你直接用這20個樣本去估計混合權重,得出的數字很可能極不穩定,換一批數據重新估計,權重可能天差地別。這時候論文的做法是,把這個不可靠的領域權重和一個用全部數據算出來的全局權重做加權平均,樣本量越小,越靠向全局權重;樣本量越大,越信任這個領域自己的估計。
這個邏輯其實很貼近保險公司給新客戶定價的做法。一個剛成立的小型運輸公司,沒有足夠的出險歷史來精算它的風險等級,保險公司不會完全按照它自己那幾次(可能運氣好或運氣差)的記錄來定價,而是把這家公司的記錄和整個運輸行業的平均風險水平摻在一起,給出一個更穩健的報價。等這家公司積累了足夠多年的出險記錄,報價才會越來越貼近它自己的真實風險畫像。如果保險公司圖省事,直接按小公司自己那幾年數據定價,極端案例會讓保費忽高忽低,反而傷害了雙方的長期信任。
實測結果：模型在哪裡能幫上忙，在哪裡插不上手
論文在2357個已有結果的二元判斷問題上做了實測,數據來自ForecastBench這個基準,涵蓋了Polymarket、Manifold這樣的預測市場,Metaculus、INFER這樣的群體預測平台,還有FRED（美聯儲經濟數據）、ACLED（衝突事件數據）、維基百科和DBnomics這幾個結構化數據源。測試用了五個語言模型。
| 方法 | 布里爾分數 | 相對基線的提升 |
|---|---|---|
| 主外部基線（市場/群體/統計先驗） | 0.0771 | — |
| 全局兩源線性混合 | 0.0767 | 0.0004 |
| 全局單純形混合 | 0.0759 | 0.0012 |
| **分域能力門控** | **0.0732** | **0.0039** |
從這張表能看出,單純的全局混合(不管是兩源線性混合還是單純形約束下的混合)帶來的提升都很有限,統計上並不顯著。但一旦引入分域處理,提升幅度直接翻了三倍多,而且p值只有0.001,說明這個提升不是噪聲導致的巧合。
更值得注意的是,論文用訓練集數據算出的理論預期增益是0.0035,而實際在留出測試集上觀察到的增益是0.0027,兩者非常接近。這說明前面那個定理1不只是數學上好看,它真的能提前告訴你,把權重按領域拆開,大概能撈回多少損失。
不過論文也沒有迴避一個尷尬的對比:如果把能力門控和一個經過校準調整的、按上下文分類的邏輯回歸堆疊模型比較,兩者表現其實差不多(0.0732對0.0740),差距在統計上不顯著。也就是說,能力門控的價值不完全在於它比現有方法更准,而在於它給出的是一組閉式解的、可解釋的領域權重,你能清楚看到每個來源在每個領域裡到底占多大比重,這是黑箱堆疊模型給不了的東西。
**當市場本身就足夠強的時候,模型的邊際價值幾乎歸零。**
這一點在論文對官方ForecastBench市場子集的測試里體現得非常明顯。這個子集包含1294個有真實市場報價的問題,在這個子集上,不管是全局混合(p=0.19)還是能力門控(p=0.42),都沒能顯著超過市場本身。門控機制在這種場景下,會自動把權重壓得很低,基本等同於放棄模型意見,老老實實聽市場的。
這其實是個挺有意思的現象。市場機制之所以強大,是因為它把成千上萬人的資訊和判斷,通過價格這個信號壓縮在了一起。當這個信號已經足夠密集和高效時,單個語言模型再怎麼努力,也很難提供增量資訊,因為它掌握的資訊量本質上比不過整個市場參與者的總和。
用真實時間序列做的「防作弊」檢驗
熟悉AI評測的人都知道一個老問題:如果測試用的歷史事件,恰好在模型訓練數據的時間範圍之內,那模型很可能是背答案,而不是真的在推理。這叫數據污染。
論文對此做了兩層防護。第一層是篩選出2103個在2025年6月1日之後才出結果的問題,理論上這些結果不太可能出現在模型的訓練語料里。第二層更硬核，是針對沒有真實概率預測的結構化數據(比如FRED經濟數據),專門用ARIMA時間序列模型,只用預測當天能拿到的歷史數據,現算一個"防泄漏"的先驗概率,而不是用訓練集裡可能帶著未來資訊的統計量。
ARIMA:一種經典的時間序列預測模型,通過分析歷史數據里的趨勢和周期性規律來預測未來走勢,是統計學裡常用的基線方法。
在這個防泄漏設置下,針對172個結構化問題的整體測試顯示,時間序列先驗的布里爾分數是0.172,能力門控降到了0.160,提升有統計顯著性(p=0.014)。單獨看FRED這個子集(124個問題),提升也是顯著的,從0.178降到0.166。但ACLED、維基百科和DBnomics這幾個更小的子集,雖然點估計上也顯示提升,但置信區間蓋住了零,樣本量不夠,還不能下定論。
這就好比做醫學臨床試驗,大城市三甲醫院積累的病例足夠多,能明確得出某種療法有效的結論;而偏遠小診所的病例太少,哪怕數據趨勢看起來一致,統計上也不敢拍板。樣本量不足不代表效果不存在,只是現在的證據還撐不起這句斷言。
模型嘴上說的自信,和它實際是否更可靠,是兩碼事
這是整篇論文裡我覺得最扎心的一個發現。
論文測試了四個不同規模的Qwen模型,讓它們在給出預測的同時,報告自己對這個預測有多大把握,也就是所謂的「語言化置信度」。然後拿這個置信度去預測一個問題:這個模型的判斷,是不是真的比外部市場預測更准。
結果非常不理想。用AUC(曲線下面積,0.5代表完全沒有區分能力,越接近1代表區分能力越強)來衡量,四個模型的表現分別是0.389、0.501、0.460和0.473,全部徘徊在0.5附近,其中Qwen3-8B甚至低於隨機水平。
AUC:一種衡量分類或排序能力的統計指標,數值範圍0到1,0.5表示和隨機猜測沒有區別,數值越高說明預測越准。
這個結果說明什麼?說明模型嘴上說的"我很確定",和它這次判斷是否真的比市場更可靠,幾乎沒有關係。模型可能確實感知到了這道題比較難,但它沒辦法判斷,自己這次的判斷,是不是恰好能糾正市場的盲點。
打個比方,這就像一個學生做數學題,他自己感覺某道題做得特別順,寫得又快又流暢,主觀上很自信。但這種"手感好"的感覺,和這道題的答案是否真的正確,完全是兩件事。真正可靠的信號不是學生嘴上說的自信程度,而是他過去在類似題型上的歷史正確率,這是一種通過結果反推出來的、外部驗證過的能力評估,而不是主觀自我報告。如果一個補習機構只按學生的自我報告的自信程度來分班,而不參考實際考試成績,分班結果大概率是亂的。
論文裡那個風險覆蓋曲線的對比很直觀地印證了這一點。用能力門控算出的、基於歷史結果推算出來的能力值來決定何時該信任模型、何時該棄權,曲線下面積是0.019;而用模型自己嘴上說的置信度來做同樣的判斷,曲線下面積是0.054,差了將近三倍。數字越低越好,這說明"用歷史結果反推出來的能力評分"作為棄權決策依據,比"模型自己說的置信度"可靠得多。
這套方法能走多遠
論文的作者們也很坦誠地承認了這套方法的局限。
**能力門控依賴的是歷史上已經解決的問題,如果換到一個全新的、沒有歷史數據積累的領域,它就沒法立刻給出可靠的權重估計。**
這意味著,一個剛上線的新預測系統,或者一個全新的問題類型出現時,門控機制沒法立刻發揮作用,需要先攢夠一定量的已解決案例。論文建議,保守的做法是系統一開始先偏向信任外部預測源,等積累了足夠證據之後,再逐步給模型讓渡更多權重。這也符合直覺,新員工剛入職時,主管不會立刻把最重要的決策權交給他,而是先讓他在小事上證明自己,再逐步放權。
另外,論文提到的領域劃分目前用的是數據來源(市場、社區、經濟數據等)這種比較粗糙的標籤。更精細的做法,比如根據問題的時間跨度、分歧程度、市場流動性這些細粒度特徵來劃分領域,論文認為是值得繼續探索的方向,但這次沒有做。還有一點,整套實驗裡模型沒有用檢索增強,也就是說模型是完全憑自己的內部知識做判斷,沒有去搜索最新資訊,這樣做是為了乾淨地隔離出"模型自己的判斷能力"這個變量,但也意味著測試出來的結果不代表一個真正接入搜尋引擎的實際部署系統的表現。
Q&A
Q1：相對能力和模型準確率有什麼區別？
A：模型準確率衡量的是模型單獨預測的好壞，而相對能力衡量的是模型相對於已有外部預測（比如市場或群體預測）能帶來多少額外價值，即使模型單獨看起來不夠准，只要它能糾正外部預測的錯誤方向，依然算有相對能力。
Q2：能力門控在什麼情況下不起作用？
A：論文發現在ForecastBench官方市場子集上，市場預測本身已經足夠強，無論用全局混合還是能力門控，都無法顯著提升效果，系統會自動把模型權重壓低，基本聽從市場判斷。
Q3：語言模型自己說的置信度可靠嗎？
A：論文測試了四個Qwen模型，發現語言化置信度預測模型是否勝過外部預測的AUC值都在0.5附近甚至更低，說明模型嘴上說的自信程度不能可靠地反映它這次判斷是否真的更好，用歷史結果反推的能力評分更可靠。
