2024年某天，一位ICLR論文作者收到三份審稿意見。三份意見都提到了論文的"局限性討論不夠充分"，都建議"補充更多消融實驗"，措辭甚至有些相似。他心裡犯嘀咕：這是三個不同的審稿人寫的嗎，還是說這年頭審稿人也開始互相抄作業了？
這個疑惑並非空穴來風。
馬里蘭大學的研究團隊發現了一件更值得警惕的事：如果用AI生成的審稿意見去訓練下一代審稿AI，這個AI給出的判斷會變得越來越千篇一律。這不是猜測，而是一個被實驗數據坐實的現象。
大模型正在悄悄進入同行評審
大語言模型現在已經能總結論文、提出批評、預評測分,甚至幫人類審稿人潤色報告。這些功能確實省事,但也埋下一個隱患：一份由AI撰寫或大幅修改的審稿意見,可能會被公開發表,進入下一批訓練數據,然後被用來訓練下一代AI審稿模型。下一代模型學到的,有一部分其實是上一代AI自己的判斷風格。
已經有研究估算,在一些AI會議的審稿語料里,存在相當比例被AI實質性修改過的內容,不過這類統計沒法精確到"這一篇是不是AI寫的"。這就好比一個班級里,你知道大概有三分之一的作業被輔導老師深度潤色過,但具體是哪幾份,你說不準。
這種自我循環和另一個早就被機器學習圈子討論過的現象很像：
**模型塌縮
**：指反覆用AI自己生成的樣本去訓練AI,會導致模型逐漸"忘記"原始數據分布里那些出現頻率較低的部分,最終輸出變得單一、同質化。
不過這個壞結果不是必然的。此前有研究發現，如果把真實數據和合成數據都保留下來、不斷累積而不是用合成數據去替換真實數據，塌縮是可以避免的。但另一些針對語言模型的實驗又發現，隨著合成數據比例上升，模型的輸出會出現分布偏移和特徵過度集中的問題。
這些互相矛盾的結論指向一個具體又棘手的問題：如果一個審稿AI是用AI自己寫的審稿意見訓練出來的,它給出的科學判斷會不會變得越來越窄?
一場精心設計的"審稿代際實驗"
要回答這個問題,研究者沒有滿足於觀察真實世界裡模糊不清的AI使用情況,而是自己動手做了一個高度受控的實驗,像是在實驗室里復刻了一次"審稿AI的代際傳承"。
他們從Meta的Llama 3.1 8B模型出發,先用2018到2023年ICLR會議的官方審稿意見對它做微調,得到第一代審稿模型M1。之所以把訓練數據截止到2023年,是因為這一年之前的審稿大多產生在ChatGPT普及之前,AI輔助痕跡相對較少,而且Llama 3.1 8B自身的訓練數據截止日期也是2023年12月,這樣可以避免基座模型"提前見過"2024年的審稿內容。
接下來是關鍵的一步。研究者用M1去生成2024年ICLR論文的審稿意見,然後按不同比例把這些"AI生成的審稿"和"官方審稿"混合起來,訓練出四個不同的第二代模型。每篇論文原本配有三份審稿,混合比例分別設定為0%、33%、66%、100%是合成審稿,對應零份、一份、兩份、三份AI生成的審稿。
**這四個模型除了訓練數據里合成審稿的比例不同,其餘一切設置完全一致。**
這種設計的用意在於把變量鎖死。
打個比方,這就像你想知道"往麵團里加多少糖會影響麵包的口感",如果你每次還順便換了烤箱溫度、換了麵粉牌子,那最後吃出來的差異到底是糖造成的還是別的因素造成的,根本說不清。研究者的做法是,除了糖的比例,發酵時間、烤箱溫度、麵粉牌子全部鎖死,這樣麵包口感的變化才能明確歸因到糖的比例上。如果不做這種控制,任何觀察到的差異都可能是訓練數據規模、學習率、甚至隨機種子造成的假象,而不是"合成審稿"本身的效果。
評分變得扎堆,不再敢打極端分
研究者拿到四個模型後,先看了一個最直觀的指標：這些模型打出來的分數,分布是寬還是窄。
他們用三個統計量來刻畫評分的分散程度：均值反映整體是寬鬆還是嚴格,標準差和資訊熵反映評分有多分散、多敢用滿量程。
**結果顯示,一旦引入合成審稿,評分的標準差和熵都明顯下降,說明模型評分變得更加集中、更不敢打極端分。**
具體數字是這樣的：純官方審稿訓練出的基線模型,標準差是1.63,熵是2.31;而只要混入33%的合成審稿,這兩個數字就跌到1.44和2.14,並且在66%和100%合成比例下依然低於基線。
有意思的是,平均分本身沒有表現出"越來越松"或"越來越嚴"的單向趨勢,而是從5.30先漲到33%比例下的5.85,再回落到100%比例下的5.70,呈現出非單調的波動。
這說明合成審稿帶來的不是評分標準變寬鬆或變嚴格,而是評分的"敢用滿量程"的膽量在縮水。
**換句話說,模型學會了扎堆打中間分,不太願意冒險給出1分或10分這種極端判斷。**
這背後的邏輯並不難理解。AI生成的初始訓練數據本身就帶著"求穩"的傾向,畢竟大模型在生成文本時,天然會傾向於選擇更"典型"、更"安全"的表達,而不是極端罕見的表述。當這種帶著"求穩基因"的合成審稿被拿去訓練下一代模型,下一代模型自然會把這種保守傾向學得更徹底,一代代傳下去,膽子越來越小。
同一篇論文,審稿意見越來越像
評分分布變窄只是表面現象,研究者接著往深處挖：如果對同一篇論文,讓模型獨立生成三次審稿,這三次審稿在語義上是不是也變得越來越接近?
為了衡量這一點,他們把每份審稿轉換成一個語義向量,然後計算同一篇論文對應的多份審稿之間的平均"距離"。
**同段-差異**：指同一篇論文對應的多份審稿意見之間的語義差異程度,數值越小說明這幾份審稿寫得越像,越大說明審稿人（或模型）各自抓的重點不一樣。
結果呈現出清晰的單調下降趨勢。純官方審稿基線下,這個語義差異值大約是0.159,混入33%合成審稿後降到0.153,66%時降到0.147,100%時降到0.142,從0%到100%合成暴露,降幅大約是11%。
這意味著,合成審稿比例越高,模型針對同一篇論文寫出的多份"獨立"審稿,內容上就越趨同。
這裡有個類比或許能說明問題的嚴重性。想像一個編輯部,原本三位編輯各自審讀同一篇稿子,一個盯著邏輯漏洞,一個摳語言表達,一個關注選題價值,三份意見合在一起才能拼出稿子的全貌。如果現在編輯們開始互相傳閱彼此寫過的審稿模板,時間一長,三份意見會漸漸變成同一種腔調,同樣的措辭、同樣的關注點。表面上看,審稿"效率"提高了,大家意見一致、達成共識很快,但代價是,原本三個人能覆蓋的問題空間,現在被壓縮成了一個人的視角。如果不做任何干預,這種趨同會一直發生,直到審稿意見徹底失去互補性。
論文資料庫層面的語義空間也在收縮
同段差異衡量的是"同一篇論文的多份審稿像不像",但研究者還想知道一個更宏觀的問題：如果把整個論文庫的所有審稿放在一起看,它們占據的語義空間是不是也在收縮?
他們把每篇論文的審稿聚合成一個論文級別的語義向量,再計算這些向量相對於整個語料庫"中心點"的離散程度,離散程度越大說明語料庫覆蓋的判斷空間越廣。
**語料庫語義離散度**：衡量整個審稿數據集裡,不同論文對應的審稿在語義空間中分布得有多"鋪得開",數值越小說明所有審稿討論的話題、用詞、關注點越趨同。
數據顯示,純官方基線的語料庫離散度約為0.609,混入33%合成審稿後驟降到0.584,66%時是0.580,100%時是0.579,總體降幅約5%。
值得注意的是,最大的下降發生在剛引入合成審稿的那一步,之後隨著合成比例繼續上升,離散度還在緩慢下降,但降幅趨緩。
這說明,合成審稿的引入不僅讓同一篇論文的審稿彼此趨同,也讓整個論文庫層面的審稿風格越來越單一。研究者把這個組合現象命名為**科學判斷力塌縮**,這個名字精準地捕捉了問題的本質：不是AI審稿變得更嚴格或更寬鬆,而是它表達的判斷範圍本身在變窄。
解藥：TrustReviewer的兩道防線
發現問題之後,研究團隊沒有止步於診斷,而是拿出了一套應對方案,取名TrustReviewer,這是一個開源的AI審稿系統。它的設計思路很樸素：既然問題出在訓練數據的質量和推理階段的行為慣性上,那就在這兩個環節各設一道防線。
第一道防線在訓練時下功夫。研究者收集了2018到2025年全部ICLR官方審稿,構建了一個統一的過濾和清洗流程,剔除格式不完整、內容重複、過短或者結構不符合規範的審稿。清洗後的語料庫包含112,743篇論文-審稿對,總計約19億token。這個清洗過程的目的是從源頭上減少低質量、語義退化的監督信號,不讓"劣質基因"進入訓練。
TrustReviewer的核心審稿模型在這個精心清洗過的語料庫上做單階段微調,不像前面控制實驗那樣分兩階段引入合成數據,而是一次性、乾淨地訓練完成。
第二道防線設在推理階段,叫做**配對激活轉向**。
**激活轉向**：一種不需要重新訓練模型、只需要在推理時對模型內部的隱藏層表示做微調整的技術,通過在某些層的輸出上疊加一個預先計算好的方向向量,引導模型的輸出行為發生特定變化。
具體做法是,研究者拿5000對論文,讓訓練好的核心模型M_TR生成審稿,同時保留這篇論文對應的官方審稿,構成配對數據。然後計算"官方審稿的隱藏表示"減去"模型生成審稿的隱藏表示"的平均差值,得到一個轉向向量。推理時,把這個向量按一定強度疊加到模型最後一層的輸出上,相當於給模型的生成過程施加一個"往官方審稿風格靠攏"的推力。
這個思路可以用一個開車的比喻來理解。假設你發現自己開車總是不自覺地往路的一側偏,與其每次都緊張地手動糾正方向盤,不如給車裝一個車道偏離輔助系統,系統會持續地、輕柔地把方向盤往中間推一點。這個轉向向量起的就是類似的作用,它不改變車（模型參數）本身的構造,只是在每一步生成時,施加一個持續的修正力,把輸出往更接近官方審稿的方向拉一拉。如果沒有這道防線,即便訓練數據已經清洗得很乾淨,模型在生成時依然可能因為自身的生成慣性慢慢滑向保守、同質化的輸出模式。
研究者還專門做了超參數搜索,確定在模型的最後一層施加強度為0.15的轉向效果最好,這個結論是在100份獨立的驗證數據上,通過評分精確匹配官方評級的標準挑出來的。
實測效果：既准又多樣
TrustReviewer訓練完成後,研究者拿它和三個基線模型做對比：原始的Llama 3.1 8B指令模型、開源的專業審稿系統OpenReviewer,以及Qwen3.6-35B-A3B。
評價指標主要看兩方面。一是**精確匹配率**，也就是模型打出的分數有沒有和官方審稿人給出的分數中至少一個完全一致；二是**平均絕對偏差**，也就是模型評分和官方平均分之間差多遠。此外還用前面提到的語義離散度和同段差異來衡量判斷多樣性。
下面這張表格是核心結果：
| 模型 | 精確匹配率(%) | 平均絕對偏差 | 評分熵 |
|---|---|---|---|
| 官方審稿 | – | – | 2.38 |
| Llama 3.1 8B指令模型 | 33.93 | 2.679 | 1.53 |
| Qwen3.6-35B-A3B | 61.85 | 1.335 | 1.94 |
| OpenReviewer | 73.10 | 1.113 | 2.10 |
| TrustReviewer(無轉向) | 73.85 | **1.077** | 2.13 |
| TrustReviewer(完整版) | **75.40** | 1.079 | **2.18** |
TrustReviewer的精確匹配率達到75.40%,是所有對比模型里最高的,平均絕對偏差也是最低的一檔。更難得的是,它的評分熵達到2.18,比原始Llama高出0.65,比OpenReviewer也高出0.08,離官方審稿的2.38已經比較接近。
對比"加轉向"和"不加轉向"兩個版本可以看出轉向機制單獨的貢獻：精確匹配率從73.85%提升到75.40%,提升了1.55個百分點,評分熵從2.13提升到2.18,語料庫層面的語義離散度也進一步擴大。不過同段差異略有下降,說明轉向機制不是在所有維度上都同步改善,它更多是提升了整體的判斷準確度和宏觀多樣性,而不是把每一項指標都拉滿。
這個結果也提醒我們一件事：OpenReviewer本身在語義多樣性上表現也不錯，這可能和它使用了經過精細挑選的訓練語料有關，但它的訓練語料沒有公開。相比之下，TrustReviewer把清洗後的語料庫開源了出來，這對後續想要復現或者進一步研究審稿訓練機制的人來說是個實打實的便利。
研究者也沒有迴避實驗本身的局限。這個受控實驗只覆蓋了一次遞歸訓練、一個基座模型家族、一個學科領域，如果換成更多代際的循環訓練、不同規模和架構的模型、不同學科的審稿數據，結論是否依然成立還有待驗證。判斷多樣性高也不等於判斷質量好，一堆各說各話但都是錯的審稿，多樣性照樣很高。精確匹配率和平均絕對偏差衡量的是模型和官方評分的一致程度，而不是評分本身在科學上是否正確，官方審稿終究也只是一個參照系，不是絕對真理，它自己也可能包含錯誤、分歧，甚至未被察覺的AI痕跡。基於文本嵌入計算出來的語義距離，本質上是一種代理指標，衡量的是某個嵌入模型眼中的文本差異，並不能直接證明這些審稿真的抓住了不同的、有效的科學問題。
寫在後面
讀完這項研究,一個細節讓我反覆琢磨：模型塌縮發生時,平均分並沒有變得更高或更低,而是評分的"膽量"在收縮。這和我們直覺里對AI偏見的想像不太一樣,通常我們擔心AI會系統性地偏松或偏嚴,但這裡暴露的問題更隱蔽,是判斷的"範圍"在悄悄變窄,卻幾乎不會在平均值上留下痕跡。這意味著,如果只盯著平均分這類粗糙指標去監控AI審稿系統的健康度,很可能對判斷力塌縮這種問題完全無感。
另一個值得琢磨的地方是,研究者反覆強調"官方審稿"而不是"人類審稿"這個措辭選擇。這不是咬文嚼字,而是承認了一個尷尬的現實：我們已經沒法確定,哪怕是被官方標註為"人工審稿"的意見,是不是純粹出自人類之手。這種不確定性本身,或許才是這場AI審稿討論里最難解決的部分。當數據的"純淨度"本身都成了一個不可驗證的假設,任何建立在"人類基準"之上的分析,都得先接受這份基準可能早已被污染的事實。
如果審稿意見的語義空間在一代代AI訓練里持續收縮,那麼再過幾年,當我們打開一篇論文的審稿意見時,看到的會不會不再是三種不同視角的碰撞,而是同一個聲音的三次迴響？
Q&A
Q1：什麼是科學判斷力塌縮？
A：這是論文提出的概念，指用AI生成的審稿意見訓練下一代AI審稿模型後，模型給出的評分分布變得更集中、同一篇論文的多份審稿越來越像、整個論文庫的審稿語義空間也在收縮的現象，本質是判斷範圍變窄而非評分標準系統性變松或變嚴。
Q2：TrustReviewer是怎麼解決這個問題的？
A：TrustReviewer從兩個階段入手，訓練階段用清洗過的高質量官方審稿語料單階段微調核心模型，推理階段用配對激活轉向技術，通過在模型最後一層疊加一個從官方審稿和模型審稿差異中計算出的方向向量，引導輸出更接近官方審稿風格，且不需要額外訓練。
Q3：合成審稿比例越高，AI評分會越來越松還是越來越嚴？
A：都不是。實驗發現平均分呈非單調變化，從0%合成比例的5.30先升到33%比例下的5.85，再回落到100%比例下的5.70，真正持續下降的是評分的標準差和熵，說明模型變得不敢打極端分，評分越來越扎堆在中間檔，而不是整體偏松或偏嚴。
