由北京大學多媒體資訊處理國家重點實驗室的宋菲凡、魏少航等研究人員以及月之暗面AI公司的王業傑等專家組成的研究團隊，在2025年10月發表了一項關於大型推理模型"過度思考"問題的重要研究。這篇題為《通過推理塑形緩解過度思考》的論文（論文編號：arXiv:2510.09535v1），為解決AI模型在複雜推理任務中效率與準確性的平衡問題提供了新的解決方案。
當前的大型推理模型在解決複雜問題時展現出了驚人的能力，但也帶來了一個意外的副作用：它們經常會"想太多"。就像一個過于謹慎的學生在考試時反覆檢查答案，最終可能因為時間不夠而影響整體表現。這些AI模型在通過強化學習訓練後，雖然能夠給出正確答案，但往往會產生冗長的推理過程，導致計算成本急劇上升。
研究團隊發現了一個有趣的現象：傳統的解決方法是對模型生成的每個詞語進行懲罰，試圖讓它們"少說話"，但這種粗暴的方式往往會損害模型的推理能力。這就好比要求一個正在解數學題的學生每寫一個字都要被扣分，結果學生為了避免扣分而跳過重要的推理步驟，最終得出錯誤答案。
為了解決這個問題，研究團隊提出了一種名為"群組相對分段懲罰"（GRSP）的新方法。這種方法的核心思想是改變懲罰的粒度，不再對每個詞語進行懲罰，而是對推理過程中的"段落"或"步驟"進行管理。就像評判一篇文章的質量時，我們更關注每個段落的邏輯性，而不是計算具體用了多少個詞語。
研究團隊通過分析多個開源的大型推理模型發現了一個重要規律：模型生成的推理段落數量與總的詞語消耗量呈正相關關係，而且推理段落比單個詞語更容易被評估是否冗餘。當我們閱讀一段推理過程時，很難準確指出哪個具體的詞語是多餘的，但相對容易識別出哪個推理步驟是重複或無意義的。
更進一步的分析揭示了另一個有趣的發現：表現更好的模型往往具有更均衡的段落長度分布。這意味著優秀的推理不是簡單地縮短或延長每個思考步驟，而是要在不同情況下靈活調整思考的深度。基於這個觀察，研究團隊設計了一個長度感知的加權機制，對不同長度的推理段落採用不同的懲罰策略。
具體來說，他們將推理段落按長度分成幾個群組，然後對較短的段落施加更強的懲罰，對較長的段落施加較輕的懲罰。這種做法看似違反直覺，因為我們通常認為應該鼓勵簡潔的表達。但研究結果表明，這種"反直覺"的策略實際上能夠引導模型在每個推理步驟中進行更深入的思考，從而減少總的推理步驟數量，最終達到既準確又高效的目標。
研究團隊在多個數學推理數據集上進行了全面的實驗驗證，包括MATH 500、AIMO Prize-1和Omni-MATH 500等不同難度級別的測試。實驗結果顯示，GRSP方法在保持甚至提高準確性的同時，顯著降低了計算成本。特別值得注意的是，在最具挑戰性的Omni-MATH 500數據集上，GRSP不僅實現了最顯著的詞語使用量減少，還保持了所有基線方法中最高的準確率。
實驗數據揭示了一個清晰的趨勢：隨著問題難度的增加，所有方法的詞語消耗都會上升，這表明模型確實需要通過更長的推理來解決複雜問題。但GRSP主要在這些複雜問題上發揮作用，在簡單問題上的改進相對有限，這正好符合我們的預期——過度思考主要發生在處理困難任務時。
為了驗證加權機制的有效性，研究團隊進行了詳細的對比實驗。他們測試了兩種相反的加權策略：遞減加權（對短段落懲罰更重）和遞增加權（對長段落懲罰更重）。結果表明，遞增加權策略雖然在訓練初期能夠快速提升準確率，但很快就會出現訓練不穩定的現象，準確率急劇下降。相比之下，遞減加權策略展現出更穩定的訓練過程，在達到峰值性能後能夠保持穩定，並且最終實現了準確率和效率的雙重提升。
研究還探討了模型規模對GRSP效果的影響。通過在不同大小的模型（7B、14B、32B參數）上進行實驗，研究團隊發現了兩個重要趨勢。首先，較大的模型本身就具有更高的效率和準確性，即使在相同的訓練條件下，大模型也能用更少的詞語達到更高的準確率。其次，GRSP在所有規模的模型上都能帶來一致的效率提升，而且在較大的模型上效果更加顯著，這表明該方法具有良好的可擴展性。
除了基於關鍵詞的分段方法外，研究團隊還探索了基於模型置信度的分段策略。他們發現推理段落之間的轉換點往往對應著模型輸出概率的局部最小值，這是因為在開始一個新的推理步驟時，模型面臨更多可能的延續選擇，導致預測置信度下降。基於這個觀察，他們開發了一種自動分段方法，通過識別置信度的局部最小值來確定段落邊界。實驗結果顯示，這種方法與手工設計的關鍵詞分段方法效果相當，甚至在某些指標上表現更好。
在訓練穩定性方面，GRSP表現出了明顯的優勢。傳統的詞語級懲罰方法往往會導致訓練過程中準確率和效率之間的劇烈波動，有時甚至會出現訓練崩潰的現象。而GRSP通過在更合適的粒度上進行優化，成功避免了這些問題，實現了更平滑、更穩定的訓練過程。
研究團隊還分析了不同方法在推理模式上的差異。他們發現GRSP訓練的模型平均生成21.07個推理段落，明顯少於無懲罰訓練的26.66個段落，這證實了GRSP在控制推理長度方面的有效性。更有趣的是，與其他基線方法相比，GRSP生成的短段落比例更低（62.61% vs 79.17%和91.36%），這表明該方法成功引導模型進行更深入的單步思考，而不是依賴大量淺層的推理步驟。
從方法論的角度來看，這項研究的意義不僅在於提供了一個有效的技術解決方案，更在於揭示了AI推理優化中粒度選擇的重要性。研究表明，在設計AI系統的優化目標時，選擇合適的監督粒度比簡單地設置懲罰力度更為關鍵。這一發現可能對未來的AI系統設計產生深遠影響。
從實際應用的角度來看，GRSP方法為大型推理模型的實際部署提供了一個實用的解決方案。在保持模型推理能力的前提下顯著降低計算成本，這對於資源有限的應用場景特別有價值。隨著AI模型規模的不斷擴大和應用場景的日益複雜化，這種平衡效率與性能的方法將變得越來越重要。
這項研究還為強化學習在大語言模型訓練中的應用提供了新的思路。傳統的強化學習方法往往關注最終結果的獎勵設計，而GRSP方法展示了如何通過巧妙的中間過程建模來實現更好的訓練效果。這種思路可能啟發研究者在其他AI任務中探索類似的方法。
說到底，北大團隊的這項研究解決了一個看似矛盾的問題：如何讓AI既聰明又高效。他們的解決方案不是簡單地要求AI"少說話"，而是教會它"說重點"。通過改變評判標準的粒度，從關注每個詞語轉向關注每個推理步驟，成功實現了推理質量與計算效率的雙贏。這種方法不僅在技術上具有創新性，在理念上也為AI系統的優化提供了新的視角。隨著AI技術的不斷發展和應用需求的日益增長，這類平衡性能與效率的研究將變得越來越重要，為構建更實用、更可持續的AI系統奠定基礎。有興趣深入了解技術細節的讀者可以通過論文編號arXiv:2510.09535v1查詢完整的研究報告。
Q&A
Q1：什麼是大型推理模型的"過度思考"問題？
A：過度思考指的是AI模型在解決問題時生成過於冗長的推理過程，就像學生做題時反覆檢查、寫了很多不必要的步驟，導致計算成本大幅上升。雖然能得到正確答案，但效率很低，這在實際應用中會造成資源浪費。
Q2：GRSP方法與傳統詞語懲罰方法有什麼區別？
A：傳統方法是對模型生成的每個詞語進行懲罰，試圖讓AI"少說話"，但這often會損害推理能力。GRSP方法則是對推理"段落"或"步驟"進行管理，就像評判文章時關注段落邏輯而非詞彙數量，這樣既保持了推理質量又提高了效率。
Q3：為什麼GRSP要對短段落施加更強的懲罰？
A：雖然看似違反直覺，但研究發現這種策略能引導模型在每個推理步驟中進行更深入思考，減少總的推理步驟數量。就像鼓勵學生每步驟都想得更透徹，而不是寫很多淺顯的步驟，最終實現既準確又高效的推理。
