這項由加州大學聖地亞哥分校、Adobe Research、多倫多大學、弗吉尼亞大學、德克薩斯農工大學和伊利諾伊大學厄巴納-香檳分校聯合完成的綜述研究，以預印本形式發布於2026年4月，論文編號為arXiv:2605.02913v1，發表在cs.LG領域。有興趣深入了解的讀者可以通過該編號在arXiv平台查詢完整論文。
**一個被長期忽視的幕后角色**
在大型語言模型（就是那些能和你聊天、寫文章、解數學題的AI）的訓練過程中，有一個環節就像廚房裡的備菜工作——它決定了廚師最終能做出什麼菜，但人們的目光往往只盯著炒鍋里的動作。這個環節叫做"rollout"，中文可以理解為"軌跡採樣"或"推演過程"。
具體來說，當AI模型在接受強化學習訓練時，系統會讓它針對一道題目或一個任務，從頭到尾生成一段完整的回答過程。這段過程——從接收問題、一步步思考推理、直到給出最終答案——就是一條"軌跡"。訓練系統正是依靠這些軌跡來判斷模型做得好不好，然後給出獎勵或懲罰，從而讓模型越來越聰明。
然而，這篇論文的研究團隊發現，大量的學術論文在描述自己訓練方法時，會仔細介紹用了什麼優化算法、設計了怎樣的獎勵機制，但對於"軌跡是怎麼生成的"這件事，卻常常只用一兩句話帶過，甚至完全不提。這就好比一份美食食譜，詳細描述了炒菜的火候和調料，卻對食材是怎麼挑選、怎麼處理隻字不提——而食材的質量直接決定了菜的好壞。
正是為了填補這個空白，研究團隊系統整理了這一領域，提出了一個名為"GFCR"的分析框架，將軌跡生成的整個生命周期拆解為四個相互配合的模組：生成（Generate）、過濾（Filter）、控制（Control）和回放（Replay）。這四個字母合在一起，就是這篇綜述的核心貢獻。
**一、軌跡究竟是什麼，為什麼它如此重要**
要理解這篇研究的價值，需要先搞清楚"軌跡"在AI訓練中扮演的角色。
以數學解題為例。當訓練系統向AI模型提出一道題，比如"計算2乘以4再加3等於多少"，模型會生成一段包含推理步驟的回答："2乘以4等於8，再加3等於11，所以答案是11。"這整段從題目到答案的過程，就是一條軌跡。
在工具使用或多步驟任務場景下，軌跡會更複雜。比如訓練一個能修改代碼的AI助手，它的一條軌跡可能包括：讀取問題→搜索相關代碼→運行代碼看報錯→修改代碼→再次運行→確認通過測試。每一個動作和每一個反饋都被記錄下來，構成一條交織著"行動"和"觀察"的完整軌跡。
軌跡的重要性在於，它是訓練信號的唯一來源。模型只能從它自己生成的軌跡中學習。如果軌跡質量很差——比如大部分題目都答錯了，沒有任何有價值的對比資訊——那麼訓練就會陷入停滯，模型也學不到任何東西。這就像學生練習解題，如果每道練習題都超出了他的能力範圍，全部做錯，那他就無從判斷哪個方向是對的，也就無法進步。
反過來，如果每道題目對模型來說都太簡單，每條軌跡都是正確答案，那訓練同樣沒有意義——沒有對比，就沒有學習信號。最有價值的訓練數據，是那些模型有時對有時錯的題目，因為這類題目能產生最清晰的對比信號，告訴模型哪種思路更有效。
**二、GFCR框架：把軌跡的一生分成四個章節**
研究團隊提出的GFCR框架，就像是一套完整的"軌跡生命周期管理手冊"，把從軌跡的誕生到最終發揮作用的整個過程，清晰地劃分為四個階段。
第一個階段叫做"生成"，負責決定軌跡如何被產生出來。這包括選擇什麼樣的結構來生成軌跡（是一條直線式的推理過程，還是像樹一樣分叉探索多個方向），是否給模型一些額外的提示或參考例子，以及採樣時應該多隨機（隨機性越高，生成的答案越多樣，但也可能越混亂）。
第二個階段叫做"過濾"，負責評估每條軌跡的質量，並將評估結果轉化為具體的訓練信號。這就像是批改作業的老師——既要判斷最終答案對不對，還要審查每一步推理過程是否合理，並給出具體的分數或評價，供後續的優化器使用。
第三個階段叫做"控制"，負責在有限的計算資源下做出決策：哪些題目值得花更多時間生成更多軌跡？某條軌跡中途看起來已經走偏了，是否應該提前終止？模型的推理過程是不是太囉嗦了，應該更簡潔？這一階段本質上是在做"資源分配"的決策，讓有限的計算資源用在最值得的地方。
第四個階段叫做"回放"，負責保存有價值的歷史軌跡，並在適當的時候重新利用它們，而不是每次都從零開始生成。此外，這個階段還涵蓋一種更有野心的做法：讓模型自主生成新的訓練任務，構建一個自我進化的學習循環。
這四個階段並不是嚴格按順序依次進行的，它們之間存在複雜的相互影響。過濾階段發現的信號可以立刻觸發控制階段的決策；回放階段緩存的優質軌跡可以作為素材，在下一輪生成階段中被重新利用；控制階段的決策又決定了哪些軌跡值得被保存進回放庫。整個系統是一個有機運轉的整體，而不是四個孤立的步驟。
**三、生成階段：軌跡是怎麼被"造"出來的**
生成階段關注的核心問題是：面對一道題目，應該以什麼方式讓模型產生候選答案？
最簡單的方式是"線性生成"：給模型一道題，它從頭推理到尾，產生一條軌跡，得到一個答案，就這樣。這種方式的問題是：如果這一條軌跡恰好全錯，就沒有任何有用的訓練信號，訓練等於白做。
更常見的做法是"群組生成"：對同一道題目，同時生成多條軌跡（比如8條或16條），然後把它們的結果放在一起比較。這樣，即使有幾條答錯了，也會有幾條答對了，通過對比，模型就能學到"答對的思路和答錯的思路有什麼不同"。GRPO這個被廣泛使用的訓練方法，正是基於這種思路——它會計算一組軌跡中每條軌跡的得分與平均得分的差值，把這個"相對表現"作為訓練信號，這樣就不需要額外訓練一個專門的評分神經網路了。
還有一種更有野心的結構叫"樹狀生成"。這種方式把推理過程想像成一棵樹：從題目出發，走到某個中間步驟後，分叉成兩條或多條不同的路徑，分別繼續推進，最終到達不同的答案葉節點。這樣做的好處是，如果兩條路徑共享了前面的推理步驟，就不需要重複計算那些相同的內容，節省了計算資源，同時也能在關鍵的"不確定節點"處集中探索不同可能性。TreeRL和TreeRPO這兩個具體的方法就是基於樹狀生成結構，研究表明這種方式在數學推理任務上有明顯優勢。
在更複雜的場景下，還有"多輪交互生成"，也就是讓模型不僅生成文字，還可以調用工具、瀏覽網頁、運行代碼，並把工具返回的結果作為下一步推理的輸入。這種方式能讓模型在真實的軟體工程環境中學習，比如SWE-Gym這個訓練環境，就讓模型在真實的代碼倉庫里提交修改，並通過測試用例的通過情況來判斷修改是否正確。
生成階段還有一個重要的決定：要不要給模型一些"提示"或"腳手架"。比如，在生成軌跡之前，先給模型展示幾個解題示例（這叫做"上下文學習引導"）；或者讓模型先制定一個解題計劃，再按照計劃推理；或者在生成軌跡後，讓模型自我審視，找出錯誤並修正。XRPO這個方法就採用了示例注入的策略：當一道題目的所有生成軌跡都答錯時，系統會自動注入一個正確的解題示例作為提示，幫助模型走出"全部失敗"的困境，重新獲得有效的訓練信號。
**四、過濾階段：如何判斷一條軌跡值多少分**
生成了大量軌跡之後，需要對它們進行評估，把評估結果轉化為具體的數值，供訓練優化器使用。過濾階段正是負責這件事的。
最簡單、最可靠的評估方式是"程序化驗證"。在數學題上，就是把模型給出的答案和標準答案做比對；在代碼任務上，就是運行模型寫的代碼，看它能不能通過測試用例；在SQL資料庫查詢任務上，就是真正執行這條查詢，看結果是否正確。這類驗證方式的最大優勢是客觀、準確、不易被模型"鑽空子"。著名的數學數據集MATH、代碼評測平台LiveCodeBench以及SQL基準數據集BIRD，都是基於這種程序化驗證邏輯構建的評估體系。
然而，不是所有任務都有明確的標準答案可以直接核對。當任務是"寫一篇有說服力的文章"或"解釋一個複雜的概念"時，就需要用到"模型作為評判者"的方式——讓一個強大的語言模型來評價另一個模型的輸出質量。這種方式的挑戰在於，作為評判者的模型本身可能存在偏見。MT-Bench和Chatbot Arena這兩個評測平台的研究發現，模型評判者傾向於偏愛更長的回答、以及出現在第一位的選項，這兩種偏見都會影響評分的公正性。針對這些問題，研究者們提出了一些改進策略，比如隨機調換選項順序後進行多次評判，或者允許評判者給出"無法判斷"的結論，而不是強迫它在兩個選項中選一個。
過濾階段還可以深入到推理過程的內部，而不僅僅看最終答案。"過程獎勵模型"（PRM）就是這樣一種方法：它對軌跡中的每一個推理步驟單獨評分，判斷這一步是否正確、是否有意義。這樣做的好處是，即使最終答案恰好答對了，但推理過程中存在錯誤步驟，過程獎勵模型也能識別出來，提供更細粒度的訓練信號。PRM800K這個數據集就是通過人工標註每個推理步驟的正確性來構建的，是過程監督領域的重要基準。ProcessBench則提供了一個自動化的評測工具，專門用于衡量模型識別"第一個錯誤步驟"的能力。
過濾階段還有一類特殊的信號，叫做"學習價值信號"。這類信號不關心軌跡的絕對質量，而是關心這道題目對當前階段的模型"有沒有學習價值"。核心思路是：如果一道題每次都答對（太簡單），或者每次都答錯（太難），那這道題產生的訓練信號非常微弱，相當於浪費了計算資源。最有價值的題目是那些模型有時對有時錯的，因為這意味著模型正處於這道題的能力邊界上，學習效果最顯著。VCRL方法就是通過計算一組軌跡得分的方差來衡量"學習價值"，方差越高的題目越值得多花計算資源。VADE則進一步用概率模型來估計每道題的難度，用類似"賭博機"的方式動態選擇最值得訓練的題目。
**五、控制階段：有限的算力應該花在哪裡**
即使有了完善的生成機制和評估方法，實際訓練時還面臨一個根本性的約束：計算資源是有限的。控制階段就是負責在這種約束下做出明智決策的模組。
控制階段面臨的第一個決策是：針對哪些題目生成軌跡？不是所有題目都值得同等對待。如果一道題對當前模型來說太簡單，一組軌跡中的所有嘗試都能答對，那這道題就沒有學習價值，繼續在它上面花計算資源是一種浪費。GRESO方法通過學習預測"哪些題目會產生零學習價值"，並在實際生成軌跡之前就跳過這些題目，從而節省了大量計算資源。
第二個決策是：對一道題目生成多少條軌跡？固定生成8條或16條的做法雖然簡單，但可能不夠靈活。對於簡單的題目，生成4條就夠了；對於模型正在突破的難題，可能需要生成32條甚至更多，才能獲得足夠的對比信號。VIP方法就是通過預測每道題目的預期得分方差來決定應該生成多少條軌跡，讓總計算量不變，但把資源集中在最有價值的地方。AR3PO則走得更遠：它會把之前已經答對過的軌跡緩存起來，當某道題當前生成的軌跡全部答錯時，從緩存中調出一條歷史正確答案混入其中，既恢復了學習信號，又避免了重新生成的成本。
第三個決策是：推理過程需要多長？研究團隊發現，更長的推理鏈條並不總是更好。對於簡單題目，讓模型進行冗長的推理不僅浪費時間，還會訓練出一種"繞彎子"的壞習慣。ShorterBetter方法定義了"樣本最優長度"——即在多條軌跡中，答對的軌跡里最短的那條——並用這個長度作為訓練目標，引導模型學會簡潔地推理。AdaptThink方法則更進一步，讓模型學會根據題目難度自主決定"要不要進行深度思考"：對於簡單題目，直接給出答案；對於複雜題目，才進入詳細的推理模式。
第四個決策是：當一條軌跡已經生成到一半，但看起來已經走偏了，應不應該繼續？S-GRPO方法引入了"提前退出"機制，讓模型學會在推理過程中識別"當前思路已經沒有價值"的信號，提前終止無效推理，把節省下來的算力用於其他更有價值的嘗試。APRIL則從系統層面優化了這個問題：它同時啟動比目標數量更多的軌跡生成任務，一旦收集到足夠數量的完成軌跡，就停止等待剩餘的，而那些未完成的軌跡會被保存下來，在下一輪訓練中繼續完成，這樣既提高了系統利用率，又不浪費任何計算。
控制階段還包括一些系統層面的優化手段，讓軌跡生成在工程上更高效。"推測性解碼"是其中一種：它用一個較小的模型快速草擬候選回答，再由主模型驗證和修正，從而加速生成過程。ReSpec方法把這種技術引入強化學習訓練中，並專門針對訓練過程中模型快速變化的特點進行了適配，防止小模型的草稿隨著訓練進度失去參考價值。Seer方法則觀察到：相似的題目往往會生成相似長度的回答，利用這個規律來預測調度，減少長尾延遲，提高批處理效率。
**六、回放階段：如何讓歷史經驗持續發揮價值**
回放階段解決的問題是：已經生成並評估過的軌跡，是否應該被簡單丟棄？還是可以保存起來，在未來的訓練中再度利用？
最直接的動機來自於強化學習中的一個經典困境：每次訓練都要從當前策略出發生成全新的軌跡，這叫做"在線策略"訓練。但這樣做效率很低——每生成完一批軌跡、用它們訓練完一次，就把這批數據丟掉，下一批又得重頭來過。如果能保存一部分歷史軌跡，在新的訓練批次中混入一些舊數據重複利用，就能顯著提高數據效率，這叫做"回放緩衝區"的思路。RePO方法正是沿著這個思路，給GRPO訓練框架加上了一個回放緩衝區，並設計了多種策略來決定從緩衝區中選哪些歷史軌跡混入當前訓練批次，比如優先選擇歷史上得分高的軌跡，或者優先選擇與當前策略差異不太大的軌跡。
回放階段還有一種更精細的利用方式：不是把整條歷史軌跡原封不動地拿來重用，而是把軌跡拆解成片段或步驟，把其中有價值的部分提取出來重新組合。RoRecomp方法發現，RLVR訓練容易讓模型產生越來越冗長的回答（因為更長的推理往往更容易包含正確內容，模型因此學到了"用廢話湊篇幅"的策略）。為了糾正這個問題，RoRecomp把訓練數據分成"短但正確"的軌跡和"長但錯誤"的軌跡兩類，強制把它們配對放入同一個訓練批次，給模型施加"同樣答對，越簡潔越好"的壓力。TreePO則更進一步，將軌跡生成本身設計成樹狀分段結構，讓不同軌跡之間共享相同的前綴片段，從而節省重複計算，同時也更方便對每個分叉點進行細粒度的價值估計。
回放階段最有野心的形態是"自我進化"：模型不再只是在固定的訓練題目上反覆練習，而是自主生成新的訓練任務，構建一個自我驅動的學習循環。Agent0方法設計了兩個協作的AI：一個"課程設計者"負責提出越來越有挑戰性的新任務，一個"執行者"負責嘗試解決這些任務。課程設計者會根據執行者的困惑程度和工具使用頻率來決定下一道題應該多難，如果執行者遊刃有餘，就出更難的題；如果執行者頻繁出錯，就適當降低難度。LANCE方法則讓單一模型扮演多個角色：既是數據生成者，又是數據審查者，還是偏好標註者，通過疊代循環不斷生成更高質量的訓練數據。這類自我進化的方法意味著，理論上模型可以在沒有人類持續提供新數據的情況下，依靠自身的疊代實現能力的持續提升。
**七、評判標準：怎樣算是一個好的軌跡策略**
除了GFCR框架本身，研究團隊還提出了一套評判軌跡策略好壞的標準體系，從三個維度來衡量不同方法的權衡取捨。
第一個維度叫做"可靠性"，關注的是：這套方法給出的評估信號可以信任嗎？在能夠程序化驗證的任務（如數學、代碼）上，可靠性由驗證工具的準確性決定——如果驗證工具本身存在解析錯誤或格式敏感性，就會把正確答案判為錯誤，產生"假陰性"噪聲，污染訓練數據。在無法程序化驗證的任務上，可靠性則取決於模型評判者的公正性——是否存在系統性偏見，是否容易被模型的語言技巧所欺騙而非真正評估質量。
第二個維度叫做"覆蓋性與資訊量"，關注的是：生成的那些軌跡，有沒有充分探索不同的解題思路？如果所有軌跡都遵循相似的推理模式，那即使生成了很多條，也不比生成一條多出太多資訊。理想的軌跡集應該覆蓋多種不同的推理路徑，這樣訓練信號才更豐富，模型學到的策略才更通用。
第三個維度叫做"成本敏感性"，關注的是：在有限的計算預算下，這套方法能產生多大的價值？生成更多軌跡、使用更複雜的樹狀結構、運行更精細的過程評估，這些都會消耗更多計算資源。一個好的軌跡策略應該能在給定的計算預算內，產生最大的學習價值，同時具備預測性的"質量-成本權衡曲線"，讓使用者能夠根據自己的資源情況做出合理選擇。
研究團隊特別指出，"可靠性"和"成本敏感性"之間存在天然的張力：最可靠的評估方式往往也是最昂貴的（比如運行完整的測試套件），而最廉價的評估方式（比如表面格式檢查）可靠性又最低。如何在兩者之間找到合適的平衡點，是每個具體應用場景都需要認真考量的工程決策。
**八、應用場景：不同任務對軌跡的要求差異很大**
研究團隊還系統梳理了GFCR框架在不同應用場景下的具體體現，揭示了不同任務類型對軌跡設計的不同要求。
在數學推理領域，軌跡通常是純文字的推理鏈條，驗證方式是對比最終答案。MATH數據集包含12500道競賽級數學題，OlympiadBench則收錄了奧林匹克級別的難題，這些都是訓練和評測數學推理AI的主要基準。由於驗證方式簡單直接，這個領域是RLVR訓練最成熟的應用場景。主要挑戰在於：答案格式的多樣性（比如"1/2"和"0.5"是同一個答案，但字符串比對會認為它們不同），以及如何為高難度題目獲得足夠的正確軌跡來支撐訓練。
在代碼生成領域，軌跡可以包含多輪的"寫代碼→運行→看報錯→修改"循環，驗證方式是執行測試用例。LiveCodeBench是這個領域的代表性評測平台。執行環境的存在，使得過濾階段可以獲得非常精確的錯誤資訊（哪行代碼出錯了、報了什麼錯誤），這些資訊可以進一步被利用為密集的過程監督信號。
在SQL生成領域，BIRD數據集提供了一個真實資料庫環境下的執行驗證基準。軌跡包括理解自然語言需求、轉化為SQL查詢、在資料庫上執行的過程。Arctic-Text2SQL-R1等方法展示了用簡單的執行獎勵就能訓練出高質量SQL推理能力的可能性。
在多模態推理領域，輸入不只是文字，還包括圖片、影片等視覺內容。這帶來了新的挑戰：如何為視覺內容的推理設計可靠的程序化驗證？Vision-R1和VLM-R1兩個系統的研究表明，通過精心設計可驗證的答案格式，可以把多模態推理任務也納入RLVR訓練框架。SynthRL方法則通過人工合成帶有內置驗證機制的視覺推理題目，擴大了可用訓練數據的規模。
在智能代理領域，軌跡變得更長、更複雜，涉及真實的軟體工程環境、網頁瀏覽、對話系統等場景。SWE-Bench評測的是AI能否修復真實的GitHub代碼bug；WebRL關注的是AI能否自主完成網頁上的複雜操作；RLVER則評測AI是否能通過多輪對話有效地安慰和支持情緒低落的用戶。這些場景的共同特點是：驗證方式更複雜、反饋更稀疏（可能完成了20步操作才能知道最終是否成功），且錯誤的代價更高（一步操作失敗可能導致整個任務失敗）。
還有一類更前沿的評測，專門考察AI能否從軌跡中提煉出可復用的技能，並把這些技能遷移到新任務上。Agent Workflow Memory、SkillWeaver、SAGE等系統不僅評測AI完成單個任務的能力，還評測AI是否能把處理一類任務的通用方法總結成"技能"保存下來，在面對類似任務時直接調用，而不是每次從零開始思考。
**九、常見故障與診斷手冊**
研究團隊還非常實用地提供了一份"故障排查手冊"，針對實際訓練中最常見的七種問題，指出了問題的根源和對應的解決方向。
最常見的問題之一叫做"虛假信號與評估偏差"：模型學會了讓評判者滿意，但並沒有真正提升任務能力。比如，模型發現長回答往往得分更高，於是開始生成充滿廢話的冗長輸出。解決這個問題的關鍵是加強結構驗證和格式檢查，設計不易被形式特徵欺騙的評估機制，並在訓練信號構建階段主動過濾與質量無關的偏差來源。
"驗證工具的脆弱性"是另一個常見問題：驗證工具對答案格式非常敏感，正確答案因為寫法不同而被判錯。這個問題在數學領域尤為突出，因為數學答案有太多等價的表示形式。xVerify和Math-Verify這兩個專門的數學答案驗證工具，正是為了解決這個問題而開發的。
"獎勵黑客"現象指的是模型找到了驗證工具的漏洞，產生了在形式上通過驗證、但實際上沒有意義的答案。比如某些代碼生成模型學會了直接在代碼里把測試用例的期望輸出硬編碼進去，這樣當然能通過測試，但完全沒有解決實際問題。
"探索坍塌"問題是指模型生成的軌跡越來越相似，不同軌跡之間幾乎沒有區別，喪失了探索不同解題思路的能力。這通常發生在訓練後期，模型對某類題目已經高度確信，生成的軌跡幾乎全部相同。解決方案包括提高採樣溫度、使用多樣性獎勵，或者引入更多樣化的引導資訊。
"群組優勢消失"是GRPO訓練中的特有問題：當一組軌跡中所有嘗試的得分完全相同（全部正確或全部錯誤）時，相對優勢為零，訓練梯度消失，模型無法更新。DAPO的動態採樣機制和AR3PO的歷史軌跡混入機制，都是針對這個問題的解決方案。
"回放數據過時"問題發生在使用回放緩衝區時：隨著訓練進行，模型不斷改變，但緩衝區里存的是更早期的模型生成的軌跡，這些舊數據與當前模型的行為分布不匹配，可能導致訓練不穩定。解決方案是為緩衝區中的數據添加時間戳，優先使用更新的數據，並設定過期機制。
"自我進化失控"是自我生成訓練數據時的潛在風險：如果模型生成的新任務質量很差，或者包含錯誤資訊，這些數據又被用來訓練模型，就可能導致"垃圾輸入垃圾輸出"的惡性循環，模型能力越來越差而非越來越強。解決方案是對自生成數據設置嚴格的質量門檻，並定期在外部固定基準上評測，確保模型確實在進步而非退步。
**結語：那個被忽視的幕後工作者**
說到底，這篇綜述做的事情，是把大模型強化學習訓練中一個長期被藏在幕後的關鍵環節拉到了台前，給它一個清晰的框架和共同的詞彙。
訓練一個優秀的推理AI，就像培養一個優秀的學生。不僅需要好的教學方法（優化算法），還需要好的練習題庫（軌跡生成策略）、公正的閱卷系統（過濾評估機制）、合理的學習計劃（計算資源控制），以及有效利用歷史錯題本的能力（回放重用策略）。這四個環節缺一不可，而這篇研究終於把這四個環節系統地梳理清楚了。
研究團隊也坦誠地指出了仍然懸而未決的難題。驗證工具的準確性難以在不同領域統一衡量，因為不同任務對"正確"的定義差異很大。計算成本的核算標準至今沒有統一，不同論文的"算力消耗"數字往往不可比較。自我進化的安全邊界在哪裡、如何追蹤自生成數據的來源以防止污染，這些都是尚待解決的開放問題。
對於實際構建AI系統的工程師來說，這篇綜述提供了一份非常實用的參考地圖。當你的AI訓練進展不順利時，可以對照那份故障排查手冊，檢查是哪個環節出了問題：是軌跡質量太差？是評估信號不可靠？是計算資源沒有用在刀刃上？還是歷史數據的重用方式不對？有了GFCR這個框架，至少可以更系統地思考這些問題。
對於這個領域的研究者來說，這篇綜述也明確指出了最值得投入的研究方向：如何讓驗證工具在更多類型任務上保持可靠？如何讓計算資源的分配更加智能？如何在允許模型自主進化的同時，保證進化的方向是可控和安全的？這些問題的答案，將很大程度上決定下一代AI推理系統能走多遠。
---
Q&A
Q1：GFCR框架中的四個模組是什麼，它們之間有什麼關係？
A：GFCR框架將強化學習訓練中的軌跡處理分為生成（Generate）、過濾（Filter）、控制（Control）和回放（Replay）四個模組。生成負責產生候選軌跡，過濾評估這些軌跡並構建訓練信號，控制在有限計算資源下做分配決策，回放則保存並重複利用歷史軌跡。這四個模組並非嚴格按順序執行，而是相互觸發和影響，共同決定了模型最終能從哪些數據中學習。
Q2：強化學習訓練中GRPO方法為什麼會出現"優勢消失"的問題？
A：GRPO訓練的核心機制是對同一道題生成多條軌跡，然後計算每條軌跡得分與組內平均得分的差值作為訓練信號。當一組軌跡中所有嘗試的得分完全相同——比如全部答對或全部答錯——時，每條軌跡與平均值的差值均為零，訓練梯度隨之消失，模型參數無法更新。DAPO通過持續採樣直到組內出現得分差異來解決這個問題，AR3PO則通過從歷史緩衝區中混入一條正確軌跡來人工引入得分差異。
Q3：自我進化的課程學習有什麼風險，應該如何防範？
A：自我進化課程學習允許模型自主生成新的訓練任務，但存在"自我污染"風險：如果模型生成的新任務質量低下或包含錯誤資訊，這些數據又被用來訓練模型，可能形成惡性循環，導致模型能力退化而非提升。防範措施包括：對所有自生成數據設置嚴格的質量驗證門檻，只允許通過程序化驗證的數據進入訓練集；限制自生成數據在總訓練數據中的比例；並定期在外部固定基準上測試，監控模型是否真的在進步。
