這項由LinkedIn公司、哈佛大學和約翰斯·霍普金斯大學聯合開展的研究，以預印本形式於2026年6月30日發布，論文編號為arXiv:2606.32017，有興趣深入了解的讀者可通過該編號查詢完整論文。
**故事的起點：一個看似公平、實則偏頗的獎勵機制**
假設你正在培訓一批新員工，規則非常簡單：如果今天的銷售目標達成了，今天所有參與的員工都得到獎金；如果沒達成，所有人都被扣工資。聽起來似乎很公平，但問題來了——如果一個員工上午跑了六個客戶卻沒拿到訂單（屬於有效探索），另一個員工因為填錯了表格而耽誤了關鍵交易（屬於明顯失誤），而最終銷售目標恰好因為某位同事的臨時發揮而完成——那麼，拿到獎金的這三位員工，到底誰應該得到最多的肯定？按現行規則，他們三人拿的獎金完全一樣。
這個不公平的困境，恰恰是當前主流人工智慧訓練中真實存在的問題。研究團隊將其應用於所謂的"智能體強化學習"場景——在這類場景中，AI不是回答一道題就結束，而是像真正的員工一樣，要執行一系列連續的動作：搜索資訊、點擊鏈接、編輯文件、下達指令、與物體交互。現有的主流訓練方法叫做GRPO（群組相對策略優化），它的做法正是前面說的那種"大鍋飯"式獎勵：一條任務軌跡成功了，裡面所有的動作都被一視同仁地鼓勵；失敗了，所有動作都被壓制。
研究團隊將這套方法存在的問題比作"急救室里沒有分診台"——所有病人不管輕重緩急都排在一起等待，資源嚴重錯配。因此，他們提出了一套名為TRIAGE的新框架，其名字本身就取自醫學急救中的"分診"概念，核心思想是：在給AI動作分配"獎勵"之前，先弄清楚這個動作到底扮演了什麼角色。
**一、分診台的設計：四種角色，各有其責**
急診室的分診護士會把病人分成幾類：危重、緊急、普通、可等待。TRIAGE框架對AI的每一個動作也做了類似的分類，建立了一套由四種角色構成的分類體系。
第一類是"決定性進展"（Decisive，簡稱D）。這類動作直接推動了任務目標的實現，好比是棋局中的"將軍"一步。以購物AI為例，"點擊購買"就是這類動作；以家務AI為例，"把清潔好的刀具放到餐桌上"就是D類動作——它們直接觸發了最終的成功判定。
第二類是"有效探索"（Exploration，簡稱E）。這類動作不能直接完成任務，但它們幫助AI獲取了有用的資訊。你可以把它理解為偵探在案發現場收集線索的過程——沒有破案，但每一條線索都是必要的鋪墊。比如AI在找到目標物品之前打開了一個柜子查看裡面有什麼，或者在搜索商品時輸入了一個合理的查詢詞，這些都屬於E類動作。
第三類是"無進展基礎動作"（No-progress，簡稱N）。這類動作既不推進任務，也不帶來新資訊，但至少沒有造成損害。就像偵探在走廊里漫無目的地踱步——什麼都沒發生，但也沒壞事。比如AI在任務已經完成後又多點了一次"購買"按鈕，就屬於這類。
第四類是"退步動作"（Regression，簡稱R），這是最關鍵也最容易被忽視的一類。這類動作要麼損壞了任務狀態，要麼是在沒有任何新資訊收益的情況下重複了已知無效的操作。比如AI已經檢查過某個抽屜里沒有目標物品，卻連續檢查了十五次；或者把本應保持完好的文件改錯了；又或者明明已經選好了商品屬性，卻反覆重複點擊同一個選項——這些都是R類動作。
這個分類體系的精妙之處在於，它不僅僅是按"好壞"排序，而是區分了動作的本質類型。有效探索和無進展基礎動作的關鍵區別在於：探索改變了AI對世界的認知狀態，而基礎動作什麼都沒改變。這個區別在傳統的獎勵機制中完全看不見，但對AI的學習至關重要。
**二、真正的問題：成功掩蓋了罪行，失敗埋葬了功勞**
研究團隊將現有GRPO方法的核心缺陷描述為"兩個盲點"，理解這兩個盲點，才能真正明白TRIAGE為什麼有價值。
第一個盲點：失敗軌跡中的有效探索被錯誤懲罰。考慮這樣一個場景：AI在執行購物任務時，先是發出了一個非常精準的搜索詞（E類），找到了候選商品，但最終買錯了產品（R類）——任務失敗。在GRPO的體系下，那個精準的搜索行為會和買錯產品的行為一起被壓制，就好像在告訴AI"不要搜索，搜索沒用"。日積月累，AI就會變得越來越不敢嘗試資訊收集，在資訊不足的情況下貿然行動，反而導致更多的失敗。
第二個盲點：成功軌跡中的退步動作被錯誤鼓勵。研究團隊在審查真實記錄的AI軌跡時發現了觸目驚心的數據：在ALFWorld（一個家務類任務環境）的成功軌跡中，退步類動作（R）的比例高達48%；在WebShop（商品購物任務）中，這一比例也達到了43%。這意味著，AI在任務最終成功的軌跡里，將近一半的動作是退步或無效的重複操作，但它們全部獲得了正向獎勵——就像那個填錯表格卻最終分到獎金的員工一樣，AI從這些錯誤操作中學到的是"下次也這樣做沒關係"。
研究團隊用一個具體的例子讓這個問題變得非常直觀。他們記錄了一條34步才完成的ALFWorld任務（任務是"把一個冷蘋果放進垃圾桶"）。在這條成功的軌跡里，AI在任務開始後陷入了一個瘋狂的循環：連續對冰箱執行了15次"檢查冰箱"的操作，每次檢查都沒有任何新發現，純屬無效重複（R類）。之後才開始探索其他地方，最終完成任務。在GRPO的獎勵體系下，那15次對著冰箱的無效檢查，獲得了和最終完成任務一模一樣的正向獎勵——AI實際上在學習"開頭先瘋狂檢查冰箱15次"是成功策略的一部分。
**三、TRIAGE的解法：角色定好了，獎勵才精準**
明確了問題所在，TRIAGE的解法其實並不複雜，但它的設計思路相當精巧。
TRIAGE的運作方式分為兩步。首先，用一個經過專門設計的AI法官（一個專門調用來分析動作的語言模型）對每個動作進行角色分類。這個法官不是全知全能的：它只能看到當前動作前後各五個步驟的局部上下文，不能看到最終任務是否成功——這樣設計是為了防止法官"事後諸葛亮"，用結果反推動作的好壞，而必須真正從動作本身的局部意義來判斷它的角色。法官還需要為每個判斷提供簡短的文字證據，這個要求類似於法庭上的"舉證"，迫使法官做出有根據的裁定而不是隨意貼標籤。
其次，根據角色分類，給每個動作疊加一個有界限的"過程獎勵"，疊加到GRPO原有的軌跡級獎勵上。具體數值設定為：D類動作獲得+1的過程獎勵，E類獲得+0.5，N類獲得-0.1（輕微懲罰以減少無效動作），R類獲得-0.5（較重懲罰，即便它出現在成功軌跡里）。整體而言，GRPO的軌跡級獎勵仍然是主導信號，過程獎勵是在此基礎上的局部修正——就像薪資體系里基本工資不變，但個人績效獎金根據具體表現調整。
研究團隊通過一個叫做"混合係數λ"的參數控制這種修正的強度。λ越大，過程獎勵的影響越強；λ過大則會帶來風險，因為法官並非完美，過度信任法官的判斷可能導致錯誤放大。研究團隊在不同任務上分別調整了λ的值（購物類任務λ=0.4，其他任務λ=0.2），並嚴格要求這個調整隻能在訓練數據上進行，測試數據不參與調參過程。
值得強調的是，這套獎勵常數（D=1, E=0.5, N=-0.1, R=-0.5）在所有任務中保持不變，從未針對特定環境做過調整——這說明這套分類體系具有一定的普適性，不依賴於特定任務的先驗知識。
**四、理論支撐：為什麼角色分類會降低訓練誤差**
研究團隊不僅僅提出了這套方法，還給出了數學層面的理論支撐，儘管他們也坦誠地說這是一種"合理化論證"而非絕對保證。
核心邏輯可以這樣理解：GRPO把整條軌跡的獎勵平攤給每個動作，這個平攤值和每個動作真正應得的"理想獎勵"之間存在一個差距，研究團隊把它叫做"信用殘差"。如果我們能用某種資訊來解釋這個差距，就能讓訓練信號更精準。
研究團隊證明了這樣一個命題：在所有只依賴角色標籤進行修正的方案中，最能減少"信用殘差"誤差的方案，就是用每種角色對應的平均殘差來做修正。而TRIAGE的固定常數（1, 0.5, -0.1, -0.5）正是對這個理論最優解的近似——只要法官分類基本可靠，這套常數就能減少訓練中的估計誤差，進而降低梯度的方差，讓訓練更穩定。
更進一步，他們還明確了這套方法會失效的條件：如果法官質量很差，將R類動作和E類動作搞混，那麼過程獎勵的協方差符號就會搞反，不但幫不上忙，反而會讓訓練變差。這個預測在實驗中得到了完整的驗證——當他們換成一個質量較差的法官時，TRIAGE的表現確實跌到了GRPO基線以下。
**五、法官好不好，決定了一切**
既然法官的質量如此關鍵，研究團隊對法官進行了細緻的人工審核。他們請來了兩位不了解TRIAGE理論體系的標註員，獨立對135個動作片段進行了四類角色的手動標註，兩人的原始一致率高達88.1%，分歧由資深研究員裁定後作為標準答案。
隨後，他們測試了不同規模和配置的法官模型，核心發現非常清晰：能否正確識別"成功軌跡中的退步動作"（即R-in-success這個關鍵格子），是法官質量的決定性指標。
使用Qwen3-8B模型但不開啟"深度思考"模式時，法官在識別成功軌跡中的R類動作上的F1分數（一個衡量準確率的綜合指標，滿分100）只有29.2——幾乎不如隨機猜測。但開啟深度思考模式之後，同一個8B模型的得分飆升至86.1。相比之下，將模型規模擴大到14B甚至32B，但不開啟深度思考，F1分數依然很低（分別為5.7和35.9）。這個發現很有意思：在識別"成功中的失誤"這件事上，讓模型多想一想比把模型做得更大更有效。
反之，在"失敗軌跡中識別有效探索"（E-in-failure）這個格子上，即便是不思考的小模型也能達到90以上的F1——這說明探索和失敗的組合模式本身就比較容易識別。真正的難點始終是：在成功的光環下，發現那些不應該被表揚的動作。
研究團隊最終選擇了Qwen3-8B加深度思考模式作為默認法官，這個選擇在效果和成本之間取得了最好的平衡。
**六、實驗結果：三種任務，兩種AI，全面比較**
研究團隊在三個不同的智能體任務環境中對TRIAGE進行了驗證，分別代表了三種不同的挑戰類型。ALFWorld是一個虛擬家居環境，AI需要按照自然語言指令完成家務任務，比如"把清洗過的黃油刀放到餐桌上"，關鍵難點是大量的重複操作和對物體位置的探索。WebShop是一個模擬電商環境，AI需要根據用戶需求搜索併購買符合條件的商品，這裡的搜索是探索，購買是決定性動作，而重複點擊已選屬性就是退步。Search-QA是一個多輪問答任務，AI需要反覆搜索、精煉查詢詞，最終給出正確答案，整體以探索動作為主，退步動作相對較少。
兩個政策模型（Qwen2.5-7B-Instruct和Qwen3-1.7B-Instruct）分別在這三個環境中接受訓練和測試，每組實驗重複了十次以確保結果可靠，並報告平均值和標準差。
結果方面，以Qwen2.5-7B為例：在ALFWorld任務上，GRPO的成功率為79.6%，TRIAGE提升到了87.5%，提升了7.9個百分點；在WebShop上，GRPO為70.1%，TRIAGE達到77.2%，提升7.1個百分點；在Search-QA上，從43.3%提升到48.1%。對於更小的Qwen3-1.7B模型，提升幅度更為顯著：ALFWorld從45.2%提升到56.4%，WebShop從37.5%提升到55.9%，絕對提升分別高達11.2和18.4個百分點。Search-QA則從39.4%提升到42.3%。
特別值得關注的是訓練完成後AI的行為變化。因為TRIAGE壓制了無效重複和退步動作，訓練後的AI完成任務需要的步驟也減少了。在ALFWorld中，GRPO訓練後的AI平均需要24.45步完成任務，而TRIAGE訓練後的AI只需要21.90步，少了約10.4%；WebShop中分別為8.00步和6.82步，少了約14.8%。這說明TRIAGE不只是讓AI更容易成功，還讓AI學會了"以更簡潔的方式"達成目標。
**七、對比其他方法：TRIAGE憑什麼與眾不同**
為了驗證TRIAGE的優勢不只是"多加了獎勵信號"這麼簡單，研究團隊還與多種競爭方案進行了對比。
首先是PPO（近端策略優化），這是一種需要單獨訓練一個"評分員"網路來估計每個動作價值的成熟方法。TRIAGE在不依賴單獨評分員的情況下，在三個任務上全面超越了PPO。
其次是GiGPO，這是一種通過比較"從相同狀態出發的不同動作"來分配更精準獎勵的方法。TRIAGE與其表現接近（在ALFWorld上兩者基本持平，在WebShop上TRIAGE略優），但GiGPO依賴"相同狀態多次出現"的條件，在Search-QA這類每次搜索都返回不同內容的任務中完全失效，TRIAGE則不受此限制。
最具說服力的對比來自於兩個專門設計的控制實驗。其一是"標量過程獎勵基線"：使用完全相同的法官和上下文窗口，但不要求法官給出角色分類，而是直接輸出一個-1到1之間的進展評分，將這個評分疊加到GRPO獎勵上。這個方法同樣比GRPO好，但在所有三個任務上都不如TRIAGE。這說明角色分類本身提供了純粹的進展評分所沒有的資訊。其二是"共享骨幹價值基線"：在政策模型上附加一個線性層，用任務成功與否來訓練這個層預測每個動作的價值，類似於Actor-Critic架構的簡化版。這個方法在ALFWorld和Search-QA上超越了GRPO，但在WebShop上幾乎沒有提升——原因正是之前提到的：WebShop中的退步動作（重複點擊同一屬性）幾乎不改變可見的環境狀態，價值函數無法從幾乎相同的狀態觀測中區分有效點擊和無效重複點擊，而角色分類器讀取了動作歷史，直接將重複操作標記為R。
研究團隊在消融實驗中進一步分解了TRIAGE的貢獻來源。在Qwen2.5-7B上，將R類獎勵清零（即不懲罰退步動作）會導致ALFWorld從87.5%跌至81.4%，Search-QA從48.1%跌至46.7%，WebShop從77.2%跌至73.1%——這部分損失是最大的單項貢獻。將E類獎勵清零（即不獎勵探索動作）則分別跌至85.8%、47.5%和75.5%——貢獻持續但次於退步懲罰。兩個成分都有意義，但壓制退步動作是TRIAGE增益的主要來源，這與ALFWorld和WebShop中高達48%和43%的退步動作比例完全對應。
**八、方法的邊界與誠實的局限**
研究團隊在論文中相當坦率地討論了TRIAGE的局限性，這種坦誠讓結論更加可信。
角色標籤是語義估計而非客觀事實。法官可能會高估某些探索行為的價值，或者遺漏某些隱蔽的退步。TRIAGE通過只將法官用於"診斷角色"而非"直接決定獎勵"來緩解這一風險，但無法消除法官的誤判影響。
角色的判斷是上下文相關的。同樣是"檢查某個柜子"，第一次檢查是E類探索，第十五次檢查就變成了R類退步。法官必須依賴動作歷史來判斷，單純看動作本身無法區分。研究團隊的設計中已經給法官提供了前後各五步的上下文，但對於需要非常長歷史背景才能判斷的情況，這個窗口可能不夠。
同時，TRIAGE帶來了額外的計算成本——訓練時需要為每個動作調用一次法官模型。研究團隊的回應是：將GRPO的訓練步數翻倍（從150步增加到300步），ALFWorld的成功率也無法超過85%，始終低於TRIAGE的87.5%。這說明增加訓練量並不能解決信用分配本身的結構性問題，而TRIAGE解決的正是這個結構性問題，所以額外的計算成本從投入產出比來看是合算的。
說到底，TRIAGE回答了一個在AI訓練領域長期被忽視卻至關重要的問題：在連續決策任務中，"最終結果"並不能公平地評價"過程中的每一步"。就像一場籃球比賽最終贏了，並不意味著球員每一次運球、每一次傳球都是正確的選擇。想要訓練出真正高效的AI智能體，就必須在結果之外加上一個"過程維度"——這個維度不需要是完美精確的，只需要能區分那兩個最關鍵的矛盾格子：成功中的錯誤，和失敗中的正確。
這項研究最有意思的地方或許在於，它用醫學"分診"的隱喻做出了一個很好的啟示：面對複雜問題時，有時候最重要的事不是立即行動，而是先花時間弄清楚"這個問題屬於哪一類"。有興趣深入鑽研技術細節的讀者可以通過arXiv:2606.32017獲取完整論文，裡面包含完整的數學推導、每條審核軌跡的逐步分析，以及詳盡的超參數敏感性分析。
---
Q&A
Q1：TRIAGE框架中的四種動作角色分別是什麼意思？
A：TRIAGE將AI的每個動作分成四類。D類（決定性進展）是直接完成任務目標的動作，比如點擊購買或放置目標物品。E類（有效探索）是幫助AI收集資訊的動作，比如打開柜子查看或發出搜索查詢，不直接完成任務但有價值。N類（無進展基礎動作）是對任務和資訊都沒有影響的無害動作。R類（退步動作）是損壞狀態或在沒有新資訊收益的情況下重複已知無效操作的動作，比如連續檢查同一個空柜子十五次。
Q2：TRIAGE和普通GRPO訓練方法相比，實際效果能提升多少？
A：在三個測試任務中，使用Qwen2.5-7B模型時，ALFWorld任務成功率從79.6%提升到87.5%，WebShop從70.1%提升到77.2%，Search-QA從43.3%提升到48.1%。對更小的Qwen3-1.7B模型提升更明顯，WebShop成功率從37.5%躍升到55.9%，提升了18.4個百分點。此外，完成任務需要的動作步數也分別減少了約10%到15%。
Q3：TRIAGE中的AI法官如果分類錯了會怎樣？
A：法官分類質量直接決定TRIAGE的效果。研究發現，使用不開啟深度思考模式的法官時，識別成功軌跡中退步動作的F1分數只有29分左右，TRIAGE的表現會跌到GRPO基線以下，比不用TRIAGE更差。開啟深度思考後，同一模型的分數升至86分，TRIAGE才能帶來穩定增益。因此法官的可靠性，尤其是能否在成功軌跡中找出退步動作，是整套方法有效運作的前提條件。
