這項由清華大學司舒正、趙浩哲等研究者聯合北京大學、DeepLang AI及伊利諾伊大學香檳分校的團隊共同完成的研究，發表於2025年10月7日的arXiv預印本平台，論文編號為arXiv:2510.05608v1。研究團隊針對大語言模型在長期任務中缺乏全局規劃能力的核心問題，提出了名為EAGLET的創新訓練框架，讓AI智能體告別"無腦試錯"，學會像人類一樣進行深思熟慮的規劃。
當前的AI智能體雖然在短期對話和簡單任務中表現出色，但在需要多步驟操作的複雜任務中卻經常表現得像無頭蒼蠅一樣盲目試錯。就像一個人要完成"準備一頓豐盛晚餐"這樣的任務，如果沒有提前規劃，可能會先燒水、再買菜、然後發現忘記預熱烤箱，最後手忙腳亂地在各個步驟間跳來跳去，既浪費時間又可能失敗。傳統的AI智能體正是面臨這樣的困境。
研究團隊觀察到，現有的訓練方法要麼讓AI通過大量專家標註數據進行有監督學習，要麼通過強化學習讓AI在環境中反覆試錯。前者就像讓學生只靠死記硬背標準答案來學習，缺乏靈活應對新情況的能力；後者則像讓學生在考試中盲目猜答案，雖然最終可能找到正確答案，但過程效率極低且成本高昂。更關鍵的是，這兩種方法都只關注"局部規劃"，即在每一步執行時才考慮下一步該做什麼，缺乏對整個任務的全局把握。
EAGLET框架的核心創新在於將規劃和執行完全分離，就像優秀的廚師會先制定完整的烹飪計劃，再按計劃執行每個步驟。該框架包含兩個主要階段：首先是"冷啟動"的有監督微調階段，然後是基於規則的強化學習階段。
一、打造智能規劃師：從頂級大模型中"萃取"規劃智慧
研究團隊首先面臨一個實際問題：如何獲得高質量的全局規劃樣本來訓練規劃器？傳統方法通常依賴人工標註，這既昂貴又難以保證質量一致性。團隊巧妙地選擇了"站在巨人肩膀上"的策略，利用GPT-5和DeepSeek-V3.1-Think等最先進的大語言模型來生成初始規劃樣本。
這個過程就像邀請頂級大廚來制定菜譜。研究團隊向這些先進模型提供任務描述和成功完成任務的詳細過程，要求它們總結出可以重複使用的抽象規劃步驟。例如，對於"在科學實驗中測量物質密度"這個任務，規劃器學會了"步驟1：尋找並收集所需的測量工具；步驟2：準備待測樣本；步驟3：進行質量測量；步驟4：進行體積測量；步驟5：計算密度並記錄結果"這樣的通用規劃模式。
但是，即使是最先進的大模型生成的規劃也可能存在質量問題。有些規劃可能過於複雜，有些可能遺漏關鍵步驟，還有些可能包含錯誤的邏輯順序。為了解決這個問題，團隊提出了"同源共識過濾"策略。
二、同源共識過濾：讓多個"評委"共同把關規劃質量
同源共識過濾的基本思想是讓多個能力不同但架構相似的執行器來評估每個規劃的有效性。研究團隊選擇了兩個"同源"的執行器：一個是基礎的Llama-3.1-8B模型（可以視為"新手執行器"），另一個是經過專門訓練的GiGPO-Llama-3.1-8B模型（可以視為"專家執行器"）。之所以選擇"同源"模型，是為了確保它們的差異主要體現在任務執行能力上，而不是在語言理解、上下文處理等基礎能力上存在根本性差異。
過濾過程就像讓兩位水平不同的廚師按照同一份菜譜做菜。如果菜譜寫得清楚合理，那麼無論是新手還是專家都應該能按照菜譜做出像樣的菜；但如果菜譜有問題（比如步驟順序錯誤、缺少關鍵材料等），那麼至少其中一位廚師會遇到困難，做出來的菜會明顯不如他們不看菜譜時的水平。
具體來說，團隊讓每個執行器分別在有規劃指導和無規劃指導的情況下執行相同的任務，然後比較兩種情況下的表現。如果某個規劃確實有幫助，那麼兩個執行器在使用該規劃時的表現都應該比不使用規劃時更好。如果規劃質量有問題，可能會導致其中一個或兩個執行器的表現下降。只有通過這種"雙重驗證"的規劃才會被保留用於訓練。
通過這種方法，團隊成功篩選出了真正有效的高質量規劃樣本，為後續的訓練奠定了堅實基礎。這些經過篩選的規劃樣本隨後被用於對基礎模型進行有監督微調，讓規劃器獲得生成合理規劃的初步能力。
三、執行器能力增益獎勵：讓規劃器學會"因材施教"
僅僅通過有監督微調獲得的規劃器雖然能生成合理的規劃，但往往只能處理與訓練樣本類似的簡單任務。當面對更複雜或稍有變化的任務時，規劃器可能會生成過於簡單或不夠精確的規劃。為了讓規劃器能夠處理各種難度的任務，研究團隊設計了一個創新的強化學習階段。
傳統的強化學習方法通常直接使用任務完成率作為獎勵信號，但這種方法存在明顯缺陷。就像評價一份菜譜的好壞不應該只看最終做出的菜是否好吃，還要看這份菜譜是否真正起到了指導作用。如果一位廚藝精湛的大廚即使拿到一份糟糕的菜譜也能憑藉自己的經驗做出美味的菜，那麼我們不能因此認為這份菜譜是好的。
為了解決這個問題，團隊提出了"執行器能力增益獎勵"（ECGR）機制。這個機制的核心思想是評估一個規劃對不同能力水平的執行器帶來的幫助程度。具體來說，團隊讓同樣的兩個同源執行器（新手和專家）分別在有規劃和無規劃的情況下執行任務，然後計算規劃帶來的性能提升。
更進一步，團隊還在獎勵函數中加入了"效率激勵"因子。這意味著不僅要看規劃是否能幫助執行器完成任務，還要看是否能幫助執行器更快、更高效地完成任務。就像好的菜譜不僅要保證菜的質量，還要儘可能減少不必要的步驟和等待時間。
通過這種方式，規劃器逐漸學會了根據任務的複雜程度生成相應詳細程度的規劃。對於簡單任務，規劃器會生成簡潔明了的步驟；對於複雜任務，規劃器會提供更詳細、更具體的指導。這種"因材施教"的能力讓規劃器能夠有效處理各種難度級別的任務。
四、三大實驗場景驗證：從科學實驗到網購都遊刃有餘
為了全面驗證EAGLET框架的效果，研究團隊在三個截然不同的長期任務場景中進行了大規模實驗。
第一個測試場景是ScienceWorld，這是一個模擬科學實驗室的虛擬環境。在這裡，AI智能體需要完成各種科學實驗，比如測量物質的熔點、觀察化學反應、種植植物等。這些任務不僅需要多個步驟，還要求智能體理解科學原理和實驗流程。就像一個真實的科學家需要先了解實驗目標，然後準備實驗器材，按照正確順序進行操作，最後分析結果。
第二個測試場景是ALFWorld，這是一個家庭環境模擬器。智能體需要完成各種家務任務，比如"把加熱過的杯子放到櫥櫃裡"或"清潔土豆並把它放到冰箱裡"。這些任務看似簡單，但實際上需要智能體理解物理世界的常識，知道如何操作各種家用設備，並能夠在複雜的家庭環境中導航。
第三個測試場景是WebShop，這是一個在線購物模擬環境。智能體需要根據用戶需求在電商網站上搜索、比較和購買商品。這類任務需要智能體理解自然語言描述的購買需求，在龐大的商品資料庫中找到合適的產品，並能夠處理各種購買流程中的細節問題。
實驗結果令人印象深刻。在所有三個測試場景中，配備了EAGLET規劃器的執行器都顯著超越了沒有規劃指導的基線方法。具體來說，在ScienceWorld的已見場景中，性能提升了約20個百分點；在未見場景中，提升幅度甚至達到了25個百分點。在ALFWorld中，已見和未見場景的平均提升都在15個百分點以上。在WebShop中，性能提升也達到了10個百分點左右。
更重要的是，這些提升不僅體現在任務完成率上，還體現在執行效率上。使用EAGLET規劃器的智能體平均只需要更少的步驟就能完成同樣的任務，這意味著規劃器確實幫助智能體避免了無效的試錯過程。
五、效率革命：訓練成本降低8倍的技術突破
除了性能提升，EAGLET框架在訓練效率方面也實現了顯著突破。傳統的強化學習方法需要智能體在環境中進行大量試錯，通常需要數百個訓練疊代才能收斂。而EAGLET框架由於採用了更精準的獎勵設計和高質量的初始數據，只需要大約50個訓練疊代就能達到優異性能，相比傳統方法減少了8倍的訓練時間。
這種效率提升的意義不僅在於節省計算資源和時間成本，更重要的是讓更多研究團隊和應用開發者能夠負擔得起訓練高質量智能體的成本。就像從手工製作汽車發展到流水線生產，EAGLET框架讓訓練智能規劃器從奢侈品變成了普通人也能使用的工具。
此外，EAGLET框架具有很強的"即插即用"特性。一旦訓練完成，規劃器可以輕鬆地與不同的執行器配合使用，而無需重新訓練。這就像制定了一套通用的工作流程手冊，不同能力水平的員工都可以參考這套手冊來提高工作效率。
六、深度分析：為什麼EAGLET能夠脫穎而出
研究團隊還進行了詳細的消融實驗，分析了EAGLET框架中每個組件的貢獻。實驗發現，如果移除同源共識過濾步驟，性能會下降約3個百分點，這證明了高質量訓練數據的重要性。如果移除執行器能力增益獎勵機制，性能下降幅度更大，達到了約5個百分點，這說明了創新獎勵設計的關鍵作用。
團隊還探索了規劃插入位置對性能的影響。他們發現，將規劃資訊直接插入任務指令中效果最好，這比插入到智能體的思考過程中或環境觀察中都要更有效。這個發現揭示了規劃資訊應該在智能體處理任務的最早階段就發揮作用，而不是在執行過程中才起到指導作用。
另一個有趣的發現是，EAGLET生成的規劃在多個維度上都優於直接使用GPT-4.1生成的規劃。在正確性、可操作性和標準化程度方面，經過專門訓練的規劃器都表現得更好。這說明了專門的規劃訓練確實能夠產生比通用大模型更適合特定任務的規劃能力。
七、真實案例展示：AI智能體的規劃能力對比
為了更直觀地展示EAGLET的效果，研究團隊提供了一個具體的案例分析。任務是"把一個熱杯子放到櫥櫃裡"，這看似簡單但實際上需要多個精確步驟的協調。
沒有規劃指導的智能體表現就像一個慌亂的新手。它首先找到了一個馬克杯而不是杯子，加熱後放入櫥櫃，然後開始重複說"任務完成"但實際上任務並未正確完成。智能體陷入了無限循環，直到達到最大步數限制仍未成功。
使用傳統MPO方法的智能體稍好一些，它有一個固定的行動序列，但這個序列基於錯誤假設（認為杯子在冰箱裡），當發現冰箱裡只有馬克杯時，智能體雖然能夠適應性地使用馬克杯，但同樣陷入了重複"任務完成"的循環。
相比之下，使用EAGLET規劃器的智能體表現得像一個有經驗的專家。它首先系統性地搜索杯子，找到馬克杯後意識到任務要求的是"杯子"而不是"馬克杯"，於是繼續搜索直到找到真正的杯子。然後它高效地完成了加熱和放置步驟，整個過程只用了16步就成功完成任務，展現出了清晰的目標導向和適應性。
八、技術創新的深層意義：從反應式到預見性AI
EAGLET框架的成功不僅僅是一個技術改進，它代表了AI智能體發展的一個重要轉折點。傳統的智能體本質上是"反應式"的，它們根據當前狀態做出決策，缺乏對未來的預見和規劃。而EAGLET讓智能體具備了"預見性"，能夠在執行任務之前就制定全局策略。
這種轉變的意義可以通過一個簡單的比喻來理解。傳統智能體就像在迷宮中盲目摸索的人，每到一個路口就隨機選擇方向，雖然最終可能找到出口，但過程充滿了回頭路和無效探索。而配備了EAGLET規劃器的智能體則像拿到了迷宮地圖的人，能夠事先規劃最優路徑，避免大部分不必要的探索。
這種預見性能力對於AI在現實世界中的應用具有重要意義。無論是工業機器人執行複雜裝配任務，還是服務機器人幫助老年人完成日常活動，或者是自動駕駛汽車在複雜交通環境中導航，都需要這種全局規劃和預見性決策的能力。
九、局限性與未來展望：技術發展的下一步
研究團隊也誠實地指出了EAGLET框架的當前局限性。首先，目前的實驗主要集中在基於文本的交互環境中，對於涉及圖像、影片等多模態資訊的複雜現實場景，框架的適用性還需要進一步驗證。其次，同源共識過濾和執行器能力增益獎勵機制雖然有效，但仍然依賴於多個執行器的可用性，這在某些應用場景中可能不太現實。
另外，雖然EAGLET顯著提高了訓練效率，但對於需要處理完全不同類型任務的跨領域應用，規劃器的泛化能力仍有提升空間。目前的規劃器在特定領域內表現優異，但要讓同一個規劃器既能處理科學實驗又能處理家務活動，還需要更多的技術創新。
展望未來，研究團隊認為有幾個重要的發展方向。首先是擴展到多模態環境，讓規劃器能夠處理包含視覺、聽覺等多種感官資訊的複雜任務。其次是開發更輕量級的評估機制，減少對多個執行器的依賴。最後是探索更強的跨領域泛化能力，讓單個規劃器能夠處理更廣泛類型的任務。
十、對未來AI發展的啟示：從模仿到創造的跨越
EAGLET框架的成功為AI發展提供了重要啟示。長期以來，AI研究主要關注如何讓機器更好地模仿人類的行為模式，但EAGLET展示了一種不同的思路：讓機器學會像人類一樣思考和規劃。
這種轉變的深層意義在於，它讓AI從簡單的模式匹配和反應式行為轉向了更高層次的認知能力。真正的智能不僅在於能夠正確響應當前情況，更在於能夠預見未來可能遇到的問題並提前制定應對策略。
從更廣闊的視角來看，EAGLET框架代表了AI從"工具"向"助手"轉變的重要一步。傳統的AI更像是高級計算器，能夠快速處理大量數據但缺乏主動性。而具備規劃能力的AI更像是智能助手，能夠理解用戶的深層需求，主動提出解決方案，並協助用戶實現複雜目標。
說到底，EAGLET框架最重要的貢獻不僅在於提高了任務完成的效率和準確性，更在於為AI智能體注入了"深謀遠慮"的能力。在一個越來越複雜和動態的世界中，這種規劃和預見能力將成為AI系統不可或缺的核心特徵。就像人類文明的進步離不開規劃和前瞻思維一樣，AI的下一個發展階段也必然需要這種更高層次的認知能力。
當我們回顧這項研究時，會發現它不僅解決了一個技術問題，更重要的是為AI的未來發展指明了方向。在不久的將來，當我們與AI助手協作處理複雜項目時，當AI醫生為我們制定長期治療方案時，當AI教師為學生設計個性化學習路徑時，EAGLET這樣的規劃框架將成為讓這一切成為可能的基礎技術。對於任何關心AI未來發展的人來說，這項研究都值得深入了解和持續關注。有興趣了解更多技術細節的讀者可以通過論文編號arXiv:2510.05608v1查詢完整研究內容。
Q&A
Q1：EAGLET框架是什麼？它解決了AI的什麼問題？
A：EAGLET是清華大學團隊開發的AI智能體訓練框架，主要解決AI在長期複雜任務中缺乏全局規劃、容易盲目試錯的問題。它將規劃和執行分離，讓AI學會像人類一樣先制定整體計劃再逐步執行，避免了無頭蒼蠅式的隨機嘗試。
Q2：EAGLET的訓練效率為什麼比傳統方法高這麼多？
A：傳統強化學習方法需要AI在環境中大量試錯，通常要幾百個訓練周期。而EAGLET通過高質量的初始數據和精準的獎勵設計，只需要約50個訓練周期就能達到優異效果，訓練成本降低了8倍。這主要得益於其同源共識過濾機制保證了訓練數據質量，以及執行器能力增益獎勵讓學習更加高效。
Q3：EAGLET框架適用於哪些實際應用場景？
A：目前EAGLET已在科學實驗、家庭任務和網購等場景中驗證有效。未來可以應用到工業機器人裝配、服務機器人護理、自動駕駛導航等需要多步規劃的複雜任務中。不過目前主要適用於基於文本交互的環境，對多模態複雜場景的適用性還在進一步研究中。
