這項由香港中文大學、中國科學技術大學、澳門大學、清華大學、浙江大學、蘇州大學、布朗大學、上海交通大學等多家機構聯合完成的研究，於2026年7月2日以預印本形式發布在arXiv平台，論文編號為arXiv:2607.02440。研究的核心成果是一個名為EvoPolicyGym的評測框架，專門用來衡量AI智能體能否像人類學生一樣，在反覆嘗試和錯誤糾正中，主動改進自己的行動策略。
你有沒有想過，為什麼很多電子遊戲裡的AI對手打起來總是那麼死板？它們掌握了固定的招式，但一旦你找到破解方法，就再也無法進步。而真正聰明的玩家會從失敗中學習，下一局換一套打法，再失敗再調整，直到找到真正管用的策略。現在，AI研究界正面臨一個非常相似的挑戰：我們能不能建造一種AI，讓它不依賴人類指導，完全靠自己的試錯經歷，一遍遍地打磨和升級自己的行動方案？
這正是EvoPolicyGym這套訓練場要解答的核心問題。
一、為什麼需要一個專門的"自我進化訓練場"
要理解這項研究的價值，不妨把AI的成長過程比作一個廚師學藝。普通的AI評測，就像只看廚師最終端出來的菜，好不好吃打個分數就算了。但一個真正優秀的廚師，不僅僅是做出一道好菜那麼簡單——他需要能從失敗的菜品中讀懂哪裡出了問題，能在有限的食材和時間裡決定先試什麼配方再調整什麼火候，還要能保證自己摸索出來的方法在面對不同食客時依然好用，而不是只在一道菜上湊巧成功。
現有的AI評測體系，恰恰缺乏對這整個"學藝過程"的考察。一些測試只看最終分數，完全不管AI是靠真正理解任務獲得高分，還是靠反覆碰運氣瞎矇。另一些測試把AI扔進真實的軟體工程任務里，問題太複雜，干擾因素太多，很難搞清楚AI到底是哪裡學會了什麼。
EvoPolicyGym的設計理念就是把這個"學藝過程"單獨拿出來，放在一個乾淨受控的環境裡仔細研究。它給AI劃定了一個固定的"嘗試預算"，讓AI在預算範圍內反覆修改自己的行動方案，每次修改後觀察效果，再根據效果繼續調整，最終由一批從未見過的新場景來檢驗AI真正學到了多少。這就好比給廚師規定只能購買有限量的食材，用這些食材反覆試驗不同配方，最後請一批從未見過這位廚師的挑剔食客來評分——這樣才能真正衡量廚師的學習能力，而不是運氣。
二、訓練場的運作規則：固定預算下的反覆博弈
EvoPolicyGym的運作機制，從技術角度來說，是一個"有編碼能力的AI智能體"和一個"沙盒遊戲環境"之間的反覆交互過程。為了讓沒有技術背景的讀者也能理解，可以把整個過程想像成一場有嚴格規則的廚藝競賽。
競賽開始時，裁判（也就是伺服器）給每位參賽廚師（AI智能體）發一份空白食譜模板和一批練習用食材（訓練集）。廚師可以隨時修改食譜上的內容——可以換掉整套烹飪方法，也可以只調整某個配料的分量。改完之後，廚師把這版食譜交給裁判，裁判按這份食譜做一批菜，然後把結果反饋給廚師：哪些菜成功了，哪些菜失敗了，失敗的原因是什麼，甚至還會附上做菜過程的詳細記錄（這對應論文中的"軌跡級反饋"）。
廚師拿到這些反饋後，再次修改食譜，再次提交，再次獲得反饋，如此往復。但有一個鐵律：廚師總共只能讓裁判做128道練習菜（這就是128輪次的"交互預算"），用完就得停。
競賽的評判方式也很有意思。裁判並不直接用練習菜的成績來打最終分，而是在廚師歷次提交的食譜中，用一批廚師從未見過的"秘密評審菜品"（驗證集）來挑選出最好的那版食譜，再用另一批完全陌生的"終極考核菜品"（測試集）來測量這版食譜的真實水平。這樣設計是為了防止廚師只會在練習菜上表現好，換一批新食材就完全不行。
從技術實現角度來看，每位參賽的AI系統由兩部分組成：一個大型語言模型作為"大腦"，負責理解反饋和決定下一步怎麼修改策略代碼；一個"工具套件"（論文中稱為"harness
"）作為"手"，負責讀寫文件、運行程序和與伺服器通信。策略本身是一段Python程序，必須實現特定的接口規範：一個初始化方法，一個每輪開始時重置狀態的方法，以及一個根據當前觀察決定下一步動作的方法。這個小程序可以包含任何內部邏輯，複雜的感知模組、記憶系統、規劃器，甚至是學過的參數——只要能在規定時間內給出合法動作就行。
三、十六關擂台：涵蓋控制、導航、駕駛與機械臂的"遊戲大全"
EvoPolicyGym的評測舞台被稱為Core16，顧名思義，包含16個不同的交互環境，橫跨四大類別，就像一個囊括了格鬥、賽車、解謎和機械操作的綜合遊戲廳。
第一類是經典控制類遊戲，共四個：Acrobot（一個需要甩動雙節棍讓頂端摸到高處的機械臂）、MountainCarContinuous（一輛需要靠擺動積攢勢能才能衝上山頂的小車）、BipedalWalker（一個需要學會用兩條腿穩定行走的機器人）和CarRacing（一輛需要從像素畫面中讀懂賽道走向的賽車）。這四個任務有個特點：狀態資訊相對簡單，動作空間清晰，考驗的是AI能否找到一套精準的控制策略。
第二類是物理仿真類任務，使用MuJoCo這套物理引擎，同樣有四個：Reacher（控制機械臂末端觸碰目標點）、HalfCheetah（讓一隻類似獵豹的機械生物儘可能快地向前奔跑）、Ant（控制一隻四足機器蟲走路）和Pusher（用機械臂將物體推到目標位置）。這類任務的動作空間是連續的，意味著AI需要輸出精確的力矩數值，就像真正控制一台機器的電機一樣。
第三類是符號迷宮導航，使用MiniGrid框架，四個任務全部屬於這一類：DoorKey（在16×16的網格迷宮裡找鑰匙開門到達目標）、KeyCorridor、FourRooms和ObstructedMaze（有箱子堵路的迷宮）。這類任務的特點是AI看到的不是像素，而是結構化的符號資訊，視野有限，必須記住探索過的地方，建立內部地圖，才能規劃路徑。
第四類是機器人操作與自動駕駛，分別有Parking（停車場泊車）、Roundabout（環形交叉路口駕駛）、FetchPush（機械臂將物體推到指定位置）和FetchPickAndPlace（機械臂抓取物體並放到指定位置）。這類任務要求AI具備更精細的幾何推理能力，知道如何分階段完成複雜的操作序列。
這十六個環境被刻意選擇為彼此截然不同，因為研究團隊的核心問題之一就是：優秀的AI學習者，能否在完全不同類型的任務上都保持競爭力，而不是只在某類擅長的任務上偶爾發揮出色？這就像考察一位全能廚師，不僅要會做中餐，還要做西餐、日料和糕點，才算是真正的高水平。
四、四位選手登場：頂級AI系統的正面交鋒
本次實驗邀請了四套"廚師系統"參賽，每套系統都由一個大型語言模型加上對應的工具套件組成。GPT-5.5搭配Codex工具套件，Claude Opus 4.7、MiniMax-M3和DeepSeek-V4-Pro三個模型都搭配Claude Code工具套件運行。每套系統面對同樣的十六個任務，同樣的128輪預算，同樣的評分規則，完全公平競爭。
為了有個參照基準，研究團隊還設置了一個"隨機亂按"的參照組——在每個時刻完全隨機選擇動作，不做任何學習。這個隨機策略代表了最低下限：任何一個有價值的AI系統，都應該比這個強很多才算合格。
最終的成績可以從兩個維度來看。第一個維度是每個任務的原始得分，也就是被選中的最優策略在那批未見過的考核場景里平均拿到多少累積獎勵。第二個維度是標準化排名分，因為不同任務的獎勵尺度完全不同——賽車遊戲的分數可能是幾百分，停車任務可能是負幾十分——直接比較毫無意義，所以用排名來衡量每個系統在每個任務上相對於其他系統的表現水平，再把十六個任務的排名分取平均，得到最終的綜合評分。
從綜合排名來看，GPT-5.5以0.891的Core16綜合分拿下第一，而且更驚人的是，它在全部十六個任務上都排在前兩名——這意味著它沒有任何明顯的短板。Claude Opus 4.7以0.750的綜合分排名第二，奪得五項第一，在十二個任務上進入前兩名。MiniMax-M3拿到0.531，DeepSeek-V4-Pro只有0.359，而隨機策略以0.109墊底。
值得注意的是，GPT-5.5的卓越之處不僅在於贏得最多，更在於從不崩潰。其他選手都有某些任務得到很高分但某些任務卻慘敗的情況，而GPT-5.5始終維持在頂尖水平。對於AI系統來說，這種穩定性往往比偶爾的峰值成績更難得。
Claude Opus 4.7則在MiniGrid系列任務上表現最為突出，四個迷宮導航任務的家族平均分高達0.938，比GPT-5.5在這個類別的0.812還要高。這說明不同的AI系統可能在不同類型的任務上有各自的優勢，而綜合評分掩蓋了這些有趣的差異。
五、成績背後的時間軸：何時發現好方法同樣重要
光看最終得分還不夠，研究團隊還繪製了一種叫做"分數演化曲線"的後驗診斷圖，把每個系統在整個128輪預算消耗過程中，歷次提交里最佳驗證分是怎麼變化的，都用一條曲線畫了出來。
這就好比給每位廚師裝上了一台攝像機，記錄他們在整個練習過程中，歷次試菜里最好的那道菜的質量是如何隨時間變化的。一條陡然拔高然後平穩延伸的曲線，意味著這位廚師很早就找到了正確方向，後續只是在鞏固；一條在大量嘗試之後才突然躍升的曲線，意味著廚師花了很多預算才找到突破口；一條總體平平的曲線，意味著整個學習過程幾乎沒有進展。
從這些曲線中，研究團隊觀察到了幾個有規律的模式。MiniGrid迷宮任務的曲線往往呈現出"稀疏但劇烈的跳躍"——大多數時候平平無奇，但一旦AI想通了迷宮的關鍵邏輯，分數就會一飛沖天。MuJoCo物理控制任務的曲線則更平滑，呈現出漸進式的改進，每次小調整都帶來一點點提升。而一些機器人和駕駛任務，曲線在前大半段幾乎沒有動靜，要消耗掉相當多的預算之後才出現明顯改善。
這種時間軸分析告訴我們，同樣的最終分數可以來自截然不同的學習路徑——有的系統是早早找到了正確方向再慢慢打磨，有的系統是在最後關頭才靈光一現。這對理解AI智能體如何分配"注意力"和"資源"有重要意義。
六、策略是怎樣進化的：結構創新與參數調整的本質區別
這是整篇研究中最有洞察力的分析部分。研究團隊發現，AI系統改進自己策略的方式，大體上可以分為兩種截然不同的模式，就像廚師改進食譜的方式也有本質區別一樣。
第一種叫"結構創新"，相當於廚師完全換掉一道菜的烹飪方法——從紅燒改成清蒸，從爆炒改成低溫慢煮。在AI策略代碼層面，這意味著程序的整體架構發生了變化：新增了一個感知模組來理解像素輸入，加入了內存系統來記住之前探索過的地方，引入了規划算法來計算最優路徑，或者重新設計了整套控制邏輯。研究團隊用一個技術上很精妙的方法來檢測這種變化：把策略代碼中所有的具體數字都抹掉，只看代碼的"骨架結構"（在技術上叫做AST拓撲，即抽象語法樹），如果骨架變了，就算是結構創新。
第二種叫"參數調整"，相當於廚師保持整體做法不變，只是把鹽從5克改成7克，把火候從大火改成中火。在代碼層面，數字變了，邏輯分支的數量沒變，函數調用的結構沒變，整體骨架一模一樣。
研究團隊首先把十六個任務分成兩類：一類是"以結構創新為主導"的任務，包括所有需要從像素畫面里讀出駕駛資訊的CarRacing，以及所有需要建立內部地圖進行規劃的MiniGrid迷宮；另一類是"以參數調整為主導"的任務，包括大多數物理控制任務，這類任務通常存在一個合理的控制器框架，只需要找到對的參數就能表現良好。
接下來，他們統計了每種修改類型能帶來實質改善（即刷新歷史最佳驗證分）的比例。結論相當清晰：在結構創新主導的任務上，GPT-5.5和Claude Opus 4.7把結構創新轉化為實質改善的成功率分別高達41%和48%，而MiniMax-M3隻有10%，DeepSeek-V4-Pro更是只有可憐的3%。換句話說，較弱的系統也在不停地修改代碼架構，但絕大多數時候，那些結構變化都沒有真正解決任務要求的核心問題——就像廚師反覆在換鍋、換爐灶，卻始終沒有想明白這道菜需要的是完全不同的烹飪哲學。
在參數調整主導的任務上，各系統的差距就小得多，成功率在21%到61%之間，說明只要找到了大致正確的控制器框架，參數微調對所有系統來說都是有效的改進手段。
這個發現把整體排名背後的邏輯解釋得非常清楚：強弱之分的關鍵，在於能否在需要結構創新的任務上真正發明出正確的機制，而不僅僅是會不斷調整數字。
七、深度解剖：賽車遊戲與雙足行走的不同進化路徑
為了進一步驗證上述分析，研究團隊從兩類任務中各隨機抽取一個進行深度追蹤，就像醫生不滿足於血液指標，還要做詳細的影像檢查一樣。
CarRacing被選為結構創新主導任務的代表。這個任務的核心挑戰在於：AI看到的輸入是一幀幀像素圖像，必須從中提取出賽道的走向、彎道的曲率、自己是否偏離了賽道等關鍵資訊，然後才能做出合理的方向盤和油門操作。沒有好的感知系統，再聰明的控制邏輯也無處施展。
從追蹤記錄來看，GPT-5.5和Claude Opus 4.7的進化軌跡非常相似：它們最早提交的版本就已經在嘗試構建像素處理模組，通過顏色過濾把灰綠色的草地和深灰色的賽道分開，再用幾何計算追蹤賽道中心線的位置。拿到反饋後，它們會根據反饋資訊調整感知邏輯，比如增加對遠處彎道的預判，加入在賽道丟失時的恢復行為。整個過程里，大多數改動都是在修改代碼的骨架結構，而非只是調整幾個數字。
DeepSeek-V4-Pro的軌跡則截然不同：它在早期就做了大量的代碼架構更換，但這些更換大多沒有解決像素感知這個根本問題，反而在不同的糟糕方案之間來回打轉。到了預算後期，還在重新評估之前的版本，說明始終沒有找到真正有效的突破口。最終成績CarRacing只有25.199分，遠低於GPT-5.5的604.145分。
BipedalWalker被選為參數調整主導任務的代表。這個任務要控制一個有兩條腿的機器人走路，關鍵在於找到一種合理的步態——腿部關節的協調振動模式。一旦有了能產生正向位移的步態拓撲，接下來的主要工作就是調整振動的頻率、幅度和各關節之間的相位差。
追蹤發現，GPT-5.5是唯一一個在BipedalWalker上實現了正分步態的系統，最終驗證分達到了271分，對應的考核成績是248.874分。其進化路徑是：早期通過幾次架構探索找到了能讓機器人保持平衡並向前移動的步態結構，然後在這個結構上持續微調參數，把表現從勉強能走路提升到走得比較流暢。Claude Opus 4.7、MiniMax-M3和DeepSeek-V4-Pro的最終分數分別只有-15.6、-80.5和-97.5，說明它們始終沒有找到能產生正向步態的基礎結構，參數調整也就無從發揮作用——就像一個廚師明明應該學做一道需要打蛋液的蛋糕，卻一直在調整一份根本沒有用到雞蛋的配方，無論怎麼調，結果都不對。
研究團隊還對CarRacing任務中每次提交的反饋利用過程做了詳細的人工記錄，把證據獲取、失敗歸因、策略修改和修改結果鏈接成一張完整的軌跡圖。對於表現優秀的系統，可以清楚看到這樣一個循環：觀察到具體的失敗現象（比如車子一直在草地上打轉），找到失敗的根本原因（感知模組無法檢測到遠處的賽道），針對這個原因修改代碼架構（增加全局賽道中心計算函數），再通過下一次提交驗證修改是否有效。對於表現較弱的系統，同樣可以看到這個循環，但鏈條在"找到根本原因"或"設計有效的架構修改"這兩個環節上更容易斷裂。
八、成功策略長什麼樣：真正有效的代碼機制
研究團隊還專門展示了幾個表現優秀的策略系統的核心代碼片段，用來說明"結構創新"在實踐中究竟意味著什麼。
CarRacing最優策略的核心邏輯是把原始像素圖像經過顏色分割提取出賽道區域，然後沿著縱向把賽道劃分為近景、中景、遠景三個區域，分別計算各區域的賽道中心位置，再把三個中心點的連線曲率作為方向盤控制信號。當感知模組找不到賽道時，策略會切換到專門的恢復模式，使用上一次已知的賽道方向緩慢修正車輛朝向。這個設計的精妙之處在於，它把一個像素分類問題轉化成了一個幾何控制問題，中間的橋樑是那些精心設計的感知函數。
HalfCheetah最優策略的核心是一個周期性步態生成器：用正弦函數產生隨時間變化的關節角度信號，六個關節的相位差經過調整使得機器的重心能夠向前推進，同時加入了一個基於身體高度的安全縮放因子來防止機器摔倒。整個策略代碼非常緊湊，但每一個數字背後都是大量試錯調整的結果。
ObstructedMaze迷宮任務最優策略的核心是一套完整的"小地圖"系統：每次獲得局部視野，就把其中的格子資訊寫入一張內部維護的全局地圖，同時根據上一步的動作更新自己估計的位置，然後用廣度優先搜索算法規劃從當前位置到目標的最短路徑，並處理拿鑰匙、開門、清除障礙等各類特殊事件。這套系統展示了AI需要在策略代碼里自己實現一套"記憶+推理+規劃"的完整機制，才能在部分可觀測的環境中有效行動。
FetchPush機械臂策略的核心是一個幾何階段控制器：首先計算從物體到目標的推力方向，然後把整個操作分解為若干階段——移動到物體背後、下降到推動高度、向目標方向施推，並加入了當夾爪初始位置在物體錯誤一側時的特殊抬升-清空階段。這種分階段的精確幾何控制是機械臂操作任務成功的關鍵，而不是靠模糊的力度估算。
這些代碼案例說明，真正有效的策略都是"小而精妙的有狀態程序"：它們建立了任務特有的抽象表示，將控制器或規劃器連接到這個抽象表示上，並且為反饋暴露出來的失敗模式添加了針對性的恢復邏輯。這是結構創新和參數調整在實踐中共同作用的最終產物。
九、這套分析體系的局限性：研究者自己的坦誠交代
研究團隊在論文中專門用一節討論了這些診斷方法的局限性，這種自我審視的態度值得一提。
首先，用抽象語法樹的"骨架結構"來判斷是否發生了結構創新，是一種保守的代理指標，並不總是準確反映策略行為的真實變化。兩個骨架結構不同的代碼可能在行為上高度相似，而一個骨架結構內部可能同時包含有用的想法和有害的想法，無法簡單地一刀切判斷。
其次，策略代碼邊界的劃定也存在盲區：分析範圍包括了policy.py主文件和它能直接引用的輔助模組，但沒有包括AI系統可能生成的數據文件、訓練出來的權重參數或者未被引用的實驗代碼。這意味著部分改進行為可能在這套分析框架的視野之外發生。
再者，"結構創新主導"和"參數調整主導"只是一個分析視角，並不是任務的嚴格分類。BipedalWalker在找到步態結構之前也需要結構創新，CarRacing在感知和控制框架確立之後也依賴參數調整。這兩種模式在所有任務里都以不同比例共同存在。
研究團隊因此強調，這些圖表和統計數據應該被理解為來自不同維度的"匯聚性證據"——分數、代碼結構、修改成功率、可見反饋軌跡共同指向同一個結論——而不是對某種"潛在能力"的精確測量。這種謹慎的態度，讓整個研究的結論更加可信。
說到底，EvoPolicyGym這套"自我進化訓練場"揭示了一個頗為直觀卻又容易被忽視的真相：讓AI真正學會獨立進步，比讓AI在某一刻表現出色要難得多，也有價值得多。就像一個只會死記硬背的學生和一個真正會從錯誤中學習的學生，短期內看分數可能差不多，但面對全新的題目時，差距就會顯現出來。這項研究用十六個性質各異的"考場"、嚴格的預算限制和對整個學習過程的逐幀記錄，讓這個差距清晰可見。
GPT-5.5能在全部十六個任務上保持前兩名，說明它在這種"有限資源、自我修正、泛化到新場景"的能力上目前處於領先位置。但更有意思的是，這套框架本身留下了大量開放性問題：為什麼Claude Opus 4.7在迷宮導航上更強，而在雙足行走上更弱？AI系統是否有某種"認知風格"的差異，使它們天然更擅長某類任務？隨著預算增加或任務類型擴展，各系統的相對優勢會如何變化？
對於普通讀者來說，這項研究還有一層更宏觀的意義：我們正在進入一個AI系統不僅被要求完成任務，還被要求能夠自主學習和改進的時代。如何公平、嚴格、有資訊量地評估這種能力，本身就是一個極其重要的科學問題。EvoPolicyGym提供了一種回答方式，而未來一定還會有更多更好的方式被提出和驗證。有興趣深入了解全部技術細節的讀者，可以通過arXiv編號2607.02440找到完整論文。
Q&A
Q1：EvoPolicyGym和普通AI遊戲測試有什麼區別？
A：普通AI遊戲測試通常只看AI玩家的最終得分，相當於只看結果。EvoPolicyGym的不同之處在於，它專門考察AI能否在有限的嘗試次數內，通過自己修改策略代碼、觀察反饋效果、再次改進這個反覆循環來主動提升表現，並且用從未見過的新場景來檢驗學到的策略是否真的有效。它衡量的是"會不會學習"，而不僅僅是"學完之後表現多好"。
Q2：為什麼GPT-5.5在EvoPolicyGym上表現最強？
A：從論文的分析來看，GPT-5.5的優勢主要體現在面對需要設計全新感知或規劃機制的複雜任務時，能以更高的成功率把架構層面的代碼改動轉化為真實的性能提升，而不是反覆修改代碼骨架卻收效甚微。這種能力在需要從像素畫面提取駕駛資訊或需要建立內部地圖規劃路徑的任務上尤為關鍵。
Q3：EvoPolicyGym測試的128輪預算是什麼概念？
A：128輪預算的意思是，AI系統總共只能讓伺服器運行128個完整的測試回合來收集反饋資訊。每次AI修改完策略代碼後，可以選擇用1到128個回合來測試當前版本，用多少就從總額里扣多少，用完就必須停止修改。這個設計模擬了真實世界中資源有限的情況，強迫AI系統做出權衡：是用較少回合快速試很多版本，還是用較多回合仔細測試少數版本？
