這項由香港浸會大學主導的研究，以預印本形式發布於2026年7月28日，論文編號為arXiv:2607.25236，有興趣深入鑽研的讀者可通過該編號查閱完整原文。研究團隊提出了一套名為VisualPatchWorld（簡稱VPW
）的新框架，試圖解決一個困擾機器人和人工智慧研究者多年的老難題：如何讓機器自動學會"這個世界是怎麼運轉的"，並利用這種理解來做出更好的行動決策。
你有沒有想過，當一個機器人要把桌上的積木推到目標位置時，它腦子裡到底在想什麼？它需要知道自己的手（推桿）推上積木之後，積木會如何移動，力氣大了會怎樣，角度不對又會怎樣。這種對"世界運轉方式"的內在理解，研究人員稱之為"世界模型"。有了準確的世界模型，機器人就能在腦子裡先演練各種方案，挑出最好的那個再真正動手——就像一個棋手在落子之前先在腦中推演幾步棋一樣。
在VPW出現之前，研究者主要有兩條路可走。一條路是用神經網路來學習世界模型：餵給網路大量的影片和操作數據，讓它在自己內部的"向量空間"里建立起對世界的理解。這條路的好處是可以從數據中自動學習，不需要人工編寫規則；壞處是學到的東西藏在幾百萬個數字參數裡，誰都看不懂，出了問題也沒法修。另一條路是人工編寫物理引擎：程序員直接把重力、摩擦力、碰撞規則等物理定律寫成代碼，機器人就按照這些規則行事。這條路的模型清晰可讀，但每換一個新環境就得重新寫一套，費時費力，根本無法大規模推廣。
VPW走的是第三條路：讓機器自動從觀察數據中歸納出可執行的程序代碼，把這段代碼作為世界模型。這段代碼既能像物理引擎一樣清晰可讀、可編輯，又能像神經網路一樣從數據中自動生成。這個想法聽起來有些神奇，接下來就一步步拆解它的實現方式。
一、世界模型究竟是什麼，為什麼重要
要理解VPW的價值，先得弄清楚世界模型在整個智能體系中扮演的角色。香港浸會大學的研究團隊在論文中引用了斯坦福大學李飛飛博士2026年提出的一個框架：一個真正有用的世界模型，應當承擔三項職責——渲染（能生成畫面，告訴你世界看起來是什麼樣子）、模擬（能追蹤狀態，告訴你世界現在處於什麼狀態）以及規劃（能評估行動，告訴你下一步該做什麼）。
把這三項職責想像成一位經驗豐富的廚師的內心戲：當他看到一鍋湯（渲染），他能判斷現在的火候和食材狀態（模擬），然後決定是該加鹽還是繼續等（規劃）。三者共用同一套對烹飪的理解，只是在不同場合發揮不同作用。對於機器人來說，這套"內心戲"就是世界模型。
現有的神經網路世界模型，比如谷歌DeepMind的Dreamer以及法國高等師範學院和Meta聯合開發的LeWM，在"渲染"和粗略"規劃"方面表現不錯，但它們的內部邏輯完全不透明。一旦機器人做了一個糟糕的決定，你無法打開它的大腦看看哪裡出了問題，只能重新收集數據、重新訓練。另一邊，手工編寫的物理引擎像教科書里的公式一樣清晰，改一行代碼就能調整一個物理參數，但每個新環境都要從頭寫，成本極高。
VPW就是在這兩種極端之間架起一座橋：自動生成的程序代碼，既有神經網路的數據驅動能力，又有物理引擎的可讀性和可編輯性。
二、VPW的核心思路：像偵探一樣先判斷案件類型，再收集細節證據
VPW的整個工作流程可以用一個偵探破案的比喻來理解。面對一起案件，聰明的偵探不會一上來就漫無目的地收集所有線索。他會先根據現場情況判斷這是哪種類型的案件——謀殺、盜竊還是意外，然後才有針對性地深入調查。VPW做的事情與此如出一轍。
整個流程分為四個階段，依次進行。第一階段是"視覺抽象"，把原始的像素畫面變成結構化的文字描述，記錄每個物體的位置、角度、速度，以及物體之間的距離和接觸關係。第二階段是"軌跡導出"，把一段段的操作錄像整理成"動作前狀態—動作—動作後狀態"的三元組記錄，為後續學習準備好材料。第三階段是最關鍵的"兩級程序歸納"，這正是偵探破案的核心環節。第四階段是"規劃驗證"，用學到的程序來指導實際控制，檢驗它是否真的好用。
第三階段的"兩級程序歸納"細分為兩個子步驟。第一級叫"主動探測選結構"，第二級叫"參數擬合定細節"。把這兩步放在一起理解：第一級相當於偵探判斷"這是謀殺案還是事故"，第二級相當於確定嫌疑人之後收集指紋、足跡等具體證據。
第一級的工作方式非常聰明。面對一個新環境，VPW會主動向模擬器發出幾個精心設計的"探測性動作"，就像偵探在案發現場做幾個小實驗一樣。比如，給機器人施加一個短暫的力，然後觀察它是立刻停下（說明沒有慣性，是"無記憶"的一階系統）還是緩慢減速（說明有慣性，是"二階PD控制"系統）；再比如，讓機器人靠近一個積木，觀察積木是不是只有在接觸時才會移動（接觸驅動型）還是遠距離也會有響應（動作驅動型）。通過這一系列短小精悍的探測實驗，VPW可以在一個預先定義的小型假設庫中選出最符合當前環境物理規律的"動力學草圖"。在論文展示的推箱子任務中，這個假設庫有三個相互獨立的二元選擇：機器人遵循PD控制還是無記憶控制、積木是准靜態還是有動量、運動是接觸驅動還是動作驅動，三者組合出八種可能的草圖，主動探測會挑出最合適的那一種。
選定了草圖之後，第二級就開始填充具體數值。就像偵探鎖定嫌疑人後去核查他在案發時間的行蹤，VPW把選定的草圖實例化為一段帶有未知常數的Python代碼模板，然後在大量的操作軌跡數據上進行優化，找到讓預測誤差最小的那組參數。這裡有一個重要細節：優化的目標不是讓單步預測儘量准，而是讓**多步連續預測**的累積誤差儘量小。這個區別非常關鍵——就像一張地圖，單步誤差小只能說明每一格畫得準確，但如果格與格之間有系統性的偏差，沿著這張地圖走個十步，你可能已經偏離正確路徑很遠了。VPW專門針對"長距離導航"的需求來校準地圖，而不僅僅追求每一步的精度。
三、把程序代碼當作"腦內演練場"來規划行動
有了這段可執行的Python程序，機器人就可以用它來規划行動了。VPW採用的規劃方法叫做"滾動時域模型預測控制"配合"交叉熵方法"（論文中簡稱CEM-MPC）。這個聽起來複雜的名字，背後的邏輯其實相當直觀。
考慮這樣一個場景：你站在一個迷宮的起點，需要找到出口。你隨機想出一百條不同的路線，然後在腦子裡分別推演每條路線會走到哪裡，挑出最接近出口的那些路線，再以這些好路線為模板，生成下一批更優化的路線候選，如此疊代幾輪之後，你就能找到一條相當不錯的路徑。VPW的規劃就是這麼運作的，只不過推演路線用的是剛才學到的程序代碼，而不是人的直覺。
更妙的是，VPW把"當前狀態的觀察"和"未來行動的評分"分成了兩個獨立的問題。觀察當前狀態時，VPW可以從真實圖像中提取場景描述（工具路徑），或者直接讀取模擬器的精確狀態（神諭路徑）；而評分未來行動時，用的是歸納出來的程序代碼，不需要額外調用昂貴的物理引擎。這種分離設計讓研究團隊可以精確地測量"感知誤差"和"動力學誤差"各自對最終規劃效果的貢獻有多大。
論文還設計了一種"混合評分"機制來處理那些特別難搞的接觸密集型任務。核心思路是：用歸納出來的程序先對全部候選方案進行粗篩，從中取出表現最好的前30%，再調用真實的物理引擎對這30%進行精細驗證，最終從中選出最優方案。這樣一來，物理引擎的調用次數比全程使用引擎減少了70%，但規劃效果幾乎沒有損失。
四、在四個不同任務上的表現：哪裡亮眼，哪裡還差一口氣
研究團隊在LeWM基準測試的四個任務上對VPW進行了系統評估，每個任務各有特點，對世界模型的要求也各不相同。
推箱子任務（PushT）是最複雜的一個，要求機器人用圓形推桿把一個T形積木推到指定的位置和朝向。這個任務的難點在於接觸力學：推桿和積木的接觸點、接觸角度、接觸時機，都會影響積木的運動方式。VPW通過主動探測確認了這裡適用"接觸驅動PD控制加准靜態積木"的物理草圖，然後擬合出PD增益（KP約92、KV約26）和縮放參數等具體數值。僅靠歸納出來的程序做評分時，成功率達到22%；而此前所有代碼型基線方法的成功率幾乎為零。加上混合評分之後，成功率一躍升至88%到96%，接近使用真實物理引擎的96%天花板。
雙房間導航任務（Two-room）要求機器人在有牆壁和門道的二維環境中導航到目標位置。VPW歸納出的是線性導航規律，在歸納程序評分下就達到了96%的成功率，與使用真實物理引擎的100%已經非常接近。混合評分進一步提升到100%。
積木操作任務（Cube）要求機械臂抓取並移動一個三維空間中的方塊到目標位置。VPW歸納出"夾持觸髮型接觸"規律，也就是只有在夾爪夾住積木的時候，積木才會跟著移動，否則保持靜止。這個關鍵的"開關邏輯"讓VPW的成功率達到86%，而此前表現最好的代碼型基線WorldCoder只有74%。
機械臂到達任務（Reacher）要求控制一個雙關節機械臂讓指尖到達目標點。這個任務的關鍵在於運動學：機械臂的運動是在關節角度空間裡發生的，而不是在指尖的笛卡爾坐標空間裡。其他代碼型方法普遍犯了一個錯誤，它們把指尖當作一個可以自由移動的質點來建模，忽略了關節運動的約束，導致預測誤差極大（平均誤差0.86），規劃成功率只有6%到30%。VPW通過主動探測識別出這裡應該用"關節空間動力學加正向運動學"的草圖，擬合出關節角度更新矩陣和正向運動學參數，將預測誤差壓低到0.04，規劃成功率提升到72%。
把四個任務放在一起看，VPW的平均成功率達到69%，比此前最好的代碼型基線（POMDP-Coder，45.5%）高出23.5個百分點，比PatchWorld（43%）高出26個百分點。從圖表數據中可以明顯看出，在Reacher任務上VPW的開環預測誤差曲線一路低平，而其他所有方法的誤差曲線在前幾步之後就開始急劇攀升，有些甚至出現幾百像素級別的不穩定跳躍，這直觀地說明了為什麼"選對物理草圖"會如此關鍵。
五、感知誤差有多大影響：從像素到計劃的損耗
一個自然而然的問題是：如果機器人不是靠讀取模擬器的精確狀態，而是靠識別真實圖像來感知當前狀態，效果會打多少折扣？VPW的設計專門為回答這個問題留了接口，通過對比"圖像工具路徑+歸納評分"和"神諭路徑+歸納評分"兩種條件，可以直接量化感知誤差的代價。
從實驗數據來看，圖像工具路徑在PushT任務上的位置誤差僅為1.8像素，與神諭路徑的1.9像素幾乎持平，說明顏色分割加PCA方向估計這套電腦視覺管線對推箱子任務來說已經足夠精確。在Reacher任務上，指尖和目標點的定位誤差只有0.12個歸一化單位，但整個手臂的關節角度估計誤差較大（2.65個單位），因為從單張圖像中恢復關節角度本就是個困難問題。在雙房間導航任務中，圖像工具路徑恢復出的智能體位置誤差僅為0.19個歸一化單位，精度相當令人滿意。
相比之下，如果用大型語言視覺模型（VLM）來提取場景資訊，效果就差很多。VLM能正確識別出畫面中有哪些物體、它們的相對位置關係是什麼（比如"智能體在積木的左邊"），但它給出的數值坐標嚴重失准，在PushT任務上的坐標誤差高達236像素，是圖像工具路徑的130倍以上。這說明，語義理解和精確的空間定量描述是兩碼事，至少在當前的VLM能力水平下，前者不能替代後者。
這個發現對實際應用有直接意義：如果你想把VPW用在真實機器人上，搭配適當的電腦視覺處理模組（比如顏色分割、深度相機）是可行路徑，但直接接一個通用VLM當作感知層還不夠可靠。
六、還差什麼：接觸密集型任務的殘差缺口
儘管VPW在多個任務上表現亮眼，研究團隊在論文中也坦率地指出了它仍然不足的地方。核心問題集中在接觸密集型任務，也就是推箱子（PushT）。
在這類任務中，成敗往往取決於極短暫的接觸時刻：推桿在正確的角度、正確的速度接觸到積木，積木才會按預期方向滾動；稍有偏差，積木可能朝完全相反的方向運動。這種高度依賴接觸時刻的特性，使得即使是相當準確的物理草圖，在評分時也容易犯"差之毫厘，謬以千里"的錯誤——兩個在歸納程序看來分數接近的候選方案，在真實引擎中可能一個成功、一個完全失敗。
這是規劃效果對單步預測精度"不單調"的典型情況：提高預測精度並不總能線性地提升規劃成功率，因為在關鍵的接觸時刻，任何微小的預測誤差都會被後續的動力學放大。論文中有一個圖表清晰地呈現了這一點：VPW歸納的積木運動預測（累積位移約16.2像素，真實值約140像素）比所有基線方法好得多，但相對於真實物理過程仍有明顯差距。
混合評分機制正是為此而設計的解決方案。通過把評分分成兩步——先用歸納程序粗篩出有希望的候選方案，再調用真實引擎精篩前30%——VPW把PushT任務的成功率從22%推到了88%（圖像輸入條件）或96%（精確狀態輸入條件），用30%的引擎調用次數換來了接近全程使用引擎的效果。這種"以程序做海選、以引擎做複賽"的策略，在計算效率和規劃質量之間找到了一個務實的平衡點。
七、與其他方法的橫向比較：各自擅長什麼，各自缺少什麼
論文在比較部分對當前主流方法做了相當全面的梳理，研究團隊將其分為神經網路參考組和可執行代碼比較組兩個大類。
神經網路參考組包括LeWM、DINO-WM、PLDM等方法，它們在四個任務上的平均成功率在79.5%到85.8%之間，整體高於VPW的69%。但這個比較並不是蘋果對蘋果的公平比較——神經網路方法使用了原始圖像作為全程輸入（包括訓練和評分），而VPW的主要比較基線是可執行代碼組，兩者的數據來源和使用方式不同。神經網路方法在已有大量標註數據的情況下表現優秀，但它們的動力學知識藏在參數裡無法檢視和修改，這是根本性的架構差異。
可執行代碼比較組才是VPW真正的競爭對手。這個組包括六種不同的方法：PatchWorld通過反例引導搜索來合成Python代碼；WorldCoder通過與環境交互來學習單體Python模型；POMDP-Coder用大語言模型歸納概率程序；PoE-World把多個專家程序加權組合；GIF-MCTS用蒙特卡洛樹搜索在代碼編輯空間中搜索；CWM-Game合成帶有樹搜索的代碼世界模型。這些方法在四個任務上的平均成功率分別為43%、35%、45.5%、27%、23%和25%。
VPW在所有這些方法上都形成了優勢，而且這些方法使用的是完全相同的訓練數據（模擬器狀態軌跡）、相同的規劃設置（相同的起點終點、相同的CEM預算），唯一的區別是歸納出來的程序質量不同。這就使得實驗結論相當乾淨：VPW的優勢不來自於數據優勢或計算預算優勢，而是來自於兩級歸納流程對物理結構的更準確還原。
最能說明問題的是Reacher任務上的失敗案例分析。PatchWorld和WorldCoder把機械臂的運動建模為"指尖在二維平面上自由移動"，完全沒有考慮關節運動約束，導致指尖的預測軌跡在幾步之後就完全偏離真實軌跡。VPW通過主動探測識別出關節空間動力學的本質，用關節角度更新矩陣加正向運動學的方式建模，預測誤差低了一個數量級，規劃成功率也從個位數跳升到72%。這個對比案例非常直觀地說明了"選對物理結構"比"代碼寫得多精巧"重要得多。
八、VPW的局限與未來方向
研究團隊在論文結尾部分沒有迴避這套方法的局限性。
第一個局限是當前的假設庫是人工預先設計的，每個環境需要人類專家提前指定幾種可能的物理動力學類型（比如"接觸驅動還是動作驅動"）。這個假設庫的設計需要對目標領域有一定的先驗知識，自動化程度還不夠高。擴大假設庫、讓VPW能處理更廣泛的物理現象，是未來工作的重要方向。
第二個局限是整個系統的動力學學習依賴於模擬器狀態數據（精確的位置、速度等），而不是直接從原始圖像端到端學習。當前的圖像視覺工具路徑是一個針對特定環境設計的專用感知模組，而不是通用的視覺感知系統。論文提出，未來工作的一個重要目標是實現從視覺場景圖軌跡直接進行端到端的程序歸納，進一步降低對專用感知模組的依賴。
第三個局限是評估僅在模擬環境中進行，尚未在真實機器人上部署測試。從模擬到現實的遷移通常會帶來新的挑戰，比如傳感器噪聲、執行器延遲、物理參數偏差等，這些都需要後續工作來解決。
歸根結底，這項工作最大的貢獻不僅僅是在四個基準任務上提升了幾十個百分點的成功率，更在於提出了一條有理論依據的路線圖：通過把"選什麼物理結構"和"確定具體參數"分成兩個清晰的步驟，可以自動地從交互軌跡中生成既可讀又可用的代碼世界模型。這種方法的可解釋性意味著，當機器人做了一個錯誤決策時，研究人員可以直接審查是哪一段代碼出了問題，然後有針對性地修正，而不是面對一個黑盒子束手無策。
說到底，VPW想做的事情很樸素：讓機器人像人一樣，在動手之前先在腦子裡把事情想清楚，而且這個"想清楚"的過程是用人能讀懂的語言寫出來的，而不是埋在幾億個浮點數里。這個目標聽起來理所當然，實現起來卻並不簡單——而VPW為此邁出了相當紮實的一步。感興趣的讀者可以通過arXiv編號2607.25236查閱完整論文，或者訪問論文中公開的代碼倉庫進行復現實驗。
Q&A
Q1：VisualPatchWorld與普通神經網路世界模型相比，最核心的區別是什麼？
A：VisualPatchWorld把世界動力學表示為可執行的Python程序，而不是藏在神經網路參數裡的數字向量。這意味著當機器人預測出錯時，可以直接檢查哪段代碼有問題並加以修改；而神經網路方法出錯時，只能重新收集數據重新訓練，無法直接定位和修復具體的邏輯錯誤。
Q2：VPW的主動探測是怎麼工作的，為什麼不直接學習參數？
A：主動探測是VPW先向模擬器發出幾個精心設計的短小實驗動作，觀察結果後判斷當前環境屬於哪種物理類型（比如有沒有慣性、接觸是否觸發運動等）。直接學參數的問題在於，如果一開始就選錯了物理結構（比如把有關節約束的機械臂當成自由質點來建模），再怎麼優化參數效果也很差。先確定對的結構類型，再擬合具體數值，這兩步分開做比直接混在一起學要可靠得多。
Q3：混合評分機制的70%節省是怎麼計算出來的？
A：在標準的全引擎CEM規劃中，每一輪疊代需要對全部N個候選方案都調用一次真實物理引擎，共需N次引擎調用。混合評分先用歸納程序對全部N個方案評分（不調用引擎），再只對評分前30%的方案調用引擎覆核，也就是只需0.3N次引擎調用。相比全程使用引擎的N次調用，節省了70%的引擎調用次數，但規劃成功率幾乎不受影響。
