這項由新加坡國立大學高級機器人中心、香港大學多媒體實驗室、南洋理工大學以及新加坡製造技術研究院聯合開展的研究，以預印本形式發布於2026年8月，論文編號為arXiv:2608.01397，有興趣深入了解的讀者可以通過該編號在arXiv平台查閱完整論文。
**一、機器人為什麼總是"手忙腳亂"**
教機器人做事，遠比看起來難得多。拿一個最簡單的任務舉例——把桌上的碗放進碟子裡。對普通人來說，這不過是伸手、拿起、放下，整個過程不超過兩秒。但對機器人而言，它需要搞清楚碗在哪裡、距離多遠、用多大的力氣抓、放下去的角度如何控制，稍有偏差就可能把碗碰翻。
目前讓機器人學會做事的主流方法，叫做"模仿學習"——給機器人看大量人類操作的影片或示範，讓它從中提煉規律，形成自己的"行動策略"。這就好比一個廚藝學徒反覆觀看師傅炒菜，然後自己上手練習。然而問題在於，這種方法只是讓機器人學會了"看到這個情況就做這個動作"，卻沒有讓它真正理解動作背後的邏輯——我這一刀切下去，食材會變成什麼形狀？鍋里的油溫度再高一點，菜會不會焦？換句話說，機器人缺乏對自己行為後果的預判能力。
正是為了解決這個問題，研究人員提出了一類叫做"世界行動模型"（World Action Models，簡稱WAMs）的新方法。這類方法的核心思路是：讓機器人在學習"怎麼動"的同時，也學習"動了之後世界會變成什麼樣"。就像一位老練的棋手，走每一步棋之前腦子裡已經預演了對方可能的應對，而不只是機械地套用固定招式。
然而，現有的WAMs方法在實踐中遇到了一個棘手的矛盾，而這篇論文提出的SG-WAM框架，正是為了從根本上化解這一矛盾。
**二、"預見未來"有兩種方式，但兩種都有缺陷**
現有的世界行動模型大致分為兩條路線，可以用"放電影"和"記筆記"這兩種方式來類比。
"放電影"路線，學名叫"觀測空間預測"，意思是直接預測未來的圖像或影片畫面。機器人在決定如何行動之前，先在腦中"播放"一段假想的未來影片——如果我把手伸向左邊，未來的畫面將會是這樣；如果我向右，畫面將會是那樣。這種方式非常直觀，但代價極高。因為圖像里包含了大量與任務無關的資訊：背景顏色、光線變化、桌布紋理……機器人要花費大量精力去學習這些與"把碗放好"根本沒關係的視覺細節，就像一個廚師在記憶食譜的同時還要記住廚房牆壁的顏色，白白浪費腦力。
"記筆記"路線，學名叫"潛在空間預測"，是一種更聰明的壓縮策略。機器人不再預測完整的圖像，而是把場景壓縮成一組抽象的數字向量——這些向量就像是場景的"精華提煉"，去掉了無關的外觀細節，只保留關鍵資訊。然而，問題就出在"關鍵資訊"的定義上。這些用來預測未來的抽象向量，往往是由一套獨立的"未來編碼器"生成的，而機器人真正用來決策行動的表示，是由另一套系統生成的。兩套系統各自為政，就像一個人用左手記筆記、右手執行動作，兩隻手的語言體系不一樣，配合起來自然容易出問題。這就是所謂的"目標-策略不匹配"：預測未來用的資訊，和生成動作用的資訊，並不是同一種語言。
更深層的問題還在於：無論是哪條路線，現有方法大多對空間幾何資訊的處理不夠重視。機器人操作任務的成敗，往往取決於空間細節——碗離碟子的距離差了幾毫米，抓取角度偏了幾度，就可能全盤皆輸。但現有的潛在空間表示往往是高度壓縮的，精細的空間幾何資訊在壓縮過程中流失了。
於是，一個核心問題擺在研究團隊面前：如何構造一個既與動作生成緊密耦合、又富含空間幾何資訊的未來預測空間？SG-WAM的答案，是讓機器人用"自己的語言"來預見未來，同時用幾何知識來磨礪這門語言的精準度。
**三、SG-WAM的核心設計：一個會"自我預言"的機器人大腦**
SG-WAM這個名字，"SG"代表"Self-Guided"，即"自我引導"，"WAM"代表"World Action Model"，即"世界行動模型"。整個系統的運轉邏輯，可以用"學徒培訓"這個場景來貫穿理解。
把SG-WAM的機器人大腦想像成一家訓練有素的廚藝學校。這所學校有一位"主廚"（VLM主幹網路，基於Qwen3.5-0.8B語言視覺模型），負責綜合感知——看清楚眼前的食材（視覺觀測），聽懂任務要求（語言指令），並形成對當前局面的整體判斷。與此同時，學校里還有一批"實習生"，這就是SG-WAM引入的"可學習動態令牌"（Learnable Dynamics Tokens）。
這批實習生的特殊之處在於，他們沒有固定的"崗位分工"，而是跟著主廚一起感知整個廚房的狀態，專門負責記錄和歸納"這道菜下一步會發生什麼變化"。他們不是預先設計好要關注什麼，而是在訓練過程中自己摸索出最關鍵的資訊該往哪裡看。在具體實現上，這8個動態令牌被拼接在視覺和語言輸入之後，與所有資訊一起流經整個神經網路，最終形成對當前場景動態狀態的緊湊表示。
**預測未來的方式：向"未來的自己"學習**
SG-WAM最獨特的創新，在於它預測未來的靶子從哪裡來。傳統方法會找一個外部老師——比如一個專門處理未來圖像的獨立編碼器——來告訴機器人"未來應該是什麼樣子"。而SG-WAM做的事情，是讓機器人向"未來的自己"學習。
具體操作是這樣的：訓練時，除了當前時刻的觀測之外，還會給系統提供幾步動作之後的未來觀測畫面。然後，用當前網路的一個"慢更新副本"（指數移動平均拷貝，或稱EMA版本）來處理這個未來畫面，得到未來動態令牌的狀態——這就是預測的目標。所謂"慢更新副本"，就像主網路的一個"穩重版本"：主網路每次訓練都在快速調整，而這個副本的更新節奏要慢得多，每一步只吸收一點點主網路的變化（EMA動量係數設為0.999），始終保持相對穩定。這種設計借鑑了自監督學習領域著名的BYOL方法，用來防止預測目標不穩定導致訓練崩潰。
在這套機制下，機器人用當前時刻的動態令牌狀態，加上"即將執行的8步動作序列"，通過一個叫做"自引導世界預測器"（SGWP）的模組，預測出未來時刻的動態令牌狀態。預測的目標——未來動態令牌的樣子——則由同一套網路結構的慢更新副本來產生。簡而言之，預測者和被預測目標說的是同一種語言，用的是同一套符號體系，只是一個看當下、一個看未來。這就從根本上消除了"目標-策略不匹配"的問題。
**動作怎麼被輸入進去**
預測時，即將執行的8步動作序列（每步動作是7維向量，涵蓋機械臂各關節的運動）需要被編碼成網路能理解的形式。研究團隊用一個基於MLP的動作編碼器將每步動作變成一個"動作令牌"，並給每個令牌加上時序位置編碼，以保留動作發生的先後順序——畢竟"先抓後放"和"先放後抓"是完全不同的故事。
自引導世界預測器內部由兩種注意力機制組成。首先，當前動態令牌之間互相"交流"（自注意力），讓每個令牌了解其他令牌在關注什麼。然後，這些令牌以"提問者"的身份，去"詢問"動作令牌序列（交叉注意力），從中選出與自己預測任務最相關的動作步驟來重點參考。經過這兩步，預測器輸出的就是對未來動態令牌狀態的預測，訓練時用均方誤差損失函數來衡量預測與目標之間的差距，並以此來優化網路。
**四、空間幾何感知：給機器人大腦裝上"立體視覺"**
預見未來只是解了一半的題。另一半問題是：即便機器人能用"自己的語言"預測未來，這門語言是否足夠精準，能夠區分"碗差3毫米夠不到碟子"和"碗正好放進碟子"這樣細微的空間差異？
這就是SG-WAM幾何監督模組發揮作用的地方。研究團隊引入了一個預訓練的三維幾何基礎模型——VGGT（Visual Geometry Grounded Transformer，視覺幾何基礎Transformer），作為"空間感知老師"。這個老師專門擅長從單張或多張圖片中提取精細的三維空間結構資訊，包括物體的深度、形狀和相對位置關係，是在大量三維視覺數據上訓練出來的專家系統。
幾何監督的運作方式是"言傳身教，不親自上陣"。VGGT老師在訓練時處理當前主視角的觀測圖像，提取出一套包含精細空間結構的幾何特徵（原始圖像被縮放到518×518像素，經過VGGT處理後得到1369個圖像塊的特徵，再通過自適應平均池化壓縮到8×8個特徵點，最終形成幾何目標向量）。與此同時，SG-WAM主網路處理同一張圖像，得到對應的圖像令牌狀態。然後，用一個輕量級的"幾何投影器"把主網路的圖像令牌映射到與VGGT特徵相同的維度，再計算兩者之間的餘弦相似度損失——也就是讓主網路的圖像令牌在方向上儘量與VGGT的幾何特徵對齊。
這裡用餘弦相似度而非直接的數值差距，是有意為之的。餘弦相似度只關心方向對不對，不管數值大小。這樣做的好處是：主網路的圖像令牌可以保持自身的數值尺度和分布，不會被過度約束，只是在"朝哪個方向理解空間"這件事上向幾何專家看齊。這就像要求學徒"理解空間關係的思路要和師傅一致"，而不是"把師傅的筆記一字不差地背下來"。
重要的是，VGGT在整個訓練過程中是完全凍結的，不參與梯度更新，也不在推理時出現。它只是訓練時的一位特邀輔導老師，用來塑造主網路看圖像的方式，讓主網路的圖像令牌里自然蘊含更豐富的三維空間資訊。而這些被幾何知識塑造過的圖像令牌，會通過Transformer的注意力機制將空間資訊傳遞給動態令牌，使得動態令牌的狀態既服務於未來預測，又具備了空間幾何感知能力。
**五、整個系統是如何工作的：從觀測到動作的完整流程**
把上述所有組件串聯起來，SG-WAM的完整工作流程如下。當前時刻，機器人的主視角攝影機（Kinect Azure）拍攝場景全景圖，腕部攝影機（RealSense D405）拍攝近端操作圖，再加上任務語言指令（比如"把碗放進碟子"），三類輸入經過各自的編碼器變成令牌序列。與此同時，8個可學習的動態令牌也加入這個序列，一起流經VLM主幹網路（Qwen3.5-0.8B）的所有層，得到包含視覺令牌狀態、語言令牌狀態和動態令牌狀態在內的完整上下文表示。
這套上下文表示隨後服務於兩個並行的任務。其一，送入"流匹配動作專家"（Conditional Flow-Matching Action Expert），生成接下來8步的動作序列。流匹配是一種近年興起的生成建模技術，可以理解為：給定噪聲和條件資訊，學習一個"速度場"，使隨機噪聲沿著這個場的方向流動，最終變成合理的動作序列。其二（僅在訓練時），動態令牌狀態被送入SGWP，結合即將執行的動作序列，預測未來時刻動態令牌的狀態，並與EMA副本產生的目標進行對比學習。
訓練時的總損失函數由三項加權求和：動作模仿損失（權重為1）、未來狀態預測損失（權重為0.1）以及幾何對齊損失（權重為0.1）。三項損失共同優化同一套主網路參數，使得網路在學會模仿動作的同時，也把空間幾何理解和未來狀態預測的能力融入到它看世界的方式里。
到了實際使用（推理）階段，VGGT老師、SGWP預測模組和EMA副本全部從系統中移除，只剩下在線VLM主網路、動態令牌和動作專家。輸入當前觀測和語言指令，直接輸出動作序列。整個推理系統非常緊湊，沒有任何額外的計算負擔。
**六、實驗結果：從仿真到真實世界的全面檢驗**
研究團隊在兩個仿真基準測試平台和一套真實機器人實驗平台上對SG-WAM進行了全面評測。
**仿真測試：LIBERO基準**
LIBERO是機器人操作領域廣泛使用的標準評測平台，包含四個子任務套件，分別考察空間推理能力（LIBERO-Spatial）、面向特定物體的操作能力（LIBERO-Object）、目標導向的行為能力（LIBERO-Goal），以及長時序任務執行能力（LIBERO-Long）。
SG-WAM在四個套件上的平均成功率達到98.5%，與當前最強基線方法持平。這一成績尤為值得關注的背景是：SG-WAM使用的是僅有0.9B參數規模的基礎模型，且完全沒有經過額外的機器人具身預訓練數據加持。對比來看，大多數高性能基線方法要麼使用7B參數規模的大模型（如OpenVLA-OFT、WorldVLA、Spatial Forcing等），要麼經過了大規模的機器人專用預訓練（如π0、π0.5、GR00T N1.6等）。SG-WAM以更小的模型、更少的專用數據，取得了旗鼓相當乃至更優的結果，充分體現了其訓練方法的高效性。
具體到各個子套件，SG-WAM在LIBERO-Spatial和LIBERO-Object上均達到99.4%和99.8%的成功率，與最優基線並駕齊驅甚至略有超越；在LIBERO-Goal和LIBERO-Long上分別達到98.6%和96.2%。其中LIBERO-Long歷來是最具挑戰性的子套件，因為任務需要機器人連續完成多個步驟，任何一步失誤都會導致整體失敗——SG-WAM在這一套件上優於大多數同等規模基線，表明其時序建模能力確有提升。
**零樣本遷移測試：LIBERO-Plus基準**
更能檢驗泛化能力的，是LIBERO-Plus基準。這個測試平台的特點是：訓練時只在標準LIBERO數據上學習，測試時則引入訓練中從未見過的各種擾動，包括攝像機視角改變、機器人初始狀態變化、語言指令措辭改變、光照條件變化、背景紋理變化、觀測噪聲增加，以及場景物體布局改變，共七種擾動維度。測試時完全不做任何微調或適應，是真正意義上的零樣本遷移。
SG-WAM在LIBERO-Plus的總體成功率達到73.0%，超越所有對比基線，成為當前最佳。對比來看，在標準LIBERO上表現出色的Spatial Forcing和Fast-WAM，在LIBERO-Plus下成績分別跌至29.1%和50.0%，說明其學到的表示較為依賴訓練域的視覺外觀。VLA-JEPA（2B模型）達到62.9%，OpenVLA-OFT（7B模型）達到69.6%，均低於SG-WAM的73.0%。
在各擾動維度的細分結果中，SG-WAM在攝像機視角（58.6%，最佳）、語言指令（81.4%，最佳）、光照條件（89.8%，最佳）和物體布局（74.2%，並列最佳）四個維度上均排名第一；在背景紋理（80.7%）和觀測噪聲（74.2%）維度上也保持競爭力；僅在機器人初始狀態維度（48.9%）略低於VLA-JEPA（55.7%）。這一全面的分布外魯棒性，表明SG-WAM學到的策略表示對淺層視覺變化和語言表達變化都具有較強的不變性。
**真實世界測試：三類物理操作任務**
研究團隊使用UR5e機械臂構建了真實世界實驗平台，設計了三個難度層次各異的操作任務。
第一個任務是帶障礙物的取放操作：機器人需要從打開的抽屜里取出藍色方塊，越過一個阻隔物，放入碗中。這主要考察三維空間推理和避障軌跡規劃能力。第二個任務是毛巾摺疊：機器人需要將平鋪的毛巾連續摺疊兩次，形成緊湊的疊放形狀。每次摺疊後布料的形態都會變化，下一次抓取點也隨之改變，這主要考察對可變形物體狀態的動態感知和幾何感知能力。第三個任務是工具箱整理：機器人需要依次把一把螺絲刀和兩個齒輪放入工具箱，最後關上蓋子，共分為五個子步驟，主要考察長時序規劃和多物體操作能力。每個任務收集了100條專家示範數據，並在標準設置和三種分布外擾動設置（背景變化、光照變化、新物體）下分別測試。
在分布內設置下，SG-WAM在三個任務上的成功率分別為75%（取放）、45%（摺疊）和50%（工具箱），全面超越對比基線VPP（30%/35%/30%）和VLA-JEPA（35%/20%/20%）。在分布外擾動下，SG-WAM同樣保持領先：以取放任務為例，背景變化時成功率55%（VPP為15%，VLA-JEPA為20%），光照變化時成功率60%（VPP為10%，VLA-JEPA為25%），新物體時成功率40%（VPP為10%，VLA-JEPA為20%）。
在工具箱整理任務的子步驟分解數據中，可以看到更細膩的規律：三個方法的成功率都隨任務進展而下降（因為前面步驟的失誤會影響後續步驟），但SG-WAM在後期步驟（如拾取第二個齒輪、關閉蓋子）上的優勢比早期步驟更明顯，50%比VPP的40%和VLA-JEPA的20%。這一現象暗示，SG-WAM的動作條件化潛在預測機制確實幫助系統在長時間執行過程中維持了更連貫的任務狀態表示。
**七、消融實驗：拆開來看，哪個部件最重要**
為了弄清楚SG-WAM各個設計要素的具體貢獻，研究團隊在LIBERO基準上進行了系統的消融實驗。
當把幾何監督和自引導世界建模兩個模組都去掉時，只剩下基本的視覺語言動作網路，平均成功率為95.3%。單獨加入幾何監督後，成功率提升到96.6%，提升了1.3個百分點。單獨加入自引導世界建模後，成功率提升到97.6%，提升了2.3個百分點。兩者同時加入時，達到最優的98.5%，提升了3.2個百分點。這說明兩個模組提供了互補的收益，簡單相加的效果略低於真正同時引入。
世界建模模組對LIBERO-Long子套件的提升最為顯著：沒有世界建模時，該套件成功率為92.2%；加入世界建模後，提升到96.2%，提升了足足4個百分點。這與直覺相符——長時序任務最需要對動作後果的預判能力。幾何監督模組雖然對LIBERO-Long的提升（從91.0%到92.2%）看起來數字較小，但它為世界建模提供了更有結構性的視覺上下文，兩者的協同效應在完整模型中充分體現。
在動態令牌數量的消融實驗中，從1個令牌到8個令牌，性能從96.1%穩步提升到98.5%，其中LIBERO-Long從90.2%提升到96.2%，改善幅度最大。然而，將令牌數量進一步增加到16個時，性能反而下降到97.2%，LIBERO-Long更下滑到92.4%。這一非單調的趨勢說明，動態令牌承載的資訊量有一個"最優區間"——8個令牌已經足以編碼多樣的交互動態，更多的令牌不會帶來額外益處，甚至可能引入干擾。
研究團隊還測試了"空動作"（null action）消融變體：將即將執行的動作序列替換為全零向量，其他架構完全保持不變。結果顯示，空動作版本的平均成功率為97.6%，低於完整版的98.5%。四個子套件均有不同程度的下降，其中LIBERO-Long下降幅度最大（1.6個百分點）。這證明了動作序列本身確實攜帶了有用的資訊，幫助系統更準確地預測動作對應的未來狀態變化——當然，當前策略狀態本身已經包含了大量預測資訊，所以空動作版本仍然相當有競爭力。
**注意力圖可視化：幾何監督讓機器人"看對了地方"**
研究團隊還可視化了動態令牌對主視角圖像令牌的注意力權重，直觀對比了有無幾何監督時機器人"在看哪裡"。
有幾何監督時，8個動態令牌普遍將注意力集中在與機器人-物體交互最直接相關的區域：機械臂末端執行器的位置、被操作物體（碗）的輪廓、目標放置位置（碟子）以及兩者之間的空間關係。沒有幾何監督時，部分令牌的注意力會被視覺上顯眼但與任務無關的區域所吸引——比如桌上顏色鮮艷的包裝盒——而對機器人-物體的交互區域關注相對不足。這一視覺證據表明，幾何監督確實將主網路的視覺表示重新組織為更以操作任務為中心的空間結構，為動作條件化的動態令牌預測提供了更有指導價值的視覺上下文。
**八、系統實現的完整技術細節**
為了讓感興趣的讀者有更清晰的認識，這裡補充一些關鍵的實現參數。SG-WAM的VLM主幹網路為Qwen3.5-0.8B，是一個視覺語言雙模態模型。訓練時使用全部四個LIBERO標準套件的聯合數據，訓練40000步，全局批大小為96。學習率採用餘弦衰減調度，有5000步線性熱身；VLM主幹的峰值學習率為1e-5，僅在訓練時使用的輔助模組（幾何投影器、SGWP等）為2.5e-5，動作頭為1e-4。VGGT老師使用的是VGGT-1B規模的預訓練模型，推理時完全去除。EMA動量係數固定為0.999。幾何損失和預測損失的權重均為0.1。真實世界實驗的訓練設置與仿真實驗基本一致，所有三個真實任務聯合訓練40個epoch，批大小96，不對任何單獨任務進行特殊微調，同一個最終檢查點用於分布內和分布外評測。
說到底，SG-WAM做到的事情可以用一句話來概括：它讓機器人用"自己的眼光"來理解未來，而不是借用別人的眼睛；同時，它還讓機器人的眼光變得更有深度——字面意義上的"深度"，因為幾何監督讓它看圖像的方式天然包含了三維空間感知。這兩件事結合起來，讓一個只有0.9B參數、沒有大規模機器人專用預訓練的輕量模型，在多項基準測試上與甚至超過了使用7B參數、經過大量專用預訓練的競爭對手。
當然，每一項研究都有其局限性。SG-WAM目前仍在桌面操作場景下驗證，距離自由移動的服務機器人或複雜工業環境還有相當的距離。研究團隊也明確指出，未來的工作方向包括將這一自引導世界建模框架擴展到更大規模的策略主幹和更廣泛的跨具身形態數據集，探索不同機器人平台之間的遷移能力。
這條路還很長，但SG-WAM邁出的這一步，方向是清晰的：不為了預測而預測，而是讓預測成為行動的有機組成部分——用同一套語言，同時說清楚"現在怎樣"和"動完之後怎樣"，再決定"該怎麼動"。
Q&A
Q1：SG-WAM與其他機器人操作模型相比，最大的不同是什麼？
A：SG-WAM最大的不同在於它讓機器人用"自己的表示"來預測未來，而不是依賴外部獨立的未來編碼器。預測目標由同一套網路結構的慢更新副本（EMA副本）產生，這樣預測系統和動作生成系統說的是同一種語言，避免了傳統方法中預測目標和行動決策之間資訊不對齊的問題。同時，SG-WAM還引入VGGT幾何老師來強化空間感知，但只在訓練時使用，推理時完全去除，不增加額外計算負擔。
Q2：SG-WAM的幾何監督是怎麼工作的？
A：訓練時，SG-WAM用一個預訓練的三維視覺模型VGGT處理當前觀測圖像，提取精細的空間幾何特徵作為"目標"。主網路的圖像令牌通過一個輕量投影器映射後，與這些幾何目標計算餘弦相似度損失，讓主網路學會用更具三維空間結構感的方式來理解圖像。VGGT本身全程凍結，不參與訓練，推理時也被完全移除，只是充當訓練時的"空間感知老師"。
Q3：SG-WAM用的模型參數量只有0.9B，為什麼能超過7B的模型？
A：SG-WAM的核心優勢不在於模型規模，而在於訓練方式。通過自引導世界建模，網路在學習模仿動作的同時，還被迫學會預測動作的後果，這使得學到的表示更加豐富和結構化。幾何監督進一步讓視覺表示具備空間感知能力。兩種額外的訓練信號共同作用，讓較小的模型學到了更有泛化價值的策略表示，在分布外測試中尤其明顯——對視覺外觀變化更不敏感，對任務的核心空間關係理解更深。
