這項由阿里巴巴集團AMAP CV Lab完成的研究發表於2026年7月，以arXiv預印本形式公開，編號為arXiv:2607.00678，相關代碼已開源於GitHub平台。
機器人能幫人類做家務，這個夢想距離現實究竟還有多遠？搬運物品、整理餐具、去冰箱裡取東西——這些對人類來說輕而易舉的動作，對機器人而言卻是難以逾越的挑戰。原因不僅在於機械臂的精度，更在於機器人需要同時"走路"和"幹活"，這兩件事結合在一起，就像要求一個人一邊在擁擠的超市里穿行，一邊精準地把雞蛋放進購物籃，全程不能打碎任何東西。
阿里巴巴的研究團隊專門針對這個難題，提出了一個名為ABot-M0.5的全新系統。這個系統的核心思路是：讓機器人不僅僅"看到當下"，還能"預見未來"，然後基於自己預見到的未來來決定下一步怎麼動。這種能主動預見世界變化、再據此行動的系統，研究團隊稱之為"世界行動模型"（WAM，World Action Model）。
一、機器人為什麼又笨又短視——現有技術的三道牆
要理解這項研究的價值，先得弄清楚機器人現在到底卡在哪裡。
當前最流行的機器人控制方法叫做"視覺-語言-行動模型"（VLA），可以把它理解為一種"當下反應型"大腦：機器人看一眼當前畫面，大腦立刻輸出下一步動作，就像一個只看當前路況、完全不思考未來的司機。這種方式在簡單、短暫的任務上還算能用，但碰到需要走很長一段路再精準操作的任務，問題就來了——它根本不知道自己的行為會如何改變周圍的世界，於是頻繁出錯。
於是研究者們發明了"世界模型"（World Model），讓機器人先想像未來的場景，再據此行動，類似於一個會提前在腦海里"彩排"劇情的演員。但已有的世界模型系統在面對"移動+操作"這種組合任務時，暴露出三個結構性缺陷，研究團隊將其稱為三道"錯位之牆"。
第一道牆是時間粒度錯位。現有世界模型預測未來時，往往一次預測好幾幀畫面打包成一個"影片塊"，就像用慢放鏡頭看一場精密手術——你能看到大致輪廓，但捕捉不到手指在哪一瞬間輕輕按住血管、在哪一刻完成縫合。而機器人真正需要的動作信號卻必須精確到每一幀，一旦預測粒度太粗，抓握時機的微妙變化、接觸瞬間的力道調整，就全被抹平了。
第二道牆是行動結構錯位。走路和操作物體是兩種截然不同的"語言"：走路低頻、平穩、方向宏觀；手臂操作高頻、局部、對接觸極度敏感。把這兩種完全不同的行為塞進同一個神經網路里一起學習，就像要求一個人同時用左手寫楷書、右手打鼓，兩手互相干擾，最終兩件事都做不好。
第三道牆是訓練與實戰的錯位。訓練機器人時，研究者會把"正確答案"——也就是真實的未來影片畫面——直接餵給模型，讓它根據完美的未來圖像學習如何行動。但到了真正運行時，根本沒有"標準答案"可以參考，機器人只能依靠自己對未來的預測——而這個預測往往包含噪點、模糊、甚至完全錯誤的細節。於是一個在"考場"里練習過標準答題的模型，到了"實戰"中卻面對的全是破損的試卷，自然頻繁出錯。
這三道牆共同構成了移動操作任務中機器人屢屢失敗的深層原因，而ABot-M0.5的全部設計，都是為了把這三道牆逐一拆除。
二、拆牆第一招：在影片和動作之間搭一座"翻譯橋"
為了解決時間粒度錯位的問題，研究團隊在影片預測和動作輸出之間，加入了一個全新的中間層，叫做"幀級潛在行動"（frame-level latent action），可以把它理解成一種特殊的"動作草稿"。
具體來說，整個資訊流動過程分成三步：第一步，模型先預測未來幾幀的整體視覺變化，也就是"未來的世界長什麼樣"；第二步，模型從這段預測影片中，提取出每兩幀之間發生了什麼細微的視覺變化，把這個變化編碼成一個緊湊的"動作草稿"向量；第三步，再把這個動作草稿翻譯成機器人真正能執行的關節角度、速度等具體指令。
這種設計的精妙之處在於，動作草稿完全依賴於視覺變化，與機器人的具體結構無關。一台雙臂機器人和一台單臂機器人在執行"拿起杯子"這個動作時，視覺上的變化是相似的——杯子從桌面移動到了手邊——所以它們的動作草稿也會相似，只是最後翻譯成具體指令時才分叉。這意味著在大量沒有動作標註的影片數據上預訓練的動作草稿知識，可以遷移到各種不同的機器人平台上，大大降低了數據需求。
為了讓這套動作草稿體系更加可靠，團隊還專門訓練了一個叫做ALAM的編碼器，讓它學習從影片幀對中提取動作草稿。訓練這個編碼器時加入了兩個數學約束：第一個是"可加性"——從A到C的動作草稿，應該等於從A到B再從B到C的動作草稿之和，就像位移的向量加法；第二個是"可逆性"——從A到B的動作草稿取反，應該等於從B到A的動作草稿，就像往前走一步和往後退一步正好抵消。這兩個約束讓動作草稿空間具有了良好的數學結構，使得相似的物理操作在這個空間裡聚在一起，不同的操作則彼此分離。
三、拆牆第二招：給走路和操作分別配一個專屬大腦
第二道牆的解法，是研究團隊精心設計的"雙層混合變換器架構"（Dual-level Mixture-of-Transformers，D-MoT）。
所謂"混合變換器"，就是在一個大的神經網路里，針對不同類型的任務分配專屬的子模組，而這些子模組又共享一個公共的注意力計算層，可以互相交換資訊。研究團隊在兩個層次上都用了這個思路。
第一個層次，是讓影片預測、動作草稿預測、具體動作預測這三種本質不同的任務，各自擁有獨立的"輸入投影層"、"時間步嵌入"和"輸出頭"，但共享同一個自注意力計算骨幹。這就像三位廚師在同一個大廚房裡工作——他們共用灶台和刀具，但每人負責自己的菜系，有各自專用的調料櫃，不會亂用彼此的食材。
第二個層次，則是在具體動作這個子任務內部，進一步把"移動底盤"的行動和"操控手臂"的行動分離成兩個專屬子塔。每個子塔有自己獨立的前饋神經網路和輸出頭，但兩者仍然共享注意力計算層，讓底盤和手臂的動作資訊能夠互相知曉、相互配合。
為什麼這種分離如此重要？因為底盤移動的信號往往是低頻的、平滑的大動作，而手臂操作的信號是高頻的、精細的微調動作。如果把它們混在一起訓練，高頻的操作梯度信號會把低頻的移動梯度信號淹沒，導致機器人要麼走路時磕磕絆絆，要麼操作時粗手粗腳。分開之後，各司其職，收斂速度更快，最終精度也更高。實驗結果顯示，加入行動解耦的混合變換器之後，影片預測和動作預測的訓練損失都以更快的速度下降，在長距離移動操作任務子集上的成功率從0.34提升到了0.48。
四、拆牆第三招：用"彩排失誤版"來訓練，才能應對真實世界
第三道牆是最隱蔽、也最難解的：訓練時用的是完美的未來畫面，部署時面對的是充滿噪聲的預測畫面，這道鴻溝會讓機器人在真實運行時頻繁失手。
研究團隊對比了現有的兩種主流做法，發現它們都有各自的缺陷。"教師強制"方法直接用真實未來幀訓練，訓練與測試的差距最大；"擴散強制"方法讓影片和動作在不同噪聲程度下一起訓練，雖然稍微彌合了一些差距，但訓練時的噪聲組合方式與測試時的實際推理路徑仍然對不上，反而增加了學習複雜度。
研究團隊提出的解法叫做"夢境強制"（Dream Forcing）：在訓練過程中，先讓模型自己生成一段"夢境影片"——也就是模型對未來的預測結果，哪怕這段預測里有些物體位置偏了、畫面有點模糊、甚至出現了不該出現的東西——然後拿著這段充滿瑕疵的"夢境影片"來訓練動作預測部分，讓模型學會在面對這種不完美預測時，仍然能推斷出正確的行動。
這在直覺上很像給學生"模擬真實考場"的練習方式：考前練習不僅僅在理想環境下做題，還故意在有噪聲、有干擾、有錯誤資訊的情況下反覆訓練，讓學生對各種不完美情境都能從容應對。最終上了真正的考場，哪怕題目旁邊有一個油漬、燈光有點昏暗，也不會慌亂。
實現這個訓練策略時，團隊採用了兩階段前向傳播的方法：第一階段，用正常的教師強制方式生成"夢境潛在變量"，也就是模型對未來影片幀和動作草稿的預測結果；第二階段，把這些帶著預測誤差的"夢境變量"替換掉之前訓練時用的真實未來變量，作為條件信號輸入，再訓練動作預測部分。這樣模型就能在訓練中反覆經歷"用自己的預測指導自己的行動"這個過程，與真實推理時的情境保持一致。
為了讓這個兩階段流程在訓練時不過於耗時，團隊借鑑了"自我強制"方法中的少步去噪技術，用少量擴散步驟快速生成夢境變量，而不需要完整的多步擴散採樣，大幅提升了訓練效率。
五、三階段漸進訓練：從寬泛的世界認知到精準的行動對齊
整套模型的訓練分成三個遞進的階段，每一階段都在前一階段的基礎上增加新的學習任務。
第一個階段是世界模型預訓練。團隊從Wan2.2這個已經在海量網際網路影片上訓練好的5B參數影片生成模型出發，在大量機器人影片數據上進行全參數微調，讓模型學會預測機器人視角下的未來場景。預訓練用的數據來自多個公開的機器人數據集，包括OXE、AgiBot-Beta、RoboCOIN、RoboMind、Galaxea以及大型合成數據集InternData-A1等，覆蓋了單臂、雙臂、移動底盤等各種機器人形態。
為了處理不同機器人使用不同攝影機配置的問題，團隊設計了固定的"語義槽"分配策略：前兩個攝影機槽位固定給第三人稱全局視角，後兩個槽位固定給腕部近景視角。攝影機少於四個的數據集用零向量填充空缺槽位，並在注意力計算時隱藏掉填充部分，確保梯度只從真實的觀測數據中傳播，不受人工填充的干擾。
第二個階段是潛在行動模型預訓練，也就是專門訓練ALAM編碼器的階段。由於動作草稿的提取只需要影片幀對，不需要機器人的動作標註，大量無標註影片都可以用來訓練。訓練完成後，ALAM編碼器被凍結，作為固定的特徵提取器使用。
第三個階段是漸進式監督微調，分成兩個子步驟。第一個子步驟（SFT1）用真實的未來幀作為條件信號，聯合訓練影片預測、動作草稿預測和具體動作預測三個任務，讓整個級聯繫統在目標任務數據上收斂到穩定狀態。第二個子步驟（SFT2）啟動夢境強制機制，用模型自己生成的預測影片替換真實未來幀，繼續微調動作預測部分，完成訓練與推理的對齊。
除了這三個階段，團隊還在工程層面做了兩個重要優化。一個是高效結構化注意力機制：將整個多流注意力模式拆解為多個密集子問題，用變長FlashAttention核一次性計算，相較於FlexAttention基線方案實現了約5倍的前向-反向傳播加速。另一個是偏移量潛在增強技術：預計算影片潛在特徵時不固定從第一幀開始切片，而是隨機選擇0到H-1之間的偏移量，使每段影片可以產生H種不同的切片方式，大幅增加了訓練數據的多樣性。
六、實驗結果：三類任務全面領先，真實機器人也能用
研究團隊在四個不同的評測平台上驗證了ABot-M0.5的效果，每個平台測試的側重點都不同。
在主要的移動操作評測台RoboCasa365上，這個平台模擬家庭場景，包含從簡單的單步任務到需要多次走動和操作的複合任務，測試機器人能否在真實家庭環境中完成購物、整理、烹飪等日常任務。ABot-M0.5在全量數據預訓練設置下取得了40.4%的平均成功率，在原子級別的已見任務上達到了75.9%，在組合級別的已見任務上達到了38.3%，全面超越了此前最好的對比方法Qwen-RobotManip（35.9%平均成功率）。在僅使用目標任務100%數據的精調設置下，ABot-M0.5取得了54.2%的平均成功率，相比此前最優的Lingbot-VA（45.1%）提升了約9個百分點，其中在組合未見任務這一最難的子集上從32.1%躍升至45.6%，提升幅度最為顯著。在僅使用10%數據的低資源設置下，ABot-M0.5也以30.1%的成功率大幅領先GR00T-N1.5的21.0%，證明了預訓練帶來的知識遷移能力。
在雙臂操作評測台RoboTwin 2.0上，這個平台測試機器人在乾淨場景和隨機化場景（改變背景、光照、物體位置等）下的泛化能力，ABot-M0.5在清潔場景和隨機化場景的平均成功率分別達到94.0%和94.2%，綜合平均94.1%，超越了此前最好的Qwen-RobotManip（93.85%）。
在桌面操作評測台LIBERO系列上，ABot-M0.5取得了99.4%的綜合成功率，是所有方法中最高的。而在測試零樣本泛化魯棒性的LIBERO-Plus評測中（在標準LIBERO數據上訓練，不做任何針對性微調，直接測試在攝影機變化、機器人變化、光照變化等各種擾動下的成功率），ABot-M0.5在WAM類方法中取得了最好的83.4%總體成功率，尤其在機器人形態變化這一項上以87.4%的成功率大幅領先ImageWAM的50.3%。
在真實機器人實驗中，團隊用一台6自由度單臂機械臂測試了五個任務，每個任務只收集了50條真實示範。精細操作任務"圓柱插孔"的成功率達到70%（π0.5為50%，Fast-WAM為30%），過程分數高達96%。四個長距離多步驟任務（整理盤子、擺放水果、疊杯子、擺放花卉）的成功率分別為70%、80%、80%、60%，而Fast-WAM在這些任務上僅為20%至40%。更值得關注的是，所有任務的過程分數均超過88%，說明即便最終沒有成功完成任務，機器人也能順利推進絕大部分步驟，而不是在中途就完全失控。
七、消融實驗：每塊積木都不可缺少
為了驗證每個設計選擇的必要性，團隊做了一系列"拆解實驗"，逐一移除各個組件，觀察性能如何變化。
關於中間動作草稿的設計，四種不同方案的對比結果清楚地顯示了架構細節的重要性：直接從影片潛在變量預測動作的基準方案成功率為87.60%；把多視角動作草稿和動作信號在通道維度拼接起來（Channel Concat）的方案成功率為91.06%；把影片、動作草稿、動作作為兩個階段分開但索引共享（2-Stage Separate）的方案成功率為90.86%；最終採用的三階段完全分離方案（3-Stage Separate，無條件丟棄）成功率達到94.00%，提升非常明顯。另外，當三階段分離方案中加入20%的條件丟棄率時，成功率反而降回91.06%，證明在這套級聯推理架構下，訓練時隨機遮掉動作草稿會造成訓練與推理的不一致，反而有害無益。
關於夢境強制的效果，團隊從一個50k步預熱檢查點出發，分別繼續用教師強制訓練5k步和10k步，以及用夢境強制訓練5k步。結果顯示，教師強制繼續訓練5k步後成功率從67.55%微降至66.78%，訓練10k步後才恢復到68.90%；而夢境強制僅需5k步，就把成功率推上了70.56%，用一半的計算量獲得了明顯更好的結果。
關於預訓練的重要性，在僅使用10%目標任務數據的低資源設置下，從預訓練權重出發微調的成功率為49.0%，而從Wan2.2直接微調的成功率僅為17.8%，差距高達31.2個百分點。文章還通過可視化注意力熱圖展示了這一差距的內在原因：從Wan2.2直接微調後，模型對文字"杯子"的注意力仍然分散在背景各處；而預訓練後再微調，注意力牢牢集中在目標物體和機械臂的交互區域，背景干擾基本消失。
Q&A
Q1：ABot-M0.5里的"夢境強制"訓練方法和普通訓練方法有什麼實質區別？
A：普通的"教師強制"訓練是把真實的未來影片畫面給模型看，然後教它根據這個完美畫面決定怎麼動。但實際運行時根本沒有真實未來畫面，模型只能依靠自己預測的、帶有誤差的畫面做決策，兩者之間存在巨大落差。夢境強制的做法是：在訓練時就用模型自己對未來的預測畫面（而非真實畫面）來訓練動作決策，讓模型提前"習慣"面對自己預測產生的誤差和模糊，從而在真實部署時不再因為預測不完美而頻繁出錯。簡單說，就是用"不完美的彩排"代替"完美的彩排"，讓上台表演時更從容。
Q2：ABot-M0.5中的"幀級潛在行動"是什麼，為什麼不直接從影片預測動作？
A：幀級潛在行動是一種中間表示，通過比較前後兩幀圖像的視覺變化來編碼"發生了什麼運動意圖"，不依賴機器人的具體關節參數。直接從影片預測動作的問題在於，影片預測是粗粒度的、多幀打包的，而動作控制需要逐幀的精細資訊，兩者粒度差距過大，中間微妙的接觸時機、抓握力度等資訊會丟失。加入這個中間層後，模型先從影片提取運動草稿，再從草稿翻譯成具體指令，層層精化，就像翻譯時先理解意思、再組織語言，比直接逐詞對照翻譯準確得多。
Q3：ABot-M0.5的雙層混合變換器架構為什麼要把走路和手臂操作分開訓練？
A：走路（底盤移動）和手臂操作在物理特性上差異懸殊：走路動作變化緩慢、頻率低，手臂操作變化迅速、頻率高且對接觸極為敏感。如果把這兩種信號放在同一個神經網路里用同一個目標函數優化，高頻的操作信號產生的梯度往往會主導整個網路，把低頻的移動信號的優化方向擾亂，最終兩個任務都學不好。分開後各自有獨立的前饋層和輸出頭，但共享注意力計算，使得手臂和底盤的動作資訊還能互相感知、協調配合，同時又避免了梯度之間的干擾。
