這項由阿里巴巴集團達摩院、香港具身智能
實驗室、香港中文大學和湖畔實驗室聯合開展的研究，以預印本形式發布於2026年7月7日，論文編號為arXiv:2607.06559，感興趣的讀者可通過該編號在arXiv平台查閱完整論文。
**一、機器人的"視力障礙"：為什麼普通攝影機不夠用？**
假設你閉上一隻眼睛，單眼看世界，你就會失去立體感——你很難判斷茶杯到底有多遠，伸手抓它時很可能撲空。普通攝影機對機器人來說，正是這種"單眼視覺"：它能看到畫面，卻無法真正理解物體在三維空間中的位置，更無法感知物體正在如何移動。
當前很多機器人系統依賴的是"2D影片"——也就是普通攝影機錄下的彩色畫面。這些畫面能告訴機器人"眼前有一個蘋果"，卻很難告訴它"這個蘋果距離我0.3米，正在以每秒5厘米的速度向右滾動"。對於只需要按個按鈕的簡單任務，這或許夠用；但對於需要精準配合雙手、判斷物體深度、預判運動軌跡的精細操作來說，這種"平面視覺"遠遠不夠。
更深的問題在於，當機器人用2D圖像來學習"下一步該怎麼動"時，它必須從色彩變化中猜測物體的實際移動方式，就像你只看人的臉色變化來猜測他在跳什麼舞蹈——資訊的缺失會造成大量誤判和不穩定。達摩院的研究團隊由此提出了一個核心問題：能不能讓機器人的"世界預想"升級到第四維度，不只預測"畫面會變成什麼樣"，而是預測"空間結構會怎麼變、物體會朝哪個方向移動多遠"？
**二、四維世界模型是什麼：給機器人配備"時空地圖"**
在正式介紹這項研究之前，有一個核心概念需要理解：什麼是"世界模型"？
可以把世界模型比作一個有經驗的廚師在腦子裡演練食譜。當廚師聽到"製作番茄炒蛋"這個指令時，他的大腦會自動預演：先打蛋、加鹽攪拌、熱鍋倒油、蛋液變固、加入番茄翻炒……整個流程的畫面和感受都在腦子裡過了一遍，然後才真正動手。機器人的"世界模型"也是如此——在真正行動之前，先在"想像"中預演場景會如何變化。
傳統的機器人世界模型只能預演"彩色畫面"，就像廚師只記得食物的顏色，卻不知道鍋有多燙、食材有多重。這項研究的突破在於，他們讓機器人的世界模型能同時預演三種資訊：彩色畫面（RGB）、深度地圖（Depth）和光流圖（Optical Flow）。
深度地圖可以理解為一張"距離照片"——畫面中每個像素都帶有"這裡距攝影機多遠"的資訊，就像雷射雷達的測量結果被投影到一張圖上。光流圖則記錄了畫面中每個點從當前幀到下一幀的運動方向和速度，用顏色表示：紅色代表向右移動，藍色代表向左，顏色深淺表示移動快慢。把這三種資訊組合在一起，就得到了論文所稱的"RGB-DF"表示——一個能同時描述外觀、空間結構和運動趨勢的完整時空快照。
更妙的是，當你同時擁有深度圖和光流圖時，可以用數學方法將它們"融合"還原出真實的三維運動軌跡，也就是論文中所說的"3D場景流"。可以把這個過程比作：用地圖上的等高線（深度）加上氣象圖上的風向箭頭（光流），就能計算出真實地形中氣團的立體運動路徑。機器人通過這種方式，能真正理解物體在三維空間中的運動，而不是在二維畫面上猜測。
**三、RynnWorld-4D的架構：一個擁有三條"視覺通道"的大腦**
有了清晰的目標，達摩院團隊開始設計實現這一目標的系統，取名為RynnWorld-4D。
這個系統的基礎是一個已經在大量影片上預訓練好的影片生成模型——Wan 2.2，這個模型本身已經具備了強大的"想像力"，能夠根據一張圖片和一段文字描述生成流暢的影片。團隊要做的，是把這個"單一通道的大腦"升級成一個"三通道大腦"。
具體來說，他們為彩色畫面、深度圖、光流圖各建立了一條獨立的處理通道。這三條通道就像大腦的三個不同感官區域：視覺皮層處理顏色和紋理，空間感知區處理距離和結構，運動追蹤區處理移動方向和速度。每條通道都有自己專屬的神經網路結構，允許它專注於自己擅長的模態特徵，不會互相干擾。
但僅僅"分開處理"還不夠。現實中，物體的顏色變化、空間移動和運動方向必須保持一致——蘋果向左滾動，深度圖上蘋果對應的位置就應該變遠，光流圖上就應該出現向左的箭頭。三條通道必須"對話"，確保各自的預測結果彼此吻合。
為此，研究團隊設計了一個叫做"聯合跨模態注意力"的機制（JA模組）。可以把這個機制比作三位廚師在製作同一道菜時的實時溝通：每隔幾個步驟，三位廚師會停下來互相匯報進展——"我這邊的火候是這樣的"、"我這邊的食材狀態是這樣的"——然後各自根據對方的情況調整自己的操作。在整個30層的神經網路中，這樣的"溝通會議"每三層召開一次，總共進行10次。
在技術細節上，每個JA模組的設計頗為精巧。每條通道產生一個"問題"（Query）和一組"答案"（Key/Value），然後用自己的問題去查詢另外兩條通道的答案，從而獲取跨模態資訊。為了讓三條通道的空間坐標完全對齊，研究團隊在這個跨通道查詢過程中引入了三維旋轉位置編碼（3D RoPE）——這就像給三位廚師的每份食材都貼上了統一的坐標標籤，確保大家說"左邊第三格"時，指的是同一個位置。另外，模組的輸出通過一個"可學習門控"來控制影響力的大小，這個門控初始值設為1而非0，避免了某種雙重初始化方案導致的訓練停滯問題。
同時，三條通道各自保留獨立的前饋神經網路（FFN），而不是共用一個。原因很簡單：顏色紋理、空間距離和運動方向是三種本質不同的資訊，就像鹹味、酸味和甜味需要不同的味覺感受器來處理，強行共用一套"感受器"只會造成混亂。實驗也證實，一旦改用共享FFN，三個維度的預測精度都會明顯下降。
**四、數據集的建設：254億幀的"視覺教材"**
再聰明的學生，沒有足夠的課本也無法成材。RynnWorld-4D的訓練同樣面臨一個棘手的現實：世界上根本沒有現成的、大規模的、同時帶有深度圖和光流標註的影片數據集。研究團隊不得不自己動手建造這套"教材"，這就是Rynn4DDataset 1.0的由來。
這套數據集最終包含超過2.544億幀影片，來自7個不同的數據來源。其中約20.6億幀（占8.1%）來自人類自我視角的活動影片，具體包括著名的Epic-Kitchens廚房操作數據集和EgoVid數據集；其餘約233.8億幀（占91.9%）來自機器人操作場景，涵蓋RoboMIND、RDT-1B、Galaxea、RoboCoin和AgiBot等多個機器人數據集。
然而，這些影片本身只有彩色畫面，並沒有現成的深度和光流標註。研究團隊採用了"偽標註"的方式——用當前最先進的自動化工具來批量生成這些標註。深度資訊由Depth Anything 3模型生成，該模型能從單張圖像預測出每個像素的距離，精度達到可用於訓練的水平；光流資訊則由DPFlow模型生成，該模型能分析相鄰幀之間每個像素的移動方向和幅度。影片文字描述由Qwen3-VL多模態語言模型生成，每段影片被切割為5秒片段，以1幀/秒的速率採樣後輸入模型，要求模型描述主體動作、環境背景、物體交互和整體氛圍，輸出不超過512個詞。
深度圖的處理有一套具體流程：影片以30幀/秒採樣，工作解析度短邊不超過392像素，每幀生成的深度值被裁剪到0至5米的範圍，然後通過公式轉換成8位灰度圖像保存。這種統一的深度範圍設置對於機器手臂操作場景來說恰到好處，既覆蓋了絕大多數操作距離，又避免了遠景噪聲的干擾。
**五、三階段訓練：像培養廚師一樣循序漸進**
數據有了，架構有了，接下來是訓練策略。研究團隊採用了一套三階段漸進式訓練方案，這個過程可以類比於培養一位精通三種烹飪風格的廚師。
第一階段叫做"模態適應"。三條通道關閉跨通道通信，各自獨立訓練。這就像三位廚師先分別在自己的小廚房裡磨練基本功——彩色通道繼續強化其對視覺紋理的理解，深度通道從彩色影片的預訓練基礎上學習如何感知空間距離，光流通道則學習如何理解運動模式。此階段學習率設為2×10??，光流損失權重λ設為0.5（因為光流的第一幀是零流場，資訊量較少）。
第二階段叫做"聯合注意力訓練"。主幹網路被凍結，只有新引入的10個JA模組和相關的歸一化層、門控參數可以被訓練。這相當於讓三位廚師先把個人技能固化，然後專門練習協作——怎麼互相通報進度、怎麼調整彼此的節奏。學習率提升到5×10??，並引入"分支隨機丟棄"機制：以0.2的概率隨機丟棄深度或光流通道的輸入，強迫JA模組學會在某一通道資訊缺失時，從其他通道的資訊中推斷補全。彩色通道不參與丟棄，因為它是整個系統的"外觀錨點"。
第三階段叫做"全參數聯合精調"。所有參數全部解凍，在完整的Rynn4DDataset 1.0上繼續訓練，學習率降至1×10??，隨機丟棄率降至0.1。這就像三位廚師把之前分開練習的技能融合在一起，在真實廚房環境中進行綜合演練，打磨最終的默契度。
整個訓練過程中，三個通道共享同一個高斯噪聲樣本，確保它們的去噪軌跡在時間上始終對齊，不會出現彩色通道"已經預測到未來第5幀"而深度通道還停在第3幀的錯位現象。訓練解析度為81幀×480×640，經過影片自編碼器的4倍時間壓縮後，輸出21個潛在幀。
**六、從"腦內預演"到"手上動作"：RynnWorld-4D-Policy**
讓機器人能在腦中預演四維未來只是第一步，更關鍵的問題是：如何把這個"預演結果"快速轉化為實際的機械臂動作？
傳統方法通常需要先完整生成一段影片（這需要多次疊代的去噪計算），再從影片中推斷動作，就像廚師必須先把整道菜從頭到尾在腦子裡"模擬做完"，才能開始動手——這個過程太慢，無法支持實時控制。
RynnWorld-4D-Policy採用了一個更聰明的捷徑：不等"預演影片"完整生成出來，而是直接截取RynnWorld-4D內部神經網路的"中間思考狀態"來指導動作。具體來說，研究人員發現，在擴散時間步t=500時（即去噪過程進行到一半時），從第15層Transformer塊提取的內部特徵，已經包含了豐富的四維資訊，足夠用來推斷下一步動作。
從三條通道提取的3072維特徵被拼接在一起，形成每幀9216維的綜合特徵，涵蓋了視覺外觀、空間幾何和運動動態三個維度。這個高維特徵序列隨後被輸入一個叫做"Flow Former"的壓縮模組：它通過可學習查詢向量，用空間交叉注意力匯聚每幀的空間資訊，再用時間自注意力整合跨幀的時序動態，最終壓縮成一個緊湊的時空特徵向量。
動作生成採用流匹配（Flow Matching）策略，通過4步ODE（常微分方程）求解器生成54維的機械臂動作（對應雙臂共54個關節自由度）。每次生成10個連續動作（即一個"動作塊"），機器人執行這10個動作的同時，下一個決策周期已經在後台並行計算。
這種設計帶來的實際控制頻率約為9赫茲——即每秒更新9次決策。雖然與傳統PID控制器的500赫茲以上相比頻率較低，但由於策略是基於預測的四維特徵運作，能提前預判物體運動趨勢，這種"預見性"在一定程度上彌補了頻率的不足。即便在執行動作過程中物體略有偏移，下一次9赫茲的更新也能及時重新規劃軌跡。
從具體的延遲分析來看，整個推理周期約1106毫秒：其中深度估計占85毫秒（7.7%），VAE編碼和潛變量準備占18毫秒（1.6%），RynnWorld-4D的三支路Transformer前向傳播占990毫秒（89.5%，這是最主要的計算瓶頸），特徵重塑和拼接占1毫秒（0.1%），Flow Former占4毫秒（0.4%），動作流匹配頭占8毫秒（0.7%）。整套系統運行在配備NVIDIA RTX 5090 GPU的工作站上，使用FP8量化和FlashAttention 3加速。
**七、真實機器人實驗：六項精細任務的全面測試**
研究團隊在真實的雙臂機器人上進行了系統性評估。硬體平台採用天機M6機器人（7自由度機械臂）搭配悟己靈巧手（20自由度仿人手），雙臂合計54個自由度，並配置了英特爾RealSense D435i深度攝影機提供第一人稱視角。
為了充分檢驗系統能力，研究團隊設計了六項涵蓋不同難度和類型的操作任務。雙手取物任務要求機器人左臂從盤子中拾取一個蘋果、右臂拾取一根香蕉，依次放到桌面指定位置；積木推送任務要求左臂先把大積木從左區推到中央，右臂再把它推到右側目標區域，考驗時序協調；物品傳遞任務是最具挑戰性的任務之一，左手夾取一顆白菜後傳遞給右手，右手再完成放置，涉及精密的手-手協作；雙手舉升任務要求雙臂同步抬起一個大西瓜毛絨玩具並放入托盤，考驗力量協調；蓋蓋子任務要求機器人拾取一個蓋子並精準對齊覆蓋在紙箱上，精度要求極高；碗疊放任務要求把一隻碗精準疊放在另一隻碗上，同樣需要毫米級的空間精度。
每項任務使用200個演示軌跡訓練策略（訓練世界模型時使用300-500個），評估標準是35次連續真實測試中的成功率，成功條件為機器人在120秒內完成任務。
實驗結果方面，RynnWorld-4D-Policy在六項任務中的平均表現超過了其他所有對比基線。以成功率數字來看，雙手取物任務達94.29%，積木推送任務97.14%，物品傳遞任務28.57%，雙手舉升任務97.14%，蓋蓋子任務65.71%，碗疊放任務65.71%。
對比來看，擴散策略（Diffusion Policy，一種經典的機器人學習方法）在這六項任務中的成績分別為77.14%、85.71%、17.14%、88.57%、57.14%和57.14%。物理智能公司的π?基礎模型表現為88.57%、94.29%、2.86%、91.43%、34.29%和51.43%。π?.?的成績為94.29%、100%、0%、94.29%、37.14%和42.86%。
特別值得關注的是物品傳遞任務——π?的成功率僅有2.86%，π?.?完全失敗（0%），而RynnWorld-4D-Policy達到了28.57%。研究團隊分析認為，這種差異源於兩個根本性問題：現有基礎模型的預訓練數據以平行夾爪為主，缺乏對靈巧手的先驗知識；而且在手-手傳遞場景中，2D策略很難判斷兩個高自由度末端執行器之間的相對三維距離和可能的自遮擋關係，而RynnWorld-4D提供的顯式幾何和運動資訊恰好彌補了這一缺陷。
在四維世界模型本身的生成質量評估上，研究團隊對比了多種影片生成和4D建模方法。在深度幾何準確度方面，RynnWorld-4D的δ?指標（越高越好）達到0.610，而對比的4DNeX僅為0.327，TesserAct僅為0.279。在光流運動精度方面，RynnWorld-4D的平均端點誤差（AEPE，越低越好）為0.170，而大多數對比方法根本不具備生成光流的能力。在彩色影片的感知質量上，RynnWorld-4D的各項指標也與專門的影片生成模型持平甚至更優。
**八、消融實驗：拆開看每個設計選擇的貢獻**
研究團隊進行了一系列"拆零件"實驗，來驗證每個設計選擇的必要性。
首先是三通道融合的必要性。如果把三條通道完全分開訓練、不引入任何跨模態通信，深度的AbsRel誤差從0.310惡化到0.737，光流AEPE從0.170上升到0.247。這表明，三種模態之間的相互約束是保證預測物理一致性的關鍵——彩色資訊能幫助深度通道理解物體邊界，深度資訊能幫助光流通道校正運動估計。
其次是第一階段模態適應訓練的必要性。如果跳過這個階段，直接進行三通道聯合訓練，δ?從0.610降至0.479，AEPE也明顯惡化。原因在於，深度和光流通道是從彩色影片的預訓練權重初始化的，它們的"先驗知識"完全基於RGB特徵，需要一段時間的專項訓練才能真正適應自己的模態特性，不能直接"上崗"。
第三是大規模4D預訓練數據集的必要性。如果只用特定任務的機器人操作數據訓練，不使用Rynn4DDataset 1.0，光流AEPE從0.170急劇飆升至0.729，其他指標也全面崩潰。這說明僅靠任務專屬數據無法學會複雜的時空動態規律，需要多樣化的大規模預訓練數據打底。
第四是聯合跨模態注意力中3D旋轉位置編碼的必要性。去掉這個編碼後，δ?從0.610降至0.450，AEPE從0.170升至0.210。這驗證了空間坐標的顯式注入對於跨模態特徵在像素級別精確對齊的不可或缺性。
第五是策略端不同模態組合的貢獻。僅使用RGB特徵訓練策略時，雙手取物任務成功率為77.14%；加入深度特徵（RGB+深度）後，物品傳遞和雙手舉升等需要空間精度的任務明顯提升；加入光流特徵（RGB+光流）後，運動敏感型任務有所改善；三者全部使用的完整版本達到最佳全面表現。這印證了"視覺外觀+空間幾何+運動動態"三位一體的協同效應。
**九、局限性與未來的可能性**
這項研究也坦率地承認了現有局限。單次推理需要約1.1秒，對於需要亞秒級反應的超高頻控制場景（比如接球或高速分揀）仍然存在瓶頸。當前系統主要針對單攝影機的自我視角場景優化，對於需要多視角融合或多機器人協同的複雜場景，如何保持4D時空一致性還是有待解決的開放問題。
從更長遠的視角看，這項研究指向了一個更宏大的目標：讓機器人像人類一樣，在真正理解三維世界的基礎上做決策，而不是從像素變化中反覆猜測。隨著計算效率的持續提升和多視角擴展技術的發展，這套框架有望支撐更廣泛的具身智能應用場景。
說到底，RynnWorld-4D做了一件聽起來簡單、實現起來複雜的事：它讓機器人的"想像力"從一張二維畫面，升級成了一個帶有空間坐標和運動軌跡的三維時空預演。當機器人在執行"把蘋果從盤子移到桌上"這個任務時，它的內部世界模型不再只是預測"畫面顏色如何變化"，而是在心裡演算"蘋果會沿著什麼樣的三維弧線移動、我的手指需要在哪個深度位置收攏、每一幀的空間布局會如何演變"。這種升維的預見能力，是機器人從"會幹活"走向"真的懂幹活"的一步重要跨越。
對四維世界模型和機器人具身智能感興趣的讀者，可以通過arXiv編號2607.06559查閱完整原文，或訪問Alibaba-DAMO-Academy/RynnWorld-4D的HuggingFace頁面獲取模型權重和演示資源。
---
Q&A
Q1：RynnWorld-4D和普通的機器人視覺系統有什麼區別？
A：普通機器人視覺系統通常只處理彩色圖像，無法直接感知物體的距離和運動速度。RynnWorld-4D同時預測彩色影片、深度地圖和光流圖三種資訊，讓機器人能在行動前先"想像"出物體在三維空間中的移動軌跡，從而做出更精準的動作規劃，尤其在需要毫米級精度的精細操作任務中優勢明顯。
Q2：Rynn4DDataset 1.0里的深度和光流數據是怎麼來的？
A：這個數據集中的深度和光流標註並非人工手動標註，而是通過自動化模型批量生成的"偽標註"。深度資訊由Depth Anything 3模型從單張圖像預測生成，光流資訊由DPFlow模型從相鄰幀分析計算，影片文字描述由Qwen3-VL生成。這種方式讓研究團隊得以在不依賴昂貴人工標註的情況下，快速構建出包含2.544億幀的大規模訓練數據集。
Q3：RynnWorld-4D-Policy的9赫茲控制頻率夠用嗎？
A：對於大多數人類日常操作速度的機械臂任務來說基本夠用。系統通過"動作塊"機制來彌補更新頻率的不足——每次計算一次性生成未來10個連續動作，機器人在執行這10個動作的同時，下一組動作已在後台並行計算完成。此外，由於策略基於四維預測特徵運行，具備一定的前瞻性，能預判物體運動趨勢，部分抵消了感知到執行之間的時間延遲。
