這項由阿里巴巴達摩院、香港具身AI實驗室、香港中文大學與螞蟻集團聯合開展的研究，於2026年7月7日以預印本形式發布（論文編號arXiv:2607.06558），尚未經過同行評審正式發表。研究團隊提出了一個名為RynnWorld-Teleop的系統，致力於從根本上改變機器人訓練數據的採集方式。
機器人之所以難以訓練，核心困境在於數據。就像教一個孩子做家務，你需要一遍一遍地示範、演示、糾錯，才能讓他學會端盤子的角度、放物品的力道。現實中訓練機器人也是這個道理——研究者們需要讓人類操作員坐在專門的設備前，戴上傳感器手套，盯著真實的機器人，一個動作一個動作地遙控演示，同時錄下機器人視角的影片和對應的關節運動數據。這個過程不僅需要昂貴的機器人硬體，還要求場地固定、物品擺放精準，每次演示結束後操作員還要手動把所有東西復原，才能開始下一條數據的錄製。這種方式的瓶頸非常直接：機器人有多少台、實驗室有多少個，數據就只能產這麼多，完全無法規模化。
達摩院團隊提出的解決思路頗具創意——既然真實機器人是限制因素，那能不能用一個"虛擬機器人"來代替？操作員照舊戴手套、做動作，但驅動的不是真正的機器臂，而是一個能根據手勢實時生成機器人視角影片的AI模型。這個AI模型就像一個無所不能的攝影師，拿到一張場景照片和一段人手運動軌跡，就能源源不斷地"拍"出機器人真實執行時應該看到的畫面。操作員的手部動作數據經過轉換，變成適合各種機器人身體結構的控制信號；AI生成的影片則提供對應的視覺觀測。兩者配對，就構成了完整的訓練數據，完全不需要真實機器人參與。
一、機器人訓練數據的困境：為什麼現在的做法這麼難規模化
要理解這項研究究竟解決了什麼問題，先得搞清楚現有方法有多麻煩。傳統的物理遙作業系統，簡單來說就是：操作員戴上追蹤設備，通過某種映射關係實時控制機器人的手臂和手指，機器人上的攝影機錄下它"看到"的畫面，同時系統記錄每一幀對應的關節角度數據。這兩份數據配對在一起，就是一條訓練軌跡。
這個流程的問題顯而易見。首先，它綁死在特定硬體上——你有什麼機器人就只能采這個機器人的數據，想換個機器人平台，整套設備和流程都要重來。其次，它綁死在特定場景里——桌子的位置、物品的擺放都必須固定，每次采完一條數據就要手動復原，效率極低。更關鍵的是，現實世界裡物品的種類、形狀、紋理千變萬化，而實驗室里能採到的場景種類永遠是有限的，因為你沒辦法把超市貨架搬進實驗室。
正是這個原因，現有的機器人學習系統在"長尾分布"上表現很差——所謂長尾，就是那些不常見但確實存在的場景和物品。當機器人遇到訓練數據里沒見過的東西，往往就手足無措了。研究團隊把這個現象稱為"數據瓶頸"，也是本文要正面突破的核心問題。
在現有的相關研究中，有兩條路線曾經嘗試過類似方向，但都各有缺陷。一條路線是把人類演示影片"機器人化"——把人手的動作畫面翻譯成機器人手臂的畫面，跨越視覺上的差距。但這類方法本質上是被動的、只處理視覺層面的，它們從不產生真實的動作控制信號，所以生成的數據沒法直接用來訓練控制策略。另一條路線是"以人為中心的行動條件影片生成"——給定人手的動作信號，生成未來的畫面。這類方法確實能實時互動，但畫面里仍然是人的手，而不是機器人的手，"人機之間的外形鴻溝"依然存在。
RynnWorld-Teleop的目標是同時滿足三個條件：生成的畫面必須是機器人視角的（機器人中心）、每幀畫面必須和可恢復的關節控制信號精確對應（動作基礎）、整個過程必須達到實時速度（實時性）。在這項研究之前，沒有任何系統能同時滿足這三點。
二、核心技術設計：三把鑰匙，打開三道門
RynnWorld-Teleop系統的技術設計圍繞三個核心創新展開，三者環環相扣，共同保證了系統的可用性。
第一把鑰匙是"深度感知骨骼表示"。操作員的手部姿態通過21個關節點的空間坐標來表示，這本來是三維空間裡的數據。問題在於，影片是二維的平面圖像，把三維數據"壓"進二維時，深度資訊（也就是手離攝影機多遠）會丟失。深度資訊對於機器人操作至關重要——一個手勢，手在桌面上方5厘米和50厘米時代表的動作含義完全不同。
研究團隊的解決方案非常直觀：既然無法在畫面里直接顯示深度，那就用顏色和大小來間接傳達。每個關節點的顏色和半徑，會根據它距離攝影機的實際距離動態調整——離攝影機越近，點就越大、顏色越深；越遠則越小、越淺。這樣，一張看似普通的骨骼示意圖，實際上編碼了完整的三維空間資訊。AI模型在接受這張圖作為輸入時，能夠從顏色和尺寸的變化中"讀"出手的真實空間位置，從而生成符合物理規律的操作畫面。
第二把鑰匙是"漸進式跨域訓練"。這裡有一個根本性的挑戰：機器人手臂和人手的外形差異很大，AI模型如果只看過機器人數據，它知道的機器人場景太少；但如果只看過人手數據，它又不知道機器人長什麼樣。
研究團隊採用了"先博後精"的兩階段訓練策略。第一階段，用海量的人手操作影片來訓練，讓模型學會手與物體互動的基本物理規律——手抓東西時物體怎麼移動、手指彎曲時接觸面怎麼變化。這一階段使用了兩個大型數據集：EgoDex包含7400萬幀的第一人稱手部操作影片，VITRA包含3070萬幀並提供了詳細的手部動作標註。模型在這個階段學到的是"操作這件事"本身的規律，而不是某種特定外形的手的規律。
第二階段，用研究團隊自己採集的1800條人機配對演示數據來精調模型。這1800條數據覆蓋四種雙臂協調任務：雙手分別抓取桌面上的蘋果和香蕉並放到桌上；左手推一個方塊到中央再由右手推到目標區域；雙手同步舉起一個西瓜抱枕放入托盤；以及把一個紙箱的蓋子準確扣回去。這四個任務設計得很有代表性，既有精準操作，也有力量配合，還有時序協調。通過這個階段，模型學會了將人手的動作"翻譯"成機器人手臂的對應畫面，完成了從人到機器人的視覺遷移。
第三把鑰匙是"流式自回歸蒸餾"。原始的雙向影片擴散模型（可以理解為一種高質量的AI畫圖引擎）在生成影片時，需要"看完整段再輸出"，就像必須把整本書讀完才能給出評價，速度上完全不支持實時交互。研究團隊用"蒸餾"技術把這個慢速的"老師模型"壓縮成一個快速的"學生模型"。
學生模型採用了因果型時間掩碼——也就是說，它在處理第t幀時只能"看"它之前的幀，不能偷看未來。同時引入了KV緩存機制，把之前幀的中間計算結果存下來反覆利用，大幅節省每一幀的計算量。蒸餾過程分兩步：先做因果流匹配預熱，讓學生模型學會以流式方式預測運動軌跡；再做"分布匹配蒸餾"（DMD），通過一個評判網路把學生模型的輸出質量往老師模型靠攏，最終只需4步推理就能生成高質量畫面。最終結果是系統在單張H100顯卡上達到了每秒40幀以上的生成速度，遠超現有同類系統2到10幀的水平，也超過了真實機器人攝影機的標準30幀。
三、完整的數字遙操系統：從手勢到訓練數據的全流程
僅有世界模型本身還不夠，研究團隊進一步把它包裝成一個完整可用的數字遙操系統。
操作員穿戴的設備包括胸部、雙腕和雙上臂的五個HTC Vive追蹤器，以及Manus
數據手套。追蹤器以每秒100到120次的頻率捕捉腕關節相對胸部的位置和朝向，再通過一個阻尼最小二乘逆運動學求解器，計算出TIANJI M6機器人雙臂（每臂7個關節）的關節角度命令。手套信號則被轉換成21個關節點的手部骨骼數據，再映射到WUJI靈巧手的20個關節空間。兩套信號合併，就產生了一個54維的機器人動作向量，全程與世界模型生成的影片保持嚴格同步。
生成數據的流程是這樣的：操作員先為目標場景拍一張參考圖（比如一張擺好蘋果和香蕉的桌子）；然後開始做手勢演示，手部骨骼序列以每秒16幀的速率被渲染成深度感知骨骼圖；RynnWorld-Teleop以這張參考圖和骨骼序列為輸入，實時合成對應的機器人執行影片；影片幀與54維動作向量配對，就得到了可以直接用於模仿學習的訓練數據。
為了防止長影片中累積誤差導致畫面漂移（就像抄寫時越抄越走樣），系統採用了"分塊重錨"策略：每81幀為一個塊，每開始一個新塊時，用機器人攝影機當時實際拍到的畫面來重新校準參考圖，確保合成影片始終與現實場景保持一致。
與傳統物理模擬器相比，這套系統有幾個本質優勢。傳統模擬器需要為每個物品建立精確的3D網格模型和物理參數文件，耗費大量人工；RynnWorld-Teleop只需一張參考照片，不需要任何3D資產。傳統模擬器渲染出的畫面和真實世界之間存在"現實鴻溝"，策略往往在模擬器里表現好但遷移到真實機器人就失效；RynnWorld-Teleop直接在真實像素分布里合成畫面，自然包含了真實的光照、反射和噪聲。傳統模擬器對可變形物體束手無策；預訓練在大量人類影片上的RynnWorld-Teleop已經內化了接觸動力學的"常識"。
四、實驗結果：合成數據真的能訓練出好用的機器人嗎
研究團隊在TIANJI M6雙臂機器人上進行了真實世界的策略評估，每個任務在隨機化物體位置的條件下連續測試35次，以完成率作為核心指標。
最值得關注的實驗結論有兩層。第一層是"以假亂真"：π0這個基礎策略模型，完全不用任何真實機器人數據、僅用300條RynnWorld-Teleop合成數據來訓練，在方塊推送任務上達到了82.86%的完成率，在雙手舉起西瓜任務上達到77.14%。這說明合成的影片不僅在視覺上逼真，在物理規律層面也足夠準確，策略能從中學到可遷移的操作技能。
第二層是"錦上添花"：當在300條真實數據基礎上再加入300條合成數據時，各個策略模型的表現都有明顯提升。擴散策略（DP）在西瓜舉起任務上從88.57%提升到94.29%；π0.5在雙手舉起任務上從94.29%提升到100%；在難度最高的蓋蓋子任務上，π0.5從42.86%跳到62.86%，π0從34.29%跳到54.29%，兩者都提升了整整20個百分點。
為了進一步驗證合成數據與真實數據的相似性，研究團隊用I3D影片特徵提取網路分別提取了1000幀真實畫面和1000幀合成畫面的特徵，再用t-SNE降維可視化。結果顯示兩組數據的特徵分布高度重疊，說明合成數據在語義層面與真實機器人操作的分布高度對齊，這正是零樣本遷移能夠成功的根本原因。
在定量生成質量評估方面，RynnWorld-Teleop（全參數精調版本）在EgoDex測試集上取得了PSNR 26.78、SSIM 0.887、LPIPS 0.119、FVD 550的成績，全面超越InterDyn、CosHand、Mask2IV等同類方法，也大幅領先於Wan、CogVideoX等通用影片生成模型。因果流式版本（RynnWorld-Teleop-Causal）在犧牲一定畫質的情況下實現了每秒40幀的實時生成能力，在實際機器人測試集上的PSNR為18.66、FVD為1534，延遲分解為：骨骼動作編碼約占5%、因果DiT去噪約占72%、視覺解碼約占23%，平均每幀約25毫秒。
五、消融實驗：每個設計選擇都有其道理
研究團隊做了詳細的消融實驗，驗證每個設計環節是否真的必要。
首先是條件融合方式的選擇。系統採用的是"分布對齊加法融合"：把骨骼控制信號先歸一化到與影片隱空間相同的統計分布，再通過可學習的門控參數與影片信號相加。對比實驗用簡單的"拼接融合"（直接把控制信號拼到影片信號後面）替代這個方案，結果FVD從585飆升到1191，畫面質量大幅下降。原因在於直接拼接破壞了預訓練模型已經建立的隱空間結構，就像把兩種相互排斥的材料混在一起，反而什麼都做不好。加法融合搭配零初始化的門控參數，則讓模型能夠"溫和地"逐漸引入骨骼信號，不破壞已有的生成能力。
其次是第一階段人類數據預訓練的價值。去掉第一階段、直接在機器人數據上精調，FVD從585惡化到2598，LPIPS從0.119惡化到0.453，畫質幾乎崩潰。可視化結果顯示，沒有預訓練的模型無法合成真實的手指結構，在操作過程中會出現嚴重的"鬼影"和畫面模糊，目標物體甚至會從畫面中憑空消失。這說明1800條機器人數據遠遠不足以讓模型從零開始學習手物接觸的物理規律，必須先從海量人類影片中汲取這種"先驗知識"。
再次是兩階段蒸餾流程的必要性。只用因果流匹配熱身、不做DMD精調，PSNR從22.25降到19.25。反過來，跳過熱身階段直接做DMD，則會出現嚴重的訓練不穩定和畫面模糊，無法收斂。研究團隊將這解釋為：熱身階段建立了因果生成的基本架構，是DMD階段能夠穩定地繼承老師模型複雜操作先驗的前提條件，兩者缺一不可。
六、泛化到訓練集之外的場景：一張圖片，無限可能
數字遙操範式的一個重要主張是：只要給一張參考圖，就能在任意場景里生成訓練數據。研究團隊專門驗證了模型在分布外視覺狀態下的表現，測試了兩個方向的泛化能力。
第一個方向是"看不見的物體"。把參考圖裡的操作對象換成訓練時從未出現過的類別或形狀，比如把木塊換成紅色球體、把西瓜抱枕換成橄欖球。第二個方向是"看不見的背景"。把桌面紋理替換成訓練時沒見過的樣式，比如花紋桌布。兩類替換都通過現成的圖像編輯工具完成，沒有改動任何真實場景。
從Fig.7展示的結果來看，模型在這兩種泛化場景下都能維持時序一致性，並按照動作信號忠實執行軌跡。研究團隊據此認為，模型學到的操作先驗與具體物體紋理和背景外觀解耦，真正支持了"從單張參考圖實例化任意操作場景"這一數字遙操範式的核心主張。這意味著未來只需要在網上找一張合適的場景圖片，再做幾分鐘手勢演示，就能產出一批針對全新物體和環境的訓練數據。
說到底，RynnWorld-Teleop想解決的是機器人領域裡一個很古老的問題：你需要大量數據才能訓練好的機器人，但採集大量數據本身又依賴於你已經有了大量機器人和實驗室資源。這是一個典型的"雞生蛋蛋生雞"的困境。
這項研究提供的答案是：用AI生成器來打破這個循環。人類操作員做一次手勢演示，AI就能把這次演示"變換"到任意場景、任意背景、任意物體組合下，產出數十倍的訓練數據。合成數據與真實數據混合使用，在多個任務上都能顯著提升機器人的成功率；甚至在某些任務上，完全依賴合成數據訓練的機器人也能有相當不錯的表現。
當然，研究也誠實地列出了現有局限。模型對液體流動、高度可變形物體（比如麵團、布料）等複雜物理現象的建模還不夠準確，因為訓練數據里這類場景太少。此外，彌合"人機外形鴻溝"目前仍需要針對具體機器人平台做精調，限制了系統在多機器人平台間的可移植性。研究團隊認為，以機器人運動學描述符為條件的跨具身基礎世界模型，是未來值得探索的方向。
從更宏觀的視角看，這項研究嘗試回答的是：人類已經積累的大量"如何操作物體"的知識（體現在人類演示影片裡），能不能被有效地遷移給機器人？結果是肯定的——至少在雙臂協調操作這個場景下，這種遷移是可行的，而且量化結果相當紮實。對機器人學習的數據問題感興趣的讀者，可以通過論文編號arXiv:2607.06558查找完整原文。
Q&A
Q1：RynnWorld-Teleop生成的影片和真實機器人錄製的影片有多大差距？
A：從定量指標來看，RynnWorld-Teleop在機器人專屬測試集上的PSNR為22.53，SSIM為0.898，LPIPS為0.148，FVD為763。研究團隊通過I3D特徵的t-SNE可視化分析發現，合成數據與真實機器人數據的特徵分布高度重疊，說明兩者在語義層面非常接近，這也是完全依靠合成數據訓練的機器人能夠在真實環境裡取得不錯成績的根本原因。
Q2：數字遙操和傳統物理遙操相比，數據採集效率提升了多少？
A：論文中沒有直接給出採集效率的對比數字，但定性來看，數字遙操去掉了三個主要瓶頸：不再需要真實機器人硬體、不再需要固定實驗室場景、不再需要每次演示後手動復原物品。更重要的是，操作員做一次手勢演示後，可以通過換參考圖的方式讓AI在不同物體和背景下重複生成數據，理論上可以將單次演示的數據價值成倍放大。
Q3：RynnWorld-Teleop能否適用於不同品牌或結構的機器人？
A：目前需要針對具體機器人平台進行精調，這是研究團隊自己承認的局限之一。現有的第二階段訓練數據專門來自TIANJI M6加WUJI靈巧手這套組合，換了其他機器人就需要重新採集配對數據並重新精調。研究團隊認為未來可能需要以機器人運動學描述符為條件的跨具身基礎世界模型來解決這個問題，但目前尚未實現。
