這項由復旦大學與上海創新研究院聯合完成的研究，以預印本形式發布於2026年7月，論文編號為arXiv:2607.02466，有興趣深入了解的讀者可通過該編號查閱完整原文。
**機器人學什麼？這個問題比你想的複雜得多**
假設你要教一個從沒拿過任何東西的人學會做壽司。通常的做法是：請來一位大廚，讓他一邊演示一邊講解——"先這樣握刀"、"然後把魚片切成這個厚度"……這個過程需要大廚的時間，需要錄像設備，需要整理標註，成本極高。更關鍵的是，這個人的每一個動作都依賴於大廚的指點，自己沒有探索過任何東西。
當今最先進的機器人訓練方式，走的幾乎就是這條路。研究人員需要雇用操控員，讓他們戴上操控設備，一遍又一遍地遠程遙控機器人完成各種任務，比如"把胡蘿蔔放到盤子裡"或者"把南瓜推到左邊"。每一條這樣的演示數據，都需要人類全程參與，既耗時又昂貴。谷歌、斯坦福等機構積累的頂級機器人數據集，動輒包含上百萬條這樣的演示，背後是巨大的人力投入。
正因如此，當前機器人智能面臨一堵難以翻越的"數據牆"——機器人能做多少事，幾乎完全取決於人類願意花多少代價來演示。
復旦大學的研究團隊在這篇論文中提出了一個不同尋常的問題：我們真的需要每一個動作都有人類來演示和標註嗎？他們的答案是：不需要。他們認為，機器人的學習其實可以分成兩件本質不同的事——學會"怎麼動"，以及學會"該做什麼"。前者不需要任何人類指令，後者才需要。由此，他們設計了一套名為"任務無關預訓練"（Task-Agnostic Pretraining，簡稱TAP）的訓練框架，讓機器人先通過大量廉價的、沒有任何標註的互動數據來掌握運動能力，再用少量帶標註的專家演示數據來學習"該做什麼"。
結果相當出人意料：在標準模擬測試平台上，TAP的表現超過了使用超過一百萬條專家演示訓練的頂級模型；而在真實機器人實驗中，面對攝影機被人為移動位置這樣的干擾，其他頂級模型的成功率直接跌至零，TAP卻依然維持了25%的成功率。
---
**一、嬰兒是怎麼學會抓東西的——比較發育學給機器人的啟發**
在講研究本身之前，有必要先理解研究團隊的出發點，因為這個出發點來自一個日常生活中非常熟悉的觀察。
回憶一下嬰兒是如何學會使用雙手的。一個六個月大的孩子，從來沒有人正式"教"過他如何抓握——沒有父母站在旁邊說"手指要這樣彎曲，施加這麼大的力氣"。孩子是通過不斷地亂抓、亂摸、把東西推倒再撿起來的過程，逐漸建立起對物體的感知能力的。這種探索沒有目標，沒有任務，純粹是好奇心驅動下的隨機互動。但正是通過這些"無目的"的互動，孩子積累了關於物理世界的豐富經驗：圓形的東西會滾，輕的東西容易被推走，軟的東西捏起來手感不同……這些知識，在孩子後來真正學著"去拿那個紅色的球"時，發揮了至關重要的基礎作用。
研究團隊認為，機器人的學習完全可以借鑑這個邏輯。一個機器人在真正被部署到任務場景之前，完全可以先像嬰兒一樣亂"玩"一通——推推桌上的東西，隨機移動機械臂，觀察世界如何對自己的動作做出反應。這個過程不需要任何人類指令，只需要一台攝影機記錄下"動作前"和"動作後"的畫面。
這種數據在機器人學領域幾乎是隨手可得的，但長期以來被研究者丟棄，因為它沒有語言標註，沒有任務說明，被認為是"無用數據"。TAP框架的核心貢獻，就是發現並證明了這些"無用數據"其實並不無用——它們是教會機器人"怎麼動"的天然素材。
---
**二、"廢棄數據"是個寶——任務無關數據的兩大來源**
既然要用沒有標註的互動數據來訓練，那麼這些數據從哪裡來？
研究團隊識別出兩類隨手可得的數據來源，它們在傳統訓練流程中都被扔進了垃圾桶。
第一類來自現有的大型數據集。目前機器人領域已經積累了一些大型資料庫，比如BridgeData和Open X-Embodiment數據集，裡面包含了各種任務的機器人操作影片。但問題是，這些數據集中有大量的演示和你當前想訓練的任務根本不相關。比如你想訓練機器人"把胡蘿蔔放到盤子裡"，但資料庫里還有大量"打開抽屜"、"擦桌子"的影片。在傳統訓練方式下，這些不相關的演示直接被丟掉了。然而，"打開抽屜"這個動作其實包含了大量寶貴的物理知識：機械臂如何精準接觸目標、如何施力、如何感知阻力。這些知識，對於後來學"把胡蘿蔔放到盤子裡"來說，有相當大的遷移價值。
第二類則更激進——讓機器人自己去隨機探索，產生數據。研究團隊為此設計了一套自動化數據採集流程。具體做法是：先由人類操作員在機器人工作檯上隨意移動機械臂，密集覆蓋機械臂能夠到的空間，採集一批安全姿態作為"基礎姿態庫"。然後系統從這個姿態庫中隨機抽取路徑點，生成機械臂運動軌跡，並且加入一個約束規則：如果機械臂在空中停留太久，系統會強制讓它下降去碰觸桌面，確保產生真實的物理接觸動作而不是無意義的空中揮舞。整個過程中，人類的介入被降到最低，大約每三十分鐘來換換桌上的道具就行了。這套流程產生的數據，研究團隊稱之為"自主隨機玩耍"數據——機器人在無人監督的狀態下，持續推、戳、掃桌上的各種物品，積累了大量有效的物理互動經驗。
---
**三、"逆向動力學"——從結果反推過程的訓練技巧**
有了這些無標註的互動數據，下一步是讓模型從中學到東西。具體怎麼學？這裡有一個關鍵的技術設計，它有個聽起來有點繞的名字：逆向動力學（Inverse Dynamics）。
用一個日常場景來理解這個概念。假設你拿到了兩張照片：第一張是一個蘋果好好地放在桌上，第二張是同一個蘋果已經翻倒在桌子邊緣。你能猜出兩張照片之間發生了什麼動作嗎？多半能——有人推了一下蘋果，大概從右邊輕輕一推。這就是"逆向動力學"在做的事：給模型看"變化前"和"變化後"的畫面，讓模型去猜"中間發生了什麼動作"。
這個訓練方式有一個非常重要的副作用：它迫使模型去關注畫面中真正發生變化的東西。蘋果的位置變了，所以模型必須盯著蘋果看；機械臂的角度變了，所以模型必須追蹤機械臂。而那些沒有變化的東西——背景的木紋，桌上的燈光，左角的咖啡杯——統統被模型學會忽略，因為它們對預測"發生了什麼動作"沒有任何幫助。
這恰恰解釋了為什麼用這種方式訓練出來的模型對"背景變化"有更強的抵抗力。模型從一開始就沒有依賴背景特徵，它學到的是"物體和機械臂之間的關係"，而不是"在這種特定背景下做這個動作"。
在技術層面，研究團隊將這個逆向動力學訓練公式化為：給模型輸入當前時刻的畫面和下一時刻的畫面，讓模型預測這兩幀之間發生的具體動作（機械臂在x、y、z三個方向分別移動了多少，旋轉了多少角度，以及手爪是否張開）。模型通過最小化預測動作和真實動作之間的誤差來不斷優化自己。整個過程中，沒有任何語言描述，沒有任何任務說明，模型純粹在學習"畫面變化與動作之間的對應關係"。
---
**四、兩階段訓練框架——"先練身體，再練大腦"**
整個TAP框架分為兩個階段，它們的邏輯關係就像體育運動員的訓練體系：先練基本功，再練戰術配合。
第一階段，完全不涉及任何語言指令。模型接收的是大量的"無標註互動數據"，通過前面說的逆向動力學目標，學會理解物理世界的運作規律——機械臂如何精準觸及目標、物體如何響應推力、什麼樣的視覺變化意味著什麼動作。這個階段的模型就像一個接受了密集體能訓練的運動員，身體質素極好，但還不知道具體要打什麼比賽。
第二階段，才引入語言指令和少量專家演示。模型需要學習的是：當有人說"把胡蘿蔔放到盤子裡"時，如何把這句話映射到它在第一階段已經學會的物理能力上。這個階段需要的數據量極少，因為模型不需要重新學習如何控制機械臂——那已經學好了。它只需要學會"語言指令"和"物理動作"之間的對應關係。
研究團隊用一個很形象的比喻來說明為什麼這個過程有效：第一階段建立的是"如何移動"的通用能力空間，第二階段的語言對齊實際上只是在這個空間裡找到正確的出發點。如果沒有第一階段，模型既要學語言理解，又要從零開始學物理控制，兩件事混在一起往往兩件都沒學好，尤其在數據稀缺的情況下。
在架構選擇上，研究團隊以Qwen2.5-VL（一個有三十億參數的視覺語言模型）作為骨幹網路，配合SigLIP視覺編碼器處理圖像輸入，以及一個輕量級的兩層全連接網路作為動作輸出頭。模型輸出的動作是"相對位移"而非"絕對坐標"——也就是說，機械臂應該從當前位置向哪個方向移動多少，而不是直接去某個固定的空間坐標。這種設計使得物理能力更容易在不同任務和不同環境配置之間遷移。
---
**五、在模擬器里的表現——用"廢棄數據"擊敗百萬條專家演示**
研究團隊在一個名為SIMPLER的標準機器人測試平台上進行了大規模評估，這個平台使用WidowX機械臂，設置了四種不同的操作任務：把湯勺放到布上、把胡蘿蔔放到盤子裡、疊積木、把茄子放進籃子。每種任務都從兩個維度評估：機械臂能否成功抓起目標物體（稱為"部分成功"），以及能否完成完整任務包括精確放置（稱為"完整成功"）。
在實驗設置上，研究團隊做了一個重要的公平性處理：OpenVLA、NORA、π?等頂級模型，都用了和TAP完全相同的、僅有五千條專家演示的數據進行第二階段微調，以便公平對比。而TAP的第一階段則使用了兩萬條從Bridge數據集中剝離出的、原本與目標任務無關的軌跡數據。
結果如何？TAP在"綜合成功率"上達到了33.32%，而使用相同架構但沒有第一階段預訓練的標準行為克隆基線只有23.15%——這意味著TAP在完全相同的專家數據量下，成功率提升了約十個百分點。更有說服力的是，TAP的表現超過了RT-1-X（3.03%）和OpenVLA（7.75%）這兩個使用了超過百萬條專家演示數據預訓練的頂級模型，與Octo（31.31%）大致持平，雖然略低於π?（40.08%），但已經非常接近。
特別值得關注的是"部分成功率"這個指標。部分成功衡量的是機械臂能否成功抓起目標物體，這幾乎完全取決於物理控制能力，與語言理解幾乎無關。TAP在這個指標上達到了45.82%，與Octo的42.30%相當，接近π?的53.10%——而這兩個模型都是用海量標註數據預訓練的。這個結果非常清晰地支持了研究團隊的核心假設：物理操控能力，確實可以在沒有任何語言監督的情況下單獨學習並達到相當水準。
隨著第一階段預訓練數據量從八千條增加到一萬四千條再到兩萬條，TAP的綜合成功率也從24.47%、30.21%單調提升到33.32%，呈現出清晰的數據規模效應，而且曲線還沒有明顯的飽和跡象，意味著用更多數據還能繼續提升。
---
**六、真實機器人上的測試——當背景換了一塊桌布，其他模型就"瞎了"**
模擬器里的結果固然重要，但真正考驗一個機器人訓練方法的，是在物理世界裡。研究團隊在真實的WidowX 250機械臂上進行了超過六百次實驗，設置了兩個任務：把胡蘿蔔放到盤子裡，以及把南瓜推到左邊。
這兩個任務被選擇是有原因的：第一個測試精準抓取，第二個測試非抓取式的推動操作——後者要求機器人能持續施力並對球形物體的滾動偏移做出實時反應，難度更高。為了測試模型在超出訓練分布時的表現，研究團隊設計了五種測試場景，難度逐級遞增。
在標準場景下，TAP的成功率分別是40%（抓胡蘿蔔）和75%（推南瓜），與使用了大量OXE數據集預訓練的NORA模型（65%和85%）存在一定差距，這是正常的，畢竟NORA的預訓練數據量要大得多。
真正分出勝負的是後面幾個擾動場景。當桌上擺了一堆亂七八糟的水果作為視覺干擾時，基線模型的成功率驟降到5%，NORA降到60%，但TAP依然維持在65%的推南瓜成功率，並且在抓胡蘿蔔任務上也保持了30%。這說明TAP在第一階段學到的是"追蹤目標物體和機械臂之間的因果關係"，旁邊多幾個不相關的水果對它的判斷幾乎沒有影響。
當桌布換成一塊顏色鮮艷的布料時——背景紋理發生了根本性變化——NORA在推南瓜任務上的成功率降到55%，基線模型直接跌至0%，而TAP依然保持65%，完全沒有受到影響。更極端的是攝影機位置被人為移動的情況，這相當於給機器人換了一雙眼睛的視角：NORA和基線模型的成功率雙雙跌至0%，TAP仍然分別保持了15%（抓胡蘿蔔）和25%（推南瓜）的成功率。
從五種場景的平均成功率來看，TAP的推南瓜綜合成功率達到61%，反而略高於NORA的56%。這意味著，僅靠三十小時的無人監督"隨機玩耍"數據加上二百條專家演示，TAP在複雜、多變的真實世界場景中，實際上已經超越了需要上百萬條專家演示才能達到的基線水準。
---
**七、為什麼有效——注意力地圖揭示的機器視覺秘密**
為了理解TAP為何在背景擾動下表現得如此穩健，研究團隊使用了一種叫做Grad-CAM的可視化技術，讓模型"告訴"我們它在看什麼地方——也就是哪些區域的圖像像素對它的決策影響最大，用熱力圖的形式呈現出來。
經過第一階段預訓練（沒有任何語言輸入）的模型，注意力幾乎完全集中在機械臂和目標物體上——在模擬器場景中是胡蘿蔔，在真實場景中是南瓜。木紋背景、桌面細節全部被抑制，熱力圖在那些區域幾乎一片冷色。這個結果直接驗證了逆向動力學訓練的設計邏輯：要預測"發生了什麼動作"，你必須追蹤發生變化的東西，而背景是不變的，所以模型自然學會了忽略它。
進入第二階段加入語言指令後，注意力圖發生了有趣的變化：焦點從"物體"進一步收窄到了"機械臂本身"。研究團隊的解釋是：語言指令起到了一種"剪枝"的作用——在第一階段，模型識別到多個潛在的可操作物體，不確定該關注哪一個；加入"把胡蘿蔔放到盤子裡"這條指令後，模型鎖定了執行者（機械臂），全力確保動作精準執行。
在真實世界的換背景測試中，這種注意力模式保持了高度一致——即使桌面變成了一塊彩色布料，模型的注意力圖仍然牢牢鎖定在南瓜和機械臂上，背景紋理對它幾乎沒有任何干擾。這從可視化角度直接證明了TAP學到的物理表示具有跨場景的泛化能力。
---
**八、數據規模實驗——預訓練的多少，決定了能走多高**
研究團隊還做了一個系統性的"雙軸掃描"實驗：把第一階段訓練步數從兩萬步擴展到十萬步，同時把第二階段微調步數從兩萬步擴展到十萬步，記錄所有組合下的最終成功率，生成了一張完整的熱力圖。
這張熱力圖揭示了一個關鍵規律：最終成功率的上限，由第一階段的預訓練規模決定，而不是由第二階段的微調步數決定。當第一階段訓練不足（只有兩萬步）時，無論第二階段微調多久，成功率基本卡在18%左右，無法突破。相反，當第一階段訓練充分（十萬步）時，成功率可以突破30%。在熱力圖上，顏色的深淺沿縱軸（第一階段規模）的變化，明顯大於沿橫軸（第二階段規模）的變化。
這個結果有一個非常直觀的含義：如果想進一步提升機器人的能力，最有效的投入方向不是花更多錢請人類做更多專家演示，而是讓機器人自己去更多地隨機探索，積累更豐富的物理互動經驗。這個結論對於降低機器人訓練成本具有相當大的實踐價值。
---
**九、失敗案例分析——它還做不到什麼**
研究團隊對真實機器人實驗中的失敗案例進行了系統分類，發現大約四分之一的失敗屬於"執行層面"的問題：模型認對了目標，打算做正確的事，但在精細物理接觸環節出了問題——機械臂末端從物體上滑開了、預抓取位置偏差了幾毫米、或者從單個攝影機角度難以準確判斷物體的深度位置。
而另外四分之三的失敗屬於"語義層面"的問題：物理執行本身非常流暢，但做的是錯誤的事。最典型的場景是，桌上有干擾物品時，機器人完美地抓起了一個干擾物，而不是目標物體。另一種常見的失敗模式是，在需要連續多步操作的任務中，模型"卡殼"了，反覆重複某個動作無法推進。
這個比例分布——75%的失敗是語義問題而非執行問題——恰恰從側面再次驗證了研究團隊的核心判斷：TAP已經把"怎麼動"這一關打得相當好了，當前主要的瓶頸在於"在複雜語境下搞清楚該做什麼"，這需要更強的語言推理能力，是未來需要繼續攻克的方向。
---
**十、這意味著什麼——機器人訓練範式可能要變了**
歸根結底，這項研究傳遞了一個簡單但具有顛覆性的資訊：給機器人做大量昂貴的專家演示，未必是訓練好機器人的唯一路徑。
機器人自己去"玩"，然後用少量指導來對齊語言，這套路線在實驗中表現出了令人意外的競爭力。更重要的是，這種方式天然產生了對外觀變化的魯棒性，因為模型從一開始就沒有依賴背景特徵，而是學會了關注物理世界的因果關係。
當然，這項研究也有它尚未解決的局限。測試的任務種類相對有限，都是單步或少步驟的操作；實驗的機器人平台只有WidowX一種；更複雜的長程操作任務中語義推理的瓶頸尚未被攻克。但作為一個關於"廉價數據是否可以替代部分昂貴數據"這一問題的初步回答，這項工作給出的證據相當有說服力。
對於整個機器人研究領域來說，這項工作或許意味著：數據採集策略本身值得重新設計——與其全力壓低專家演示的成本，不如先讓機器人大量自主探索，建立紮實的物理先驗，再用有限的專家指導來點題。這條路，在資源有限的環境下，或許走得更遠。
對文章感興趣的讀者，可通過arxiv.org搜索論文編號arXiv:2607.02466查閱完整原文。
---
Q&A
Q1：任務無關預訓練（TAP）和普通機器人訓練方式有什麼區別？
A：普通機器人訓練需要大量人類專家一邊遙控機器人完成任務一邊錄製，每條數據都需要人類參與，成本極高。TAP把訓練分成兩步：第一步讓機器人自己隨機探索，不需要任何人類指令，用這些廉價數據學習基本的物理運動能力；第二步才用少量專家演示數據讓機器人學會"該做什麼"。這樣大幅減少了對昂貴專家數據的依賴。
Q2：TAP為什麼在背景換桌布或攝影機角度變化後還能正常工作，而其他模型不行？
A：TAP在第一階段訓練時使用的是"逆向動力學"方法，讓模型通過預測"兩幀畫面之間發生了什麼動作"來學習。因為背景是不變的，模型自然學會了忽略背景，只關注會移動的東西（機械臂和目標物體）。所以背景換了也好，攝影機角度變了也好，模型關注的核心特徵並沒有消失，因此表現穩定。其他基線模型則在訓練時把背景特徵也學進去了，背景一變就"找不著北"了。
Q3：TAP用了多少數據，和頂級模型相比差距有多大？
A：TAP第一階段使用約兩萬條無標註軌跡數據（或三十小時的機器人自主探索錄像），第二階段使用五千條（模擬）或兩百條（真實場景）專家演示。相比之下，OpenVLA、Octo、NORA等頂級模型都使用了超過八十萬到一百萬條人類標註的專家演示數據進行預訓練。在模擬測試中，TAP的綜合成功率超過了這些頂級模型；在真實場景的多擾動條件下，TAP的平均成功率也與甚至超過了這些使用海量數據的模型。
