先問你一個問題。
如果你要教一個機器人疊毛巾，你會怎麼教？大概率是讓它看無數遍人疊毛巾的影片，然後模仿動作。這是現在機器人學習的主流思路，叫做模仿學習。但這裡有個隱藏的漏洞：機器人學會了"看到毛巾就折"這個動作，卻不一定理解"折毛巾"這件事背後的物理邏輯，比如布料會怎麼變形、力氣該用多大。
這就好比一個孩子背下了"1+1=2"，卻不明白加法到底是什麼意思。一旦題目稍微變一下，比如換成"1+2"，他就懵了。
這正是AgiBot研究團隊在這篇論文裡想解決的問題。他們提出了一個叫GE-Act 2.0的系統，全稱Genie Envisioner Act 2.0，試圖讓機器人不僅會"做動作"，還能先在腦子裡"預演"一下將來會發生什麼，再據此決定怎麼動手。這類系統有個專門的名字：
世界-動作模型
（World-Action Model, WAM）：一種先預測場景會如何演變，再根據這個預測來生成動作的機器人學習範式。它和傳統的"看圖做動作"不同,多了一步"預見未來"的環節。
核心問題：大家都在借用別人的眼睛
這裡有個挺反直覺的事實。
你可能以為,既然世界-動作模型這麼厲害,那做這類研究的團隊肯定都是從頭訓練一套完整系統。但事實並非如此,幾乎所有現有的世界-動作模型,都是拿別人訓練好的影片生成器來"改裝"的,比如NVIDIA的Cosmos或者阿里的Wan。這些影片生成器原本是為了生成好看的、逼真的影片而設計的,壓根不是為了給機器人做決策服務的。
這就好比你想造一輛賽車,但沒有自己設計發動機,而是直接把一輛家用轎車的發動機拆下來裝上去。它能跑,但跑不快,因為發動機的設計初衷就不是為了賽道。
這種"拿來主義"帶來了兩個實實在在的麻煩。
第一個麻煩是效率問題。這些通用影片生成器為了保證畫質,壓縮率做得很保守,通常只把畫面空間維度壓縮8倍或16倍,這意味著每一幀圖像被編碼後還是一大堆數據(專業說法叫"token",可以理解為資訊的最小處理單元)。對機器人來說,這是致命的,因為機器人需要實時決策,處理的資訊越多,反應就越慢。
第二個麻煩更隱蔽:這些生成器學的是"如何把圖片畫得逼真",而不是"圖片裡藏著哪些和動作相關的資訊"。換句話說,它們可能把一堆像素渲染得完美無瑕,卻壓根不知道哪塊像素代表了"手要往哪邊移動"這種對機器人真正重要的資訊。
所以這篇論文提出了一個大膽的想法:所有可訓練的生成和動作模組,全部從零開始,只用機器人操作相關的數據來訓練,不借用任何預訓練的影片生成器。
這個決定聽起來有點冒險,畢竟從零訓練比微調一個現成模型難得多,數據需求也大得多。但研究團隊顯然認為,這是解決"借來的眼睛看不清動作細節"這個根本問題的唯一辦法。
三個核心組件:壓縮、預測、對齊
GE-Act 2.0這套系統由三個核心部分組成,分別解決三個不同層面的問題。
第一個是控制導向自編碼器(Control-oriented Autoencoder, CoAE),負責把攝影機看到的畫面壓縮成一小串精煉的數字信號,同時確保這串信號里包含了機器人做動作所需的關鍵資訊。
第二個是單步視覺規劃器(Single-step Visual Planner, SVP),負責根據當前畫面和語言指令,一步到位地"想像"出完成這個指令後場景會變成什麼樣。
第三個是逆動力學模型(Inverse Dynamics Model, IDM),負責根據"現在長什麼樣"和"接下來會變成什麼樣"這兩組資訊,反推出中間需要執行哪些具體動作。
這三者的關係,有點像一個人做飯前先看看冰箱裡有什麼食材(CoAE壓縮觀察),腦子裡過一遍做完這道菜端上桌是什麼樣子(SVP預測未來),然後再琢磨具體該怎麼切菜、怎麼翻炒(IDM推算動作)。
接下來我們把每個部分拆開看看,它們各自解決了什麼難題。
控制導向自編碼器:極致壓縮,但不能丟了"控制感"
先說CoAE。它做的事情,是把一張攝影機拍到的畫面,壓縮成極少量的數字信號。具體多極致呢?常規的影片壓縮技術通常把畫面空間壓縮8到16倍,而CoAE直接壓縮64倍。在論文使用的256×384解析度畫面下,一整張圖最後只剩下24個token,相當於把一本書壓縮成一句話摘要。
這種極限壓縮聽起來很爽,但問題也隨之而來:壓縮得這麼狠,會不會把重要資訊也丟掉了?
研究團隊的答案是:關鍵要看壓縮的時候你在優化什麼目標。如果只是為了讓壓縮後的圖能被完整還原(也就是常規自編碼器的訓練方式),那模型學到的更多是"怎麼把顏色、紋理這些視覺細節記住",而不是"哪些視覺變化意味著動作發生了"。
於是CoAE在訓練時加入了一個額外的機制,叫多教師特徵對齊。
多教師特徵對齊:讓壓縮後的信號不僅要能還原出原圖,還要向三個預訓練好的"專家模型"看齊,分別學習語義資訊(來自SigLIP,一個理解圖片語義的視覺模型)、時空運動資訊(來自V-JEPA 2.1)、以及結構細節(來自DINOv3)。這樣一來,壓縮出來的那一小撮數字里,既保留了畫面細節,又攜帶了"這個動作在做什麼"的線索。
打個比方,這就像你要給朋友轉述一部電影的內容,如果只是隨口說說,你可能記住的是畫面好不好看、演員帥不帥;但如果你知道朋友接下來要根據你的轉述去寫影評,你自然會有意識地記住劇情邏輯、人物動機這些真正重要的資訊。多教師對齊做的就是這件事:提前告訴壓縮器"你壓縮出來的東西以後是要用來判斷動作的",逼著它把注意力放在真正有用的資訊上。
那這套設計到底有沒有用?團隊做了兩個實驗來驗證。
第一個實驗叫動作恢復測試,簡單說就是凍結住壓縮器,只用一個簡單的兩層小網路,看能不能從壓縮後的信號里反推出機器人當時執行的動作。結果顯示,CoAE的誤差是0.01673,雖然比專門做特徵提取的DINOv3(0.01273)和V-JEPA 2.1(0.01487)略高,但差距只有13%到31%,而CoAE用的token數量只有它們的十六分之一。相比之下,同樣壓縮64倍但沒有做多教師對齊的DC-AE,誤差高出54%;專注語義理解的SigLIP,誤差更是高出88%。
第二個實驗叫指令匹配測試,考察壓縮後的信號能不能準確判斷一段指令是否和當前畫面對應。CoAE在這項測試里拿到了97.95%的準確率,錯誤率只有2.05%,比第二名DC-AE低了24%,是V-JEPA 2.1錯誤率的一半左右。
這兩組數據放在一起說明了什麼?說明CoAE找到了一個很微妙的平衡點:用極少的token,做到了接近專業特徵提取模型的效果,同時還保留了能夠還原圖像的能力。如果沒有多教師對齊這一步,單純追求壓縮率(就像DC-AE那樣),反而會在兩項測試里都表現更差,證明壓縮率本身不是決定資訊質量的關鍵因素,訓練時用什麼目標去引導壓縮過程才是。
單步視覺規劃器:一步到位地"預演未來"
接下來是SVP,這是整套系統里技術含量最高的部分。
先說清楚它要解決的問題。世界-動作模型需要先"想像"未來的場景,再根據這個想像生成動作。但傳統的影片生成技術,通常需要經過幾十甚至上百步的"去噪"過程才能生成一張清晰的圖,這個過程叫擴散模型(Diffusion Model)去噪。
這就帶來一個麻煩。如果要讓整個系統端到端訓練,也就是讓動作生成的誤差能夠反過來指導影片生成器怎麼改進,你就得讓梯度(誤差信號)一路穿過這幾十步去噪過程,傳回到最初的輸入。這個計算量和顯存消耗大到離譜,好比你要檢查一份文件里的某個錯別字,卻得把整份文件從頭到尾抄寫一百遍才能定位到它。
正因為這個瓶頸,之前的很多同類系統(比如論文提到的VPP、DreamZero,還有團隊自己的上一代GE-Act 1.0)乾脆放棄了這條路,改成從影片生成過程中間的某個狀態里直接讀取資訊來預測動作,而不是等一個完整的影片生成完。但這樣做的代價是,動作模組被死死綁定在影片生成器身上,沒法用那些沒有語言標註、甚至是失敗了的機器人操作數據單獨訓練。
而失敗數據、部署時產生的真實數據,恰恰是最容易大量獲取、卻最難被現有方法利用的資源。
於是研究團隊提出了單步視覺規劃器,核心思路是讓影片生成從"幾十步去噪"壓縮成"一步到位"。這項技術的理論基礎叫MeanFlow(平均流匹配),簡單理解就是:與其一步步小碎步地把噪聲磨成清晰圖像,不如直接訓練一個模型學會計算"從純噪聲到最終圖像"這一整段路徑的平均方向,然後一次性走完。
一步生成的意義在哪?
意義在於,它把逆動力學模型(IDM)和視覺規劃器(SVP)的訓練徹底解耦了。IDM可以先單獨用大量的機器人真實動作數據訓練(哪怕這些數據沒有語言標註、甚至包含失敗案例),SVP也可以先單獨用大量影片數據訓練(哪怕這些影片完全沒有動作標籤,比如人類做家務的第一視角影片)。等兩邊都練得差不多了,再把它們接起來,做一次聯合訓練,這時候因為生成過程只有一步,梯度可以順暢地從動作誤差一路傳回影片生成器,而不需要承受幾十步去噪的計算負擔。
這就好比兩個樂手,一個專攻小提琴,一個專攻鋼琴,他們完全可以先各自苦練基本功,不需要一開始就綁在一起排練。等各自都練得足夠紮實,再合練協奏曲,效果反而更好,而且合練的成本也低得多。如果一開始就強行綁在一起從零開始學,不僅每個人的基本功都練不紮實,合練的成本還會高到無法承受。
多尺度視覺預測:既要看清眼前,也要看清遠方
SVP還有一個巧妙的設計,叫多尺度視覺預測。
這個設計要解決的問題是:機器人在做一個動作時,既需要知道接下來幾秒鐘的細節動作怎麼做,也需要知道整個任務大概要往哪個方向發展。如果只盯著近處的細節,機器人可能會"走一步看一步",缺乏整體規劃;但如果每一幀都用同樣高的精度去預測很遠的未來,又會浪費大量計算資源在那些暫時不重要的細節上。
於是團隊採取了分層策略:近期的幾幀(稱為"密集幀")用高時間解析度密集預測,負責指導精細的手部動作;遠期的幾幀(稱為"稀疏幀")則用低解析度、跨度更大的方式預測,負責保留任務的整體走向和意圖。
這有點像你規劃一次長途自駕游。出發前幾公里的路況你會仔細看導航,精確到每一個紅綠燈;但對幾百公里外的終點,你只需要一個大致方向,不需要精確到每條街道。
場景理解與語言的結合:讓"它"知道你說的"它"是誰
SVP面臨的另一個挑戰是語言理解。比如你對機器人說"把它放到紅色碗後面",這句話里的"它"和"紅色碗"到底指的是哪個物體,必須結合當前畫面才能判斷,單靠語言本身是猜不出來的。
一些常見的影片生成系統(比如Wan)通常用一個只處理文字的編碼器來理解指令,把"結合場景理解指令"這個任務丟給後面的生成網路自己去解決。GE-Act 2.0換了個思路,直接用一個視覺語言模型(Vision-Language Model, VLM,這裡用的是Qwen3.5)同時"看"當前畫面和"讀"指令文字,讓理解過程本身就帶著畫面資訊。
更細緻的是,團隊發現VLM不同層級的神經網路輸出攜帶的資訊側重點不一樣,有的偏語言字面意思,有的偏空間位置,有的偏視覺細節。所以他們設計了一個可學習的門控機制,讓模型自己判斷在當前情境下,應該更依賴哪一層的資訊,然後把這些資訊融合起來餵給生成網路。
知識對齊選擇優化:解決"一個問題多種正確答案"的矛盾
接下來是這篇論文裡我認為最有意思的一個發現,團隊把它稱為驗證鴻溝(Validity Gap)。
先說這個問題是怎麼被發現的。機器人完成同一個任務,往往有好幾種同樣正確的做法。比如抓一個杯子,可以從左邊抓也可以從右邊抓,可以現在抓也可以等一秒鐘再抓。但在訓練數據里,每一段演示只記錄了其中一種做法。
問題出在聯合訓練階段。SVP會隨機生成一個"預測的未來畫面",這個畫面可能描繪的是"從左邊抓"這個版本,但訓練數據里記錄的真實動作卻是"從右邊抓"。如果強行把這兩者配對,拿"預測的左邊抓畫面"去訓練模型預測"右邊抓的動作",模型就會陷入混亂,因為它接收到的視覺資訊和期望輸出的動作根本不是一回事。
團隊做了一個簡化的玩具實驗來驗證這個問題的嚴重性。他們構造了一個只有四種可能"未來畫面"、對應兩種"正確動作"的簡化系統,分別測試了四種訓練策略。結果顯示,如果不做任何處理,直接把生成的畫面和真實動作硬配對訓練(論文稱為端到端聯合訓練),模型最終學出來的動作分布會坍縮成單一的平均值,原本兩個清晰的動作峰值全部消失,變成了模糊的一團。哪怕保留了SVP和IDM各自的預訓練目標(稱為E2E+PT),問題依然存在,只是從"完全坍縮"變成了"坍縮到兩個動作模式的中間值"。
為了解決這個問題,團隊提出了知識對齊選擇優化(Knowledge-Aligned Selective Optimization, KASO)。
它的思路是這樣的:與其被動接受一個隨機生成的未來畫面,不如讓SVP一次性生成好幾個候選未來畫面(論文裡用的是4個),然後用當前正在訓練的IDM去逐一"評分",看哪個候選畫面對應的動作最接近訓練數據里記錄的真實動作。只有分數最高(也就是最"兼容"真實動作)的那個候選畫面,才會被拿去參與最終的聯合訓練。
這套機制的關鍵設計是,評分不是在畫面像素層面比較相似度,而是在動作空間裡比較。兩個畫面即便看起來完全不一樣(比如背景里的雜物位置不同),只要它們暗示的動作是一致的,就算兼容;反過來,一個看起來很逼真的畫面,如果暗示的是另一種做法,就應該被排除。
這就像找工作時的簡歷篩選。你不會只看簡歷排版是不是好看(對應像素層面的相似),而是要看這份簡歷描述的工作經歷和你要招的崗位是不是匹配(對應動作層面的兼容性)。排版再漂亮,內容不對口也沒用。
那個玩具實驗裡,採用KASO策略的模型成功恢復出了完整的四種畫面模式,以及兩個清晰分離的動作峰值,和真實數據的分布幾乎一致。
真實機器人上的效果同樣明顯。在一個四物體抓取實驗裡,KASO的抓取成功率達到37.5%,比只保留預訓練損失但不做選擇的E2E+PT高出15個百分點;在單物體抓取實驗裡,KASO把成功率從12%直接提升到40%,提升了28個百分點。這些數字背後傳遞的資訊很直接:光靠"保留原來的訓練目標"還不夠,必須主動去篩選出真正兼容的訓練樣本,才能守住動作的多樣性。而這種多樣性,對後續如果要用強化學習進一步優化模型至關重要,畢竟如果動作分布已經坍縮成單一模式,強化學習就沒有多樣的選擇空間可以探索了。
數據規模的秘密:從300小時到3萬小時會發生什麼
講完了方法,接下來看看實驗結果,這部分數據相當紮實。
團隊用了三種不同規模的訓練數據,分別是300小時、1200小時、5000小時、3萬小時的機器人操作數據(數據來源涵蓋兩種機器人本體G1-OP和G2-90D,以及仿真數據、開源數據集、人類第一視角影片等)。他們在100個真實機器人任務上做了測試,這些任務被歸類到20個技能組,覆蓋抓取、放置、擦拭、堆疊、傳遞、摺疊、扶正、傾倒、推動、插入等多種操作類型。
這裡必須強調一個評測原則:所有測試都是零樣本分布外評測(zero-shot OOD)。
零樣本分布外評測:模型在評測前完全沒有針對具體測試任務做過任何微調或演示學習,而且測試場景的背景、光照、物體實例都是訓練時沒見過的。這種評測方式測的是模型"預訓練本身"的能力,而不是"微調之後"的能力,更能反映模型的真實泛化水平。
這一點很重要,因為業內很多同類研究習慣先在目標任務上做針對性微調,再報告成績,這樣測出來的分數很難說清楚到底是預訓練學得好,還是微調數據餵得多。GE-Act 2.0選擇了一條更硬核的路:不做任何微調,直接看預訓練模型能打多少分。
結果如何呢？
數據規模從300小時擴大到3萬小時,G1-OP這個主力機器人本體上的整體成功率從17.1%一路漲到44.1%,提升了27個百分點。
G2-90D這個數據占比不到2%的"小眾"機器人本體上,成功率也從13.4%漲到31.1%,提升了17.7個百分點。
更值得玩味的是覆蓋面。在G1-OP的20個技能組裡,有19個組的成績隨著數據增多而變好;G2-90D是18個組變好。具體到單個任務,能做出成績(成功率大於0)的任務數量,G1-OP從39個漲到76個,G2-90D從24個漲到72個,幾乎翻了三倍。
而且這個曲線到3萬小時還沒有飽和的跡象,從5000小時到3萬小時這一段,漲幅依然很大,說明如果繼續加數據,成績大概率還能往上走。
這裡有個特別有意思的發現,就是關於G2-90D這個"小眾"機器人的表現。它在整個訓練數據里占比不到2%,卻依然獲得了17.7個百分點的提升,這說明模型從占絕對多數的G1-OP數據里學到的東西,能夠有效遷移到一個幾乎沒怎麼見過的機器人身上。
打個比方,這就像一個人先在桌球上練出了紮實的手眼協調和反應速度,雖然從沒正式學過網球,但轉過去打網球時依然會比完全沒運動基礎的人上手快得多。身體協調這套底層能力是可以遷移的,不需要每種球類運動都從零練起。
如果沒有這種跨本體遷移能力會怎樣?那意味著每引入一種新機器人,都得單獨收集海量數據從頭訓練,成本會高到無法承受,這也是當前機器人產業規模化落地的一個核心難題。
團隊還進一步分析,發現哪怕在數據極度稀缺的情況下(比如G2-90D里某個技能組的訓練數據不到2小時),依然能從0%成功率提升到有實際效果,比如"翻轉"技能組只靠1.2小時的專屬數據就達到了20%的成功率,"分離"技能組只靠1.25小時就達到了16.7%。這進一步印證了跨本體、跨任務的知識遷移是真實存在的,不是數據湊巧對上了。
技能覆蓋度和成功率的關係:數據多寡真的決定了會不會
團隊還做了一個很有說服力的統計分析。他們把訓練語料里每個技能類別的總時長,和這個技能在3萬小時模型上的零樣本成功率放在一起做相關性分析,結果發現兩者的皮爾遜相關係數達到0.80,斯皮爾曼等級相關係數達到0.85,這在統計學上屬於相當強的正相關。
具體的量化關係是:訓練數據每增加十倍,該技能的成功率(用logit尺度衡量,一種更適合表示概率變化幅度的數學變換)大約提升1.94個單位。
這個發現回答了一個此前看起來有點費解的現象。比如"堆疊"這個技能,需要精確對位和保持穩定,聽起來應該很難學會,但因為訓練數據里這類任務積累了756.2小時,最終成功率能達到41.4%;而"擦拭"和"掃地"這兩個動作看起來很相似,都是用工具在表面上移動,但"擦拭"有824.1小時數據支撐,成功率76.7%,"掃地"只有64.6小時數據,成功率只有3.3%,差距懸殊。
這說明什麼?說明機器人學不會某個動作,很多時候不是因為這個動作本身"太難",而是因為相關的訓練素材根本不夠。這就好比兩個學生,一個每天練習十道數學題,另一個每天只練一道,幾個月後哪怕兩人智商相當,做題準確率也會天差地別,原因不是題目難度不同,而是練習量不同。
如果只看單個技能的表面難度,而不去核算背後的數據積累,很容易得出"某個動作本質上就是難學"這種誤導性結論,進而錯誤地把研發資源投向改進算法本身,而不是去補充相應的數據。
複雜場景下的指令跟隨:精細到什麼程度
除了看整體成功率,團隊還專門設計了一組實驗,考察模型在複雜場景里能不能精準理解各種細節化的語言指令。
他們把指令理解拆成六個維度:物體身份(比如"拿起黑色滑鼠")、顏色、大小、形狀、位置、順序(比如"從左邊數第二個杯子")。測試場景經過精心設計,讓好幾種動作在視覺上看起來都說得通,只有指令里明確指定的那個目標才是唯一正確答案。
測試結果顯示,GE-Act 2.0在物體身份、顏色、位置、形狀這四個維度上表現相當穩定,跟隨得分(只要求碰到正確目標,不要求完全完成動作)都在90%以上。但在大小和順序這兩個維度上明顯掉隊,大小維度跟隨得分降到82.5%(抓取)和65.7%(放置),順序維度更是只有13.3%和26.7%。
團隊進一步分析發現,這個能力分布,和訓練語料里各種描述方式出現的頻率高度吻合。在GE-Act 2.0的訓練語料里,順序類描述(比如"第二個""中間那個")只占0.13%,大小類描述占0.96%,都是極其稀少的長尾表達;而物體身份和顏色分別占了58.3%和29.6%,是絕對的高頻詞。
這個發現說明的道理挺樸素的:模型學得好不好,某種程度上就是數據餵得多不多的直接反映。你幾乎沒教過它"順序"這個概念該怎麼用,它自然也學不會精確執行"拿第二個"這種指令。
指令衝突下的表現:說話算不算數
最後這部分實驗挺有意思,團隊設計了一些"刁難"性質的測試,考察機器人是不是真的在"聽指令做事",還是只是被視覺場景牽著鼻子走。
第一種測試叫行為衝突。研究人員會在機器人手已經伸到某個物體旁邊、甚至已經開始抓取動作的時候,突然改變指令,換一個目標物體,或者換一隻手來操作。這種情況下,如果機器人只是根據"當前手在哪裡"這種慣性來行動,它很可能會無視新指令繼續完成原來的動作。
測試結果顯示,當指令換了執行的手臂時(比如從右手換成左手),機器人幾乎沒有猶豫就切換了;但當指令換了目標物體、且手已經很接近原目標時,機器人會有一小段"慣性動作",然後才逐漸調整軌跡,轉向新目標。
這個細節挺耐人尋味的。它說明訓練數據里"手已經靠近某個物體,大概率就會去抓它"這種強關聯被模型學到了,這本身是合理的,因為絕大多數真實演示里確實是這樣發生的。但當明確的新指令出現時,模型依然能夠克服這種慣性,只是需要一點反應時間。
第二種測試叫語義衝突。研究人員故意設計一些違反常規認知的指令,比如把一個杯子放到鞋盒裡(常規認知里鞋盒是用來裝鞋的,不是裝杯子的)。測試結果是,機器人依然按照指令完成了這個"反常"的放置動作,沒有被"鞋盒應該裝鞋"這種訓練數據里可能存在的刻板關聯帶偏。
這兩組測試合起來說明,GE-Act 2.0的指令跟隨不是簡單的"看圖猜動作",而是真正把語言指令作為決策的最高優先級依據,即便這個指令和視覺慣性或常識認知相衝突。
寫在後面
讀完這篇論文,有一個細節讓我印象特別深,就是那個驗證鴻溝的發現。
很多人在做端到端訓練的時候,默認假設是"數據越真實、越貼合訓練場景就越好",但這篇論文提醒我們,即便你的每一份原始數據都是真實、正確的,把它們隨意組合在一起用來訓練,依然可能製造出虛假的矛盾信號。這個問題不是數據質量的問題,而是數據配對方式的問題,這一點在很多其他涉及多模態對齊的場景里,恐怕也是被低估的隱患。
另外一個值得琢磨的地方是,這篇論文選擇了從零訓練整個系統,而不是延續行業慣例去微調一個現成的影片生成器。這個決定意味著他們要承擔更高的數據需求和訓練成本,但換來的是一個真正為控制任務優化過的表示空間。這讓我想到一個更普遍的問題:當一個領域裡大家習慣性地"復用"某個基礎模型時,到底有多少人認真問過,這個基礎模型的訓練目標,是不是真的和自己要解決的問題一致?
論文裡那個G2-90D只占2%數據卻獲得大幅提升的結果,也讓我重新思考"數據規模"這個詞的含義。它可能不只是說"數據量大就好",而是說,當一個系統的底層表徵學得足夠紮實,它能從其他相關經驗里"借"到能力,這種借用能力,或許才是規模化訓練真正值錢的地方。
那麼下一個問題是,當我們不斷往這類系統里塞入更多數據,那些真正稀缺、長尾的技能,會不會永遠因為"數據不夠多"而學不好?還是說,總有一天,模型的遷移能力會強大到,哪怕只見過寥寥幾次某個動作,也能舉一反三地做對?
Q&A
Q1：GE-Act 2.0是什麼？
A：GE-Act 2.0是AgiBot團隊提出的一個世界-動作模型,由控制導向自編碼器、單步視覺規劃器和逆動力學模型三部分組成,所有可訓練組件都從零開始在機器人操作數據上訓練,不依賴任何預訓練的通用影片生成器。
Q2：KASO解決了什麼問題？
A：KASO解決的是驗證鴻溝問題,也就是模型生成的預測未來畫面和記錄的真實動作對不上號的矛盾。它讓系統生成多個候選未來畫面,用逆動力學模型逐一評分,只挑選和真實動作最兼容的候選畫面參與訓練,從而保留住動作的多樣性。
Q3：GE-Act 2.0的數據規模擴展效果如何？
A：訓練數據從300小時擴大到3萬小時,主力機器人G1-OP上零樣本成功率從17.1%提升到44.1%,數據占比不到2%的小眾機器人G2-90D也從13.4%提升到31.1%,說明擴大數據規模能帶來跨機器人本體的能力遷移。
