這項由華東師範大學、哈爾濱工業大學、北京航空航天大學、華中科技大學、香港科技大學(廣州)、中關村學院等多家機構聯合開展的研究,以預印本形式發布於2026年7月7日,論文編號為arXiv:2607.06442,有興趣深入了解的讀者可以通過該編號查詢完整論文,代碼也已在GitHub上公開。
說到機器人,大多數人腦海中浮現的畫面是工廠流水線上的機械臂,或者科幻電影裡的人形機器。而如今,研究人員正在訓練一類更聰明的機器人——它們不僅能"看懂"畫面,還能"聽懂"語言,最終把這些理解轉化為實際的操作動作。這類機器人背後依賴的技術叫做"視覺-語言-動作模型",可以理解為一套把視覺感知、語言理解與肢體控制融合在一起的大腦。
訓練這樣的大腦,需要大量機器人演示數據——就像教一個孩子疊衣服,你得讓他反覆看大人怎麼做。但問題隨之而來:數據越多,真的越好嗎?現實情況是,現有的機器人演示數據集往往充斥著大量重複操作、質量參差不齊的示範,甚至存在明顯錯誤的動作片段。一味堆砌數據,不僅浪費計算資源,還可能讓機器人學到一堆壞習慣。
正是為了解決這個"多而不精"的困境,研究團隊提出了一套名為SIEVE(中文可理解為"篩子")的數據篩選方法。這套方法的核心思路是:與其讓機器人看遍所有演示,不如精挑細選出那些"含金量最高"的片段,讓機器人在更少的數據上學到更多可復用的行為規律。實驗結果相當亮眼——僅用50%的演示數據和50%的訓練步數,SIEVE篩選出的子集竟然能讓機器人表現超過使用全部數據的訓練效果。
一、機器人學習的困境:數據多,不等於學得好
要理解SIEVE解決的問題,得先搞清楚機器人是怎麼學習操作技能的。
目前最主流的方法叫"模仿學習",更具體地說叫"行為克隆"。原理非常直白:給機器人看大量人類或其他機器人完成任務的演示,然後訓練模型去模仿這些演示中的動作。每一條演示數據就像一段教學影片,機器人反覆觀看,試圖內化這些動作規律。
但現實中的演示數據集存在三個嚴重問題。第一個問題是大量重複:同樣把胡蘿蔔放到盤子裡這個動作,數據集裡可能有幾百條幾乎一模一樣的演示,機器人反覆學習這些高度相似的片段,既浪費時間,收益也微乎其微。第二個問題是質量良莠不齊:有些演示是人類隨手操作的,動作遲疑、路徑彎曲,根本不是值得學習的範本,把這些"壞示範"也餵給機器人,會讓它產生混亂的學習信號。第三個問題是覆蓋不均:某些簡單任務的演示堆積如山,某些複雜動作的演示卻寥寥無幾,導致機器人對不同任務的掌握程度差距懸殊。
已有的數據篩選方法試圖解決這些問題,但大多落入了兩種極端。一種是從整條軌跡的角度看數據,把每條演示壓縮成一個總體評分,然後根據評分決定留或不留。這種方式就像只看一本書的封面和簡介來判斷書的價值,容易忽略書中某些精彩的具體章節。另一種是從單個動作幀的角度逐幀篩選,這相當於把一整段舞蹈分解成一個個靜止的姿勢來評判,雖然細緻,卻失去了連貫動作序列的整體邏輯。
SIEVE的出發點是:這兩個粒度都不夠理想,機器人真正需要學習的,是介於"單幀動作"和"整條軌跡"之間的東西——那些在不同任務中反覆出現的、可以被復用的行為片段,以及這些片段之間的銜接方式。
二、從資訊壓縮理論汲取靈感:什麼樣的數據才是"好數據"
研究團隊的靈感來源於一個資訊論中的經典思想,叫做"最小描述長度原則"。這個原則乍聽起來很抽象,但換個方式理解就很直觀:假如你要向朋友描述一首歌,最好的方式不是一句一句地原文複述歌詞,而是先提煉出歌曲的旋律規律,然後用這套規律來壓縮描述。規律越多、越可復用,描述就越簡潔。
換到機器人學習的語境裡,這個原則意味著:一個好的訓練數據集,應該富含可以被機器人"壓縮"進大腦的行為規律。那些在多條演示里反覆出現的行為片段,正是這樣的規律——機器人學會了這些片段,就相當於掌握了一套行為"子程序",面對新任務時可以靈活調取和組合。
具體到機器人操作任務,研究團隊發現,一條完整的操作演示往往由若干個更基礎的行為單元組成。以"把雞蛋放進籃子"為例,整個任務可以拆解為:移動到雞蛋旁邊、抓取雞蛋、移動到籃子上方、釋放雞蛋。每一段都是相對獨立且可復用的行為單元,研究團隊將其稱為"原語"(primitives)。而連接兩個相鄰原語的過渡時刻——比如從"移動"切換到"抓取"——則被稱為"轉換接口"(transitions)。
SIEVE的核心主張是:篩選數據時,應當優先保留那些能讓機器人接觸到更多樣化的原語和轉換接口的演示,而不是盲目追求數量。
三、SIEVE的三步"精篩"流程:發現規律、分配預算、選出精品
SIEVE的工作流程可以用一個生動的比喻來理解:把它看成一個精明的圖書館員,面對堆積如山的書籍,他不僅要搞清楚每本書講了什麼故事,還要確保圖書館的藏書覆蓋各種類型的情節和轉折,同時每種類型都只留最具代表性的版本。
第一步是發現原語,也就是搞清楚"有哪些基本故事情節"。對於數據集中的每一條演示軌跡,SIEVE會先找到自然的分段點。這些分段點以機器人末端執行器(通俗說就是機器人的"手"或"手指")的狀態變化為依據——比如夾爪從張開變成閉合(抓住了東西),或者從閉合變成張開(放開了東西)。這些關鍵時刻就像句子中的標點符號,將一段連續動作自然切割成若干片段。為了排除偶然的抖動干擾,只有持續超過五幀的狀態變化才會被視為真正的分段邊界。
切割出片段之後,系統用一個預訓練的影片理解模型對每個片段進行"讀解",提取其視覺語義特徵。具體做法是從每個片段中均勻取出8幀,然後重點抓取起始幀、中間幀和結束幀的特徵,將三者拼接成一個綜合表示,既捕捉了片段的內容,也記錄了粗略的時間演變。為了降低噪聲並提高後續處理效率,特徵還會被壓縮到256維。
有了這些片段特徵之後,系統對所有片段進行聚類——就像把圖書館裡的書按照主題分類一樣,把行為相似的片段歸入同一個"原語類別"。為了自動確定最合適的類別數量,系統同時考量兩個指標:一是不同演示在經過原語表示後是否仍然保持足夠的區分度(如果所有演示看起來都一樣,說明分類太粗了);二是每個發現的原語是否在足夠多的演示中反覆出現(如果某個類別只在一兩條演示中出現,說明這不是一個普遍規律)。系統在這兩個指標之間尋找最佳平衡點,自動選出最合適的類別數量。
第二步是分配篩選預算,也就是決定"每種故事情節留多少本書"。完成原語發現後,每條演示軌跡都被表示為一個有序的原語序列,稱為"組合模式"。相同組合模式的演示被歸為一組。此時系統面臨的核心問題是:在總共只能保留一半數據的約束下,應該從每種組合模式中各取多少條演示?
SIEVE設計了一個"結構暴露目標"來回答這個問題。這個目標函數同時衡量兩件事:保留的演示中出現了多少種不同的原語,以及出現了多少種不同的轉換接口。出現在更多種組合模式中的原語和轉換,會獲得更高的權重——因為它們更具普遍性,學會了這些,機器人就能在更廣泛的場景中靈活應對。
與此同時,目標函數引入了"邊際效益遞減"的設計:同一種原語或轉換已經被很多條已選演示覆蓋了之後,再增加包含相同元素的演示,獲得的額外收益就會越來越小。這迫使系統主動尋找那些能覆蓋到新的原語和轉換的演示,而不是把預算全部砸在最常見的幾種模式上。
預算分配的過程是貪心的:每次把一個名額分配給當前能帶來最大邊際收益的組合模式,如此反覆直到總預算用完。這個策略在計算效率和分配質量之間取得了良好平衡。
第三步是在每種組合模式內部挑選最具代表性的演示,也就是"在每種類型的書里選最好的版本"。預算分配決定了每種組合模式應保留幾條演示,但具體留哪幾條,還需要進一步甄別。
這一步的關鍵思路是:相同組合模式的演示,動作邏輯是一樣的,但具體執行細節可能因人而異,有的流暢標準,有的拖泥帶水。對於機器人學習來說,最好的範本是那些最"中庸"、最具代表性的演示——它們既不是異常偏差的outlier,也不會帶來前後矛盾的學習信號。
為了找到這樣的演示,系統計算每條演示軌跡的整體特徵表示,然後在同一組合模式內部找出與其他演示平均相似度最高的那條,稱之為"中值演示"。其餘演示按照與中值演示的距離排序,最接近中心的那些被優先保留。這個策略確保了選出的演示既具有代表性,又提供穩定一致的學習信號。
四、實驗驗證:數字背後的真實表現
研究團隊在三個不同的機器人演示數據集上測試了SIEVE,涵蓋了不同的機器人形態和任務類型。
第一個場景基於Bridge-V2數據集,這個數據集包含約5.3萬條由WidowX機械臂完成的真實世界演示,任務涉及疊方塊、把胡蘿蔔放到盤子上、把湯匙放到桌布上、把茄子放進籃子等日常操作。機器人策略的評估在模擬環境中進行,特意引入了不同的廚房背景和隨機的物體擺放位置,以測試在沒見過的場景下的泛化能力——這是非常有挑戰性的評估條件。
第二個場景基於Fractal數據集,包含約8.7萬條由Google機器人完成的操作演示,任務包括抓取可樂罐、移動物體到附近、開關抽屜等。第三個場景基於GR00T-X-Sim數據集,包含2.4萬條由具有靈巧手的仿人機器人完成的模擬操作,任務涵蓋24種不同的桌面操作。
實驗將SIEVE與幾種競爭方法進行了對比。全量訓練作為基準,使用全部數據訓練完整步數。隨機採樣方法從數據集中不加甄別地隨機抽取。DemInf方法根據狀態與動作之間的互資訊來評估演示價值。SCIZOR方法通過識別冗餘軌跡和低質量狀態-動作對來過濾數據。所有方法使用相同的訓練超參數,在8塊NVIDIA H100顯卡上進行訓練。
在Bridge-V2上的核心實驗中,SIEVE在各種評估條件下都取得了最高的平均成功率。最引人矚目的結果是:僅用50%的演示數據配合25K訓練步數(相當於全量訓練一半的計算量),SIEVE的平均成功率達到56.3%,而使用全部數據訓練50K步的全量基準只有51.8%。換言之,SIEVE用一半的資源超越了全量訓練的效果,而不僅僅是與之持平。
當保留預算提升到70%時,SIEVE的優勢進一步擴大,平均成功率達到62.3%(35K步)和62.5%(50K步),再次超過所有對比方法。與SCIZOR的對比也頗具說明性:SCIZOR在"把茄子放進籃子"這個任務上表現出色,成功率高達90%以上,但在"疊綠色方塊到黃色方塊上"和"把胡蘿蔔放到盤子上"這兩個任務上成績明顯下滑。SIEVE則在四個任務上都保持了相對均衡的表現,綜合成績更優。
在Fractal和GR00T-X-Sim上,SIEVE同樣以50%數據量和50%訓練步數取得了所有方法中最高的平均成功率,分別為76.4%和54.8%,而全量訓練的對應數字是75.0%和52.7%。在GR00T-X-Sim場景中,由於訓練和評估環境都是仿真,隨機採樣也能略微超過全量訓練,說明這個場景本身對數據篩選不那麼敏感,但SIEVE仍然在所有方法中排名最高。
研究團隊還測試了SIEVE篩選出的數據是否在不同類型的VLA模型上都有效。他們選用了兩種不同架構的模型,一種用流匹配方法預測連續動作,另一種用並行連續預測配合L1損失。結果顯示,SIEVE在兩種模型上都顯著超過了隨機採樣和全量訓練,說明篩選效果並不依賴於特定的模型架構。
五、拆解實驗:每個設計細節都在起作用
為了驗證SIEVE各個組成部分的貢獻,研究團隊做了一系列消融實驗——通俗地說,就是把系統的某個部件換掉或拆掉,看看效果會下降多少。
首先是針對"結構暴露分配"階段的測試。如果去掉轉換接口的暴露項,只保留原語暴露,平均成功率從56.3%下降到50.8%,跌幅超過5個百分點。如果反過來只去掉原語暴露項,成功率下降到51.6%。兩項去除的影響都相當顯著,其中去掉轉換接口帶來的損失更大,這說明原語之間的銜接方式對於機器人學習長序列操作同樣至關重要,不亞於原語本身。
其次是針對"學習友好軌跡選擇"階段的測試。如果把"選擇最接近中心的演示"改為"選擇最遠離中心的演示"(即刻意挑選最奇特、最多樣化的演示),成功率直接跌至40.1%,比隨機採樣還差。這個結果很有說服力:在同一種行為模式內部,極端情況的演示並不是好的學習範本,反而會給機器人帶來混亂的信號。如果在每個組合模式內部隨機選擇,成功率為53.7%,好於最差情況但仍落後於SIEVE的56.3%。由此可見,有策略地挑選代表性演示,確實比隨機選或反向選都更有效。
研究團隊還通過可視化分析了SIEVE如何改變數據集的組合模式分布。原始Bridge-V2數據集中,極少數高頻組合模式占據了數據的絕大多數,而且其中有很多是只包含單一原語的簡單軌跡,組合多樣性很低。經過SIEVE篩選後,數據分布變得更加均衡,被優先保留的組合模式大多包含多個原語,覆蓋了更豐富的原語類型和轉換接口。這印證了SIEVE的設計意圖:把數據的重心從"頻繁但單一"的模式轉向"多樣且結構豐富"的模式。
說到底,SIEVE告訴我們一件聽起來簡單但實踐中容易被忽略的事:數據的價值不在於它有多少,而在於它揭示了多少可以被復用的規律。機器人的學習和人類並無本質區別——與其反覆做同一件事,不如在有限的練習中接觸更多不同類型的動作組合,學會靈活調取和拼接已有的技能。
歸根結底,這項研究提供的不僅是一個工具,更是一種思考數據價值的視角轉變:從"我有多少數據"轉向"我的數據揭示了多少可復用的結構"。這個視角的轉變,或許對未來機器人學習、乃至更廣泛的人工智慧訓練範式都有參考意義。如果你對這套方法的技術細節感興趣,可以通過arXiv編號2607.06442查閱完整論文,代碼也已在GitHub上公開。
Q&A
Q1:SIEVE方法和普通的數據隨機篩選有什麼本質區別?
A:隨機篩選只是縮減了數據量,但沒有考慮哪些數據更有價值。SIEVE的核心是識別演示數據中反覆出現的行為片段(原語)和片段間的銜接方式(轉換),然後優先保留那些能覆蓋更多不同組合模式的演示。實驗結果顯示,隨機採樣50%數據的平均成功率只有39.6%,而SIEVE用同樣50%的數據達到了56.3%,還超過了使用全量數據的訓練效果。
Q2:SIEVE方法中的"原語"是怎麼被自動發現的?
A:SIEVE通過機器人末端執行器(機械手)的狀態變化來切割演示軌跡,比如夾爪從張開到閉合就是一個自然的分段邊界。然後用預訓練影片模型提取每段的視覺特徵,再通過聚類算法把相似的片段歸為同一類原語。原語的數量由系統自動確定,標準是讓發現的原語既在足夠多的演示中反覆出現,又能區分不同軌跡的結構差異。
Q3:SIEVE篩選出的數據集換一個機器人模型訓練還有效嗎?
A:有效。研究團隊測試了兩種架構完全不同的VLA模型——一種用流匹配預測動作,另一種用並行預測配合L1損失。在兩種模型上,SIEVE選出的50%數據都超過了隨機採樣和全量訓練的效果,說明篩選收益來自數據本身的結構質量,而非針對特定模型的優化。






