2026年初，機器人圈裡流傳著一個說法：想讓AI操控機械臂幹活，你要麼花大價錢收集海量機器人數據從頭訓練一個專用模型，要麼把大語言模型的智能壓縮成一堆看不懂的數字信號。前者燒錢燒時間，後者聽起來更離譜，好比讓一個精通物理學的教授去擰螺絲，結果教授腦子裡那些關於槓桿原理、材料力學的知識全被扔掉了，只留下"往左擰三圈"這種機械指令。
新加坡國立大學Show Lab的研究者們盯著這個矛盾看了很久，然後提出一個聽起來簡單到有點不可思議的方案：既然VLM（視覺語言模型，能同時理解圖片和文字的AI）已經知道什麼是杯子、什麼是抓握、什麼叫"往左移動"，為什麼不直接讓它用人類能聽懂的語言去操控機器人，而不是先把這些語言翻譯成一堆矩陣參數？
這篇論文的名字就叫《Show-Harness: Just a VLM Agent Can Play Robots》,標題里那個"Play"用得很妙,既是"操控"也是"玩",暗示著這套系統想做的事情就是讓AI像玩遊戲一樣自然地控制機器人的手臂。
機器人操控卡在哪兒了
先說清楚這個領域到底難在哪。
過去幾年主流的解決方案叫VLA模型
VLA：Vision-Language-Action的縮寫，字面意思是"視覺-語言-動作"模型，做法是把一個預訓練好的視覺語言模型接上一個動作輸出層，讓它直接學會把攝影機畫面和語言指令轉換成機械臂關節的具體轉動角度或末端位置坐標。
問題出在這個"接上動作輸出層"的過程。原本VLM腦子裡裝著的是關於世界的常識，比如它知道蘋果是圓的、易碎的東西要輕拿輕放、抓取細長物體要用捏的姿勢而不是整隻手掌拍下去。但一旦你逼著它去回歸連續的機器人控制信號，這些語義層面的理解就被壓縮進了一套針對特定機械臂、特定夾爪的數值映射里。換一個機器人型號，或者換一個任務類型，往往就得重新收集大量真機數據重新訓練。
這不是危言聳聽。論文裡提到的兩個代表性VLA基線模型，π0.5和GR00T，在論文的實驗裡被拿出來做對照組，結果相當扎心。
另一條路子是讓VLM待在"上層",只負責說"要做什麼",不管"怎麼做"。這類系統會讓VLM輸出一些子目標、關鍵點坐標或者是可供機器人執行的動作庫調用指令，物理執行的部分交給下游一個專門的控制器去處理。這樣雖然保住了VLM的語義理解能力,但也帶來了新問題:VLM說出一個指令之後,根本看不到這個指令具體是怎麼被翻譯成物理動作的,一旦執行出了偏差,VLM完全無法介入糾正。這就好比你雇了一個建築設計師,他只畫圖紙,不去工地,圖紙上一句"這裡要留個窗戶"具體開多大、開在哪個精確位置全靠工人自己判斷,設計師根本不知道現場發生了什麼。
Show-Harness團隊的核心洞察是:與其在"語義"和"物理"之間二選一,不如設計一個接口,讓兩邊都不用妥協。
語義動作單元
:讓VLM用它熟悉的語言直接操控物理世界
Show-Harness的核心設計是把機器人的連續控制空間,離散化成一小撮VLM天然能理解的"語義動作單元"。
具體來說,這套動作詞彙表里只有寥寥幾個符號:MV_FWD（前進一步）、MV_BACK（後退一步）、MV_LEFT/MV_RIGHT（左移/右移）、MV_UP/MV_DOWN（上升/下降）、ROTATE_CW/ROTATE_CCW（順時針/逆時針旋轉）,再加上GRASP（合攏夾爪）、RELEASE（鬆開夾爪）和DONE（任務完成）。
每次VLM只需要從這十幾個選項里挑一個,就像玩一個格子很少的選擇題。挑中之後,這個語義決定會被送到一個"embodiment-specific interpreter"
Embodiment-specific interpreter：針對特定機器人本體設計的翻譯器,它的工作是把VLM說的"往前走一步"這種模糊指令,精確轉換成機械臂6個自由度坐標系裡的具體數值變化,比如"末端執行器沿X軸正方向平移2厘米"。
這個翻譯器是確定性的,同一個語義單元在同一個機器人上永遠對應同一個物理動作,不摻雜任何隨機性或學習成分。
這套設計帶來了三個直接好處。第一,動作粒度是"增量式"的,每一步只造成一個小幅度、局部的物理變化,這讓VLM始終"身處"控制循環里,能通過觀察每一步執行後的畫面變化來做出下一步修正,而不是一次性輸出一個可能整體偏差很大的目標。第二,動作是符號化而非數值化的,具體的物理換算全部下放給翻譯器負責,這讓面向VLM的那部分接口始終保持緊湊、可解釋、且能在不同機器人上復用。第三,動作方向是相對於攝影機視角定義的,這樣VLM做空間推理時,可以直接把"我看到目標在畫面左邊"這種視覺判斷映射成"往左移動"這個動作,中間不需要經過複雜的坐標系轉換。
這裡可以做一個類比。想像你在教一個從沒開過車、但精通交通規則和道路判斷的老司機開一輛完全陌生的賽車。如果你直接把方向盤轉動的角度、油門踏板下壓的具體力度這些參數一股腦塞給他,他反而會手足無措,因為這輛車的轉向比、剎車靈敏度他壓根沒概念,強行學這套參數意味著他得先忘掉過去幾十年開車積累的直覺判斷,把注意力全放在數字上。但如果你告訴他"這輛車有個控制器,推一下就是前進一小段,拉一下是剎車",他立刻就能上手,因為他不需要理解齒輪比,只需要知道每個動作對應的效果,剩下的交給這輛車自己的機械系統去處理。如果不做這層轉換會怎樣?那就是VLA模型正在發生的事:老司機被迫從零學習一套陌生的數值語言,原本幾十年積累的駕駛直覺完全用不上,遇到沒見過的車型只能重新學一遍。
架構解剖:一個感知-推理-行動的閉環
圍繞這個核心動作接口,Show-Harness搭了一整套"感知-推理-行動"三段式循環架構,每個階段都可以插拔不同的功能模組。
在感知階段,系統靠兩個插件把原始攝影機畫面和機器人內部狀態轉換成VLM能理解的上下文。一個叫多視角引導,負責告訴VLM該怎麼用手上的多個攝影機,比如全局視角提供場景級的空間關係,腕部安裝的近距離攝影機則提供精細對齊所需的視覺證據。另一個叫本體感知,把機械臂當前的姿態、抓握狀態、離桌面的高度這些內部信號翻譯成文字反饋告訴VLM,比如"夾爪距離桌面還有5厘米,建議先下降"。
在推理階段有更豐富的插件組合。子任務規劃讓VLM先把一個複雜指令拆解成一串有明確完成標準的子步驟,執行過程中VLM自己判斷每個子步驟是否達成,達成了再往下推進。情境化規劃則更巧妙一點,面對一些帶有分支條件的任務(比如"找到藏在某個杯子底下的方塊"),系統不會強迫VLM在一開始就把所有可能性都規劃好,而是把不確定的決策推遲到執行過程中,等相關視覺證據出現了再讓VLM就地判斷該走哪條分支。動作分塊允許VLM在目標離得還很遠的時候,一次性輸出好幾個連續動作讓系統開環執行,省去頻繁調用模型的開銷;自適應步長則根據目標是否已經出現在近距離視角里,動態切換用大步幅還是小步幅移動。
在行動階段,系統還配了動作歷史(記住最近幾步防止來回震盪)和失敗恢復(檢測抓空之後自動觸發重新抓取)兩個機制。
這套模組化設計本身也值得琢磨一下為什麼這麼搭。你可以把它類比成給一個新手廚師配的智能廚房助手系統。廚師(VLM)知道怎麼炒菜的整體流程,但他不知道這個陌生廚房裡灶台離手多遠、油溫計顯示的數字代表什麼。助手系統負責把"火候差不多了"這種模糊判斷翻譯成具體的火力檔位提示,把"食材還沒到鍋邊"翻譯成"再往左移一點",廚師需要做的只是根據這些提示不斷微調,而不是事先就把整道菜從頭到尾的每一步精確參數都算好。如果沒有這套助手系統,廚師要麼得靠猜(容易出錯),要麼每次進新廚房都得先花幾天時間摸清楚這個灶台的脾氣(等價於每換一個機器人就要重新訓練)。
兩種模式,一套接口:既能白嫖頂級閉源模型,也能低成本微調小模型
這套接口設計出來最有意思的地方在於,它天然支持兩種截然不同的部署方式,而且用的是同一套動作詞彙表。
第一種叫零樣本模式(ZS)。直接把Gemini-3.1 Pro這類閉源頂級模型接進Show-Harness的框架里,不做任何針對性訓練,模型立刻就能操控機械臂完成任務。這意味著未來只要底層模型能力持續進步,機器人操控能力也能跟著水漲船高,不需要每次都重新做機器人數據的適配工作。
第二種叫微調模式(FT)。用幾千步真機演示數據,對一個參數量只有20億的小型開源模型(論文裡用的是Qwen3.5-2B)做輕量級微調。這裡用的是LoRA
LoRA：Low-Rank Adaptation的縮寫,一種參數高效微調技術,不需要更新模型的全部參數,只需要往模型里插入少量低秩矩陣進行訓練,大幅降低顯存和計算開銷。
技術,只更新大約3%的參數,凍結視覺編碼器和多模態投影層。論文裡提到,整個微調過程在單張H200顯卡上不到兩小時就能跑完。
這兩種模式共享同一套語義動作空間意味著什麼?意味著這套接口給出了一條漸進式的升級路徑:今天你可以先用閉源大模型驗證任務是否可行,等確認思路沒問題之後,再花幾個GPU小時把能力蒸餾到一個便宜、能本地部署、推理速度快得多的小模型上。論文的圖1里就直觀展示了這條曲線:從Gemini-3.1 Pro這類需要8到20秒才能推理一步的閉源模型,到經過微調後能跑到26赫茲、33赫茲推理速度的小模型,橫跨了整整兩個數量級的效率差異,但都掛在同一套Show-Harness接口下面。
真機實驗:十個任務、兩種機械臂、三重泛化考驗
光有架構設計不夠,這篇論文花了大量篇幅在真實機械臂上驗證效果,而且刻意設計了非常嚴苛的對照實驗。
硬體方面用了兩套完全不同的機器人平台。一套是7自由度的Franka Research 3單臂,配一個俯視全局攝影機和一個腕部近距離攝影機。另一套是雙臂的AgileX機器人,每隻手臂6自由度,配三個攝影機。
任務方面,團隊構造了十個"物體-容器"組合任務,涵蓋剛性方塊、不規則形狀的香蕉、會滾動的網球、柔軟的熊麻吉玩偶、以及需要精細操作的西洋棋棋子,分別要放進盤子或碗裡。對於要微調的開源模型,團隊故意只用方塊、香蕉、網球做訓練數據,把熊麻吉和棋子留作"沒見過的分布外測試對象"。
對照組選得也很有代表性,一共三大類:純VLA基線(π0.5和GR00T,直接把觀測和指令映射成低層動作),VLA為核心的智能體(Harness VLA和Goal-VLA,外面套一層規劃監控層但核心執行還是VLA),以及代碼即策略智能體(CaP-X和RATS,靠生成程序調用API來執行)。
表2的核心結果非常直白。
十個跨任務測試里,零樣本模式平均成功率達到89.0%,微調模式達到86.0%,而表現最好的對照組RATS只有57.0%,VLA基線π0.5和GR00T分別只有39.0%和35.0%。
在跨環境測試里(換背景、換光照、換視角、加干擾物、以及最關鍵的仿真到真機遷移),零樣本模式做到了滿分100.0%,微調模式88.0%,而兩個VLA基線在這項測試里的平均分只有40.0%和34.0%,尤其是仿真到真機這一項,π0.5和GR00T直接是0/20,一次都沒成功,而Show-Harness的微調模式靠著完全在仿真里收集的演示數據,在真實Franka機械臂上做到了13/20。
跨機械臂測試(在Franka和AgileX之間切換)里,零樣本模式93.0%,微調模式87.0%,而VLA基線只有41.0%和36.0%。
這組數據背後其實藏著一個更深的邏輯。VLA模型之所以在仿真到真機這項測試里全軍覆沒,本質上是因為它學到的是像素到動作的直接映射,仿真畫面和真實畫面之間哪怕只是光照、材質紋理上的細微差異,都會讓這套映射徹底失靈。而Show-Harness走的是語義路線,VLM判斷"目標在畫面左側,該往左移動"這件事本身對視覺細節的依賴沒那麼苛刻,即便仿真和現實的渲染風格有差距,這個相對空間關係的判斷依然成立。這就好比你讓一個人根據地標建築判斷方向,哪怕這棟樓的外牆顏色變了、周圍多了幾棵樹,只要建築的大致輪廓和相對位置沒變,他照樣能認出方向;但如果你讓他死記一套"從這個像素點走到那個像素點"的路徑,環境稍微一變,這套記憶立刻失效。
物理適應性和語義適應性:更硬核的能力拷問
如果只做上面那些泛化測試,可能還不夠說服人。論文接下來設計了一系列更刁鑽的場景,專門去戳這套接口到底能不能應對"沒被明確訓練過的新需求"。
先看物理適應性方面的幾個實驗。
精細控制測試里,研究者做了一個近乎"作弊"的操作:面對需要更精細動作的積木堆疊和插銷插入任務,他們沒有改動VLM和動作接口的任何東西,只是簡單地把翻譯器里的步長參數從2厘米調小到1厘米。結果零樣本模式的成功率從60%直接跳到82%,微調模式從40%漲到65%。作為對比,π0.5用同樣的演示數據只能做到18%的成功率,得額外收集精細動作的專門訓練數據才能爬到62%。這個對比很能說明問題:因為Show-Harness把"決定往哪個方向走"和"這一步具體走多遠"兩件事徹底分開了,調整步長這種純物理層面的參數只需要改翻譯器,根本不需要碰VLM本身。這就像你有一台自行車,原本每蹬一圈能騎5米,現在想讓它變成每蹬一圈只騎2米以便在狹窄小巷裡操控,你只需要換個齒輪比,完全不需要重新教騎車人怎麼騎車。而VLA模型的處境更像是,騎車人學的是"蹬一圈手腳該做出什麼具體動作",一旦齒輪比變了,這套動作記憶整個作廢,得重新練。
旋轉外推測試更有意思。團隊讓機械臂抓取一根擺放角度分別是0度、45度、以及訓練時完全沒見過的90度的胡蘿蔔,每個旋轉動作單元對應15度的角度變化。零樣本模式在所有角度下都穩定發揮,微調模式即便只在0度和45度上訓練過,面對沒見過的90度依然做到了70%的成功率,而π0.5隻有20%。這說明增量式的旋轉單元允許模型通過反覆疊加"小步旋轉"這個動作,去應對訓練時從未出現過的大幅度姿態變化,而連續動作回歸模型更容易被死死鎖在訓練時見過的角度範圍內。
工作空間偏移測試同樣戳中了VLA模型的痛點。當測試位置從核心區域擴展到邊界區域時,Show-Harness只出現輕微性能下降,而π0.5的成功率斷崖式下跌。這背後的原因和剛才的仿真遷移問題類似,視覺上判斷相對空間關係比死記絕對坐標要魯棒得多。
多臂協同測試里,團隊對比了兩個各自獨立運作的單臂智能體和一個能同時預測雙臂動作的聯合策略,在"整理桌面"和"傳遞香蕉"(需要雙臂交接)兩個任務上,聯合決策不僅大幅提升了成功率,還完全消除了兩臂之間的碰撞,這說明Show-Harness的接口設計天然支持多臂之間的顯式協調。
再看語義適應性方面。
推理密集型任務測試選了兩個特別燒腦的場景:從三個倒扣的杯子裡找出藏著方塊的那一個,以及把散落的字母積木拼成"SHOW"這個單詞。零樣本模式配合情境化規劃插件達到85%成功率,而單獨的微調模式和π0.5分別只有10%和0%。有意思的是,當研究者把Gemini生成的子任務指令直接餵給微調模式後,它的成功率跳到了70%,π0.5依然只有5%。這暗示了一件事:Show-Harness的接口設計讓VLM原本就有的指令理解和靈活推理能力,在遇到全新任務描述時不會因為語義被壓縮進動作空間而丟失。
影片上下文學習測試更是把這套系統的能力邊界又往外推了一步。團隊讓策略模型按照一段人類或機器人示範影片裡展示的順序,把三件物品分別歸位。沒有示範影片時,零樣本模式只能得到20%的成功率,因為指令里根本沒說清楚該按什麼順序擺。給了示範影片之後,不管示範來自人類還是機器人,零樣本模式都做到了20/20全對,微調模式在配合同一套規劃器提取的任務大綱後也達到了95%。
這一連串實驗拼起來看,其實回答了一個更根本的問題:一套好的接口設計,到底應該在多大程度上"預留空間"給底層模型自己發揮。Show-Harness沒有把每一種可能的任務變體都預先寫死進系統里,而是designed了一套足夠抽象、足夠可組合的基本動作單元,讓VLM能夠像搭積木一樣,用這些基本單元去拼出各種從未被明確設計過的複雜行為。
拆解每一塊拼圖:消融實驗告訴你什麼最重要
論文接下來對所有的設計選擇逐一做了消融實驗,這部分內容讀起來像是在拆一台精密儀器,看看拆掉每一個零件後整台機器會發生什麼變化。
先看前沿模型選擇和思考力度的影響。團隊測試了Gemini、GPT、Claude三個模型家族的多款產品,發現零樣本表現總體上跟著模型底層能力走,而增加推理時的思考預算主要是減少了執行過程中的冗餘步驟,對最終成功率提升有限,卻會帶來明顯更高的時間成本,比如某款GPT模型在高思考力度下要多花3.4倍的時間。更進一步的能力拆解實驗發現,規劃環節其實不是瓶頸,真正容易出錯的地方集中在精細抓取和精確放置這兩個環節,而給VLM提供目標物體的邊界框標註能進一步提升表現,說明顯式的視覺定位提示很有價值。
再看微調骨幹模型的規模效應。實驗結果顯示,2B規模的模型已經能取得相當不錯的表現,更大的骨幹模型主要在積木堆疊、插銷插入這類需要精細動作的任務上有優勢;而更小的1B級別模型反而會因為在目標附近做太多瑣碎的局部調整而拖長執行時間。有意思的是,在網球這種需要及時糾正滾動物體位置的任務上,小模型反而比大模型表現更好,因為響應速度比動作精度更重要。綜合來看,2B這個規模在精度和響應速度之間達到了不錯的平衡點。
最後是逐個插件的開關測試,數據非常直觀。去掉多視角引導讓成功率從96%跌到58%,去掉本體感知從96%跌到68%,去掉子任務規劃從96%跌到60%。動作分塊如果完全禁用反而能保住96%的成功率但會增加模型調用次數,如果強制全程啟用則會把成功率拖到74%,說明選擇性分塊才是正解:該壓縮的時候壓縮,該保留細粒度反饋的時候絕不偷懶。自適應步長則顯示,純精細步長雖然精準但容易超時,純粗糙步長雖然快但容易矯枉過正,只有動態切換才能同時兼顧96%的成功率和平均30步的執行效率。視覺提示插件對常規任務幾乎沒有影響,但在需要抓取把手這類特定部位的任務上,能把成功率從40%拉到85%。情境化規劃插件同樣對常規任務無感,但在隱藏物體搜索任務上把成功率從35%提升到85%。動作歷史的移除會導致成功率下降並增加超時,原因是缺少歷史記錄後模型容易在相反方向之間來回震盪。失敗恢復機制的移除讓成功率跌到72%,主要失敗模式是"抓空卻沒意識到",這在難以抓取的物體上表現得尤其明顯。
這些消融實驗拼在一起講的是同一件事:這套系統里沒有哪個模組是可有可無的裝飾,每一個插件都是為了解決某個具體的、真實存在的失敗模式而設計出來的。
動作空間該怎麼命名:一個意外有趣的發現
論文裡還藏著一個特別值得單獨拎出來說的小實驗,關於動作單元到底該用什麼樣的符號來表示。
團隊做了一個2乘2的對照設計:一組用帶書面說明的語義動作名稱(比如MV_LEFT並附上"這個動作會讓末端執行器向左平移"的文字說明,也就是論文默認的設置),一組只用語義名稱但不附加任何說明,一組用完全任意的符號(比如字母A到F)但附上書面說明,最後一組用任意符號且不給任何說明。
對於最後這種最極端的設置,VLM需要自己去試探這些陌生符號,通過觀察執行前後畫面的變化來反推每個符號對應的物理效果,並把這套映射記下來供後續使用。
結果顯示,任意符號加上明確說明這一組的表現幾乎追平了默認設置,而語義名稱但不給說明這一組雖然能用但效率打了折扣。這說明真正起決定性作用的其實是那份書面的操作規範,語義化的命名更多是錦上添花的先驗提示。而最極端的那一組,在20次試驗里只成功了1次,而且模型自己推斷出的動作映射表里只有23.3%是正確的,僅僅略高於隨機猜測的16.7%。
這個發現挺有意思的,它提醒我們一件容易被忽視的事:讓AI通過觀察前後畫面變化去反推一個抽象符號代表什麼物理動作,這件事本身沒有聽起來那麼容易。就像你把一個從沒見過鍵盤的人扔到電腦前,告訴他"按下這幾個鍵會發生一些事,自己試著摸索規律",他大概率會在很長時間裡都摸不清楚哪個鍵對應哪個功能,因為螢幕上發生的變化太多太複雜,很難精確對應到某一次具體的按鍵動作上。這也是為什麼Show-Harness選擇用明確的文字規範去錨定每個符號的物理含義,而不是指望VLM靠觀察自己悟出來。
GUMI:讓人和AI用同一套語言"玩"機器人
論文裡還介紹了一個配套工具,叫GUMI
GUMI：GUI Manipulation Interface的縮寫,一個基於圖形界面的機器人操控與數據採集工具,核心特點是讓人類和AI智能體可以用完全相同的一套語義動作單元去操控機器人,不需要專門的遙操作硬體設備。
之所以能做出這樣一套工具,本質上是因為這套語義動作空間本身足夠離散、足夠簡單,可以自然地映射成鍵盤按鍵或者滑鼠點擊。人類操作員可以直接用鍵盤"玩"機械臂,電腦使用智能體可以操作同一套圖形界面,通用VLM智能體則直接預測這些動作單元。每一步執行前的觀測畫面和選中的動作都會被記錄下來,形成可以直接用於訓練策略模型的數據對。
由於每個語義單元都是被翻譯器確定性地轉換成物理動作的,採集到的演示數據還可以同時保留對應的底層控制指令和運動軌跡,這意味著一份演示數據既能用來訓練語義動作層面的策略,也能用來訓練連續控制層面的策略。
這套工具還支持逐步控制、排隊式的動作批次執行、單臂和雙臂操作、以及人類和智能體混合採集(人類可以在AI執行過程中隨時介入糾正)。和依賴專門硬體或者仿真專用控制方式的傳統遙操作方案相比,GUMI直接在共享的語義動作空間裡記錄演示,這意味著同一份演示數據能在不同機器人本體之間復用,只要這些機器人各自的翻譯器實現了相同的動作單元集合。而且因為整個操作界面是輕量級的、可以遠程訪問的圖形界面,數據採集甚至不需要操作員和機器人待在同一個物理空間裡。
這一點如果放在更大的語境下看,其實挺有想像空間的:傳統的機器人數據採集,要麼需要昂貴的力反饋控制器,要麼需要專門訓練的遙操作技師,門檻很高。而GUMI這種設計相當於把機器人操控這件事,從需要專業設備和專業技能的"手藝活",變成了任何懂得基本鍵盤操作的人都能上手參與的眾包式協作。
Q&A
Q1：Show-Harness是什麼？
A：Show-Harness是新加坡國立大學Show Lab提出的一套具身智能框架,核心是設計了一套緊湊的語義動作接口,讓視覺語言模型可以直接用MV_FWD、GRASP這類離散指令操控機械臂,同時支持閉源大模型零樣本部署和小模型輕量微調兩種模式。
Q2：Show-Harness和傳統VLA模型相比優勢在哪？
A：論文實驗顯示,Show-Harness在跨任務、跨環境、跨機械臂三類泛化測試中平均成功率達到86%到93%,而π0.5、GR00T等VLA基線只有35%到41%,尤其在仿真到真機遷移測試中VLA基線直接0分,Show-Harness做到了13/20。
Q3：GUMI是做什麼用的？
A：GUMI是一個基於圖形界面的機器人操控與數據採集工具,讓人類和AI智能體用同一套語義動作單元操控機器人並採集訓練數據,不需要專門的遙操作硬體,支持跨機器人本體復用和人機協同採集。
