物理AI的前沿探索,正在加利福尼亞州聖萊安德羅的一個倉庫里以一場積木遊戲的方式展開。
這個倉庫屬於Encord公司,一家專門構建用於訓練AI模型的數據工具的企業。安德魯·塞哈(Andrew Ceja)是該公司的"飛行員"——這是Encord對機器人訓練師的內部稱謂——他頭戴一頂配有攝影機的頭盔,正小心翼翼地從搖搖欲墜的積木塔中抽取木塊。頭盔上的攝影機會追蹤他的視線,這在採集機器人訓練數據時已相當常見。但這頂頭盔還額外配備了傳感器,能夠在他拆解積木塔的過程中實時測量他的腦電波。
Encord是一批數量不多、但正在快速增長的初創企業之一。這些企業押注認為,人形機器人與倉儲機器人領域真正的瓶頸,不在於模型架構,而在於現實世界物理訓練數據的嚴重匱乏。Encord不只是幫助機器人公司管理已有數據,而是將業務重心放在"製造"那些尚不存在的數據上。
塞哈頭戴的腦電波頭盔由德國神經科學初創公司Zander Labs研發。該公司相信,通過測量大腦活動來推斷"出錯""意圖""驚訝"等心理狀態,能夠為模型訓練提供更具價值的數據集。Encord與Zander的合作目前仍處於試驗階段——Encord表示,此次的目標是先構建一個帶有腦電波標註的初始數據集,再將其導入客戶的機器人模型中,評估是否真正提升了性能,然後再決定是否擴大規模。
負責督導此項工作的Zander神經科學家盧卡斯·格爾克(Lucas Gehrke)表示,在特定任務的不同執行階段,大腦活動的強度變化能夠為模型構建者提供重要線索,幫助他們判斷何時需要調用算力最高的模型。
Encord機器人學習負責人維內特·維爾穆魯甘(Vineeth Velmurugan)將此稱為解決機器人數據瓶頸問題的"前沿探索"。他曾任職於OpenAI機器人實驗室及倉儲自動化公司Berkshire Grey,加入Encord後主導組建了公司內部的數據創建團隊。
Encord最初成立時,是為構建機器視覺應用的公司提供數據標註和模型評估服務。隨著客戶——維爾穆魯甘表示公司與多家領先機器人企業合作,但不便透露具體名稱——開始將端到端學習應用於機器人操作任務,公司管理層意識到,他們必須自行生產訓練數據,而不只是做數據的"搬運工"。"這些數據根本不存在,"維爾穆魯甘說。
生成式AI能否像改變聊天機器人領域那樣改變機器人領域,這一願景不斷撞上同一堵牆。大語言模型是在整個網際網路乃至更廣泛的文本數據上訓練而來的,但要找到同等量級的原材料來教會神經網路理解物理操作,難度極大:自動駕駛公司自己採集數據,但這種方式難以規模化;從影片中訓練有一定可行性,但其精度遠不及真實世界的數據。維爾穆魯甘估計,突破這一瓶頸所需的數據集,規模大約是YouTube影片庫的五倍——這一體量足以解釋為何數據生成本身已從研究問題演變為一門商業生意。
目前,機器人"大腦"的構建者主要依賴兩大數據來源:一是工人佩戴攝影機採集的"自我中心視角"(Egocentric)影片,通常輔以多角度攝像和其他指標;二是通過遠程操控機器人採集的數據。Encord兩者兼顧,既從全球多家工廠採集自我中心視角數據,也利用聖萊安德羅的設施探索腦電波等新數據模態,或採集特定技能的數據用於模型微調。
TechCrunch到訪時,"飛行員"們正在使用"主從機械臂"——一套配對機械臂,一隻由人類操作員直接控制,另一隻同步模仿其動作——來生成諸如從咖啡壺向杯中倒咖啡(液體晃動明顯)、疊放撲克籌碼等任務的數據。"每一家人形機器人公司都向我們要過這些數據,"維爾穆魯甘說。
儲物架上擺滿了裝在花瓶里的人造花、書籍、塑料蔬菜、貓砂盆和鏟子、各種線纜捆包——這些都是訓練機器人完成家務任務的標準"道具"。
在其中一個工位,另一位"飛行員"蘇菲亞·因凡特(Sofia Infante)正操控機械臂,將網線插入伺服器背面再拔出——這是數據中心運營商夢寐以求實現自動化的操作,前提是機器人能具備足夠的精準度。親自上手體驗後,我切實感受到了這一目標為何仍遙不可及:夾爪的靈活度遠不及人類手指,手臂的自由度也無法與人類相比。
Encord目前還在開發另一種新型數據採集方式:將一組傳感器綁在前臂上,用於檢測肌肉中的電信號。用於拍攝人手操作物體的影片,往往無法完整捕捉手部全貌,而維爾穆魯甘希望藉助手臂傳感器,構建出手部在任意時刻的三維位置圖,從而讓模型對手部動作形成更全面的理解。
Encord的數據集會附加文字描述標註,說明每段影片的具體內容,例如"右手擰緊螺栓",幫助基於大語言模型的模型理解影片中發生的事情。維爾穆魯甘估計,這種精細標註對於訓練特定任務的價值,是"粗糙自我中心數據"的100倍,而其生產成本僅高出約20倍,從賬面上看是一筆划算的買賣。
但"高出20倍"依然意味著真實的資金投入,這正是問題所在:大語言模型的構建者從網際網路上抓取文本,從Stack Overflow等網站批量獲取數據,成本幾乎可以忽略不計。而生成物理訓練數據的成本則截然不同——這是物理AI與大語言模型類比的根本局限。這類數據必須被"製造"出來,而不僅僅是"收集",這從根本上改變了構建此類模型的經濟邏輯。
維爾穆魯甘表示,進展正在穩步推進。憑藉Encord在行業內的廣泛視野,他能夠觀察到初創公司和前沿實驗室各自在摸索哪些方法有效、哪些行不通,以持續改進物理AI模型。這種"置身於多家機器人公司之間"的位置,也是Encord的核心競爭力之一——它能夠在任何單一客戶察覺之前,率先發現哪些數據技術正在行業層面獲得認可。
這也將讓Encord設施里的十餘位"飛行員"持續保持忙碌狀態。因凡特和塞哈都是這支正在快速壯大的神經網路基礎數據構建隊伍中的一員,此前兩人均供職於另一家AI數據標註公司Scale,後來加入Encord。
塞哈曾在一家廢物管理公司工作,憑藉對技術的熱情,他當時負責維護一台機器人垃圾分揀機的正常運轉。如今,當積木塔轟然倒下,他說自己很享受為機器人解決訓練任務的挑戰——"每天都有新鮮事!"
Q&A
Q1:Encord公司為什麼要採集腦電波數據來訓練機器人?
A:Encord認為,物理AI領域當前最大的瓶頸不是模型架構,而是高質量訓練數據的嚴重匱乏。與Zander Labs合作引入腦電波採集,是為了在訓練數據中加入"出錯""意圖""驚訝"等人類心理狀態的標註,幫助機器人模型更精準地判斷何時需要調用高算力推理,從而提升整體性能。目前這一方案仍處於試驗階段,需評估實際效果後才會決定是否擴大規模。
Q2:物理AI訓練數據為什麼這麼難獲取,和大語言模型有什麼區別?
A:大語言模型可以從網際網路上海量抓取文本數據,成本極低。但物理AI需要的是真實世界中的操作數據,這類數據無法從現有資源中直接獲取,必須專門"製造"——包括讓人穿戴攝影機採集自我中心視角影片、遠程操控機械臂錄製動作數據等。Encord估計,突破現有瓶頸所需的數據集規模約為YouTube影片庫的五倍,生產成本遠高於文本數據,這從根本上改變了構建物理AI模型的經濟邏輯。
Q3:Encord的數據標註方式有什麼特別之處?
A:Encord除了採集影片外,還會對每段影片進行精細的文字描述標註,例如"右手擰緊螺栓",幫助基於大語言模型的機器人模型理解影片內容。此外,公司還在探索前臂肌肉電信號傳感器,通過捕捉肌肉電活動構建手部三維位置模型,彌補影片無法完整記錄手部動作的不足。維爾穆魯甘估計,這種精細標註數據的訓練價值是普通粗糙數據的100倍,儘管生產成本也高出約20倍。






