Meta 正在積極探索 VR 頭顯和 AR 眼鏡在機器人訓練領域的應用,並已推出多項工具以推動這一進程。最近,美國喬治亞理工學院的一項新研究揭示了如何利用 Meta Project Aria 眼鏡來訓練機器人執行日常任務,這一成果有望為人形機器人的發展帶來革命性變化。

傳統上,教導機器人完成日常任務通常依賴於機器人遠程操作,這種方法不僅緩慢而且效率低下。然而,喬治亞理工學院的機器人學習與推理實驗室通過利用 Project Aria 的自中心傳感器,成功創建了所謂的「人類數據」,從而顯著減少了訓練機器人策略所需的機器人遠程操作數據量。
據喬治亞理工學院交互計算學院的博士生西瑪·卡雷爾介紹,傳統數據收集方法需要操作機器人的關節來完成任務,並記錄傳感器數據,這一過程既耗時又困難。而利用 Project Aria 眼鏡,研究人員可以被動地從一系列人體上收集數據,為更廣泛的任務創建數據,進而在未來創建更加通用的機器人。
為了推動這一進程,卡雷爾開發了新算法框架 EgoMimic,該框架能夠利用人類數據和機器人數據進行類人機器人開發。在研究中,Project Aria 眼鏡不僅用於人體數據收集,還作為機器人實時操作設置的一個組成部分,允許機器人實時感知周圍環境。

通過使用 Project Aria 進行數據收集和實時感知管道,研究人員最大限度地減少了人類演示者和機器人之間的域差,為未來機器人任務訓練的規模化人類數據生成鋪平了道路。得益於 EgoMimic 框架,與之前的方法相比,機器人只需 90 分鐘的錄像就能在各種任務中的表現提高 400%,並能夠在新環境中成功地完成相關任務。
Meta Reality Labs 研究產品經理詹姆士·福特表示,Meta 將 Project Aria 視為對研究界的投資,並希望自為中心的研究社區能夠越來越標準化,以便更多研究人員能夠通力合作,共同推動機器人技術的發展。