近日，Meta Reality Labs 宣布開源一個名為 HOT3D 的數據集，該數據集基於 Project Aria 眼鏡和 Quest 3 頭顯所採集的數據，旨在加速機器人訓練和提升其操作能力。
儘管近年來機器人在執行各種任務上取得了顯著進步，但在雙手操作和物體交互方面，與人類相比仍有較大差距。因此，世界各地的科研團隊一直在積極探索優化方法，其中利用 VR 採集的自中心訓練數據成為了一個重要的研究方向。
從特斯拉、英偉達到小鵬，越來越多的企業開始嘗試利用 XR 技術來輔助機器人訓練。通過佩戴頭顯設備，人型機器人可以精確地復刻並映射人類操作員的動作，同時實現第一人稱影片的實時傳輸和精確控制輸出。這種解決方案不僅提高了訓練效率，還具備遠程數據收集的優勢，使得全球各地的注釋人員無需親臨現場即可為項目作出貢獻。
Meta 此次開源的 HOT3D 數據集，正是為了推動這一領域的進一步發展。該數據集包含了通過 Project Aria 眼鏡和 Quest 3 頭顯採集的高質量 3D 影片，這些影片展示了自中心人類用戶抓取和操縱各種物體的過程，為分析手與對象的交互提供了寶貴的資源。
具體來說，HOT3D 數據集提供了超過 833 分鐘（超過 3.7 萬張圖像）的圖像流，涵蓋了 19 名被試與 33 種不同對象的交互場景。此外，該數據集還包含多模態信號、全面的真實值注釋以及手和對象的3D模型，為研究人員提供了豐富的數據支持。
為了評估 HOT3D 數據集在機器人和電腦視覺研究中的潛力，Meta 研究人員利用該數據集訓練了三個不同任務的基線模型。實驗結果顯示，與其他模型相比，使用 HOT3D 進行訓練的相關模型在各項任務中的表現均更為出色。
Meta 團隊指出：「在我們的實驗中，我們充分證明了多視角自中心數據在三個流行任務中的有效性。」這一發現不僅驗證了 HOT3D 數據集的價值，也為未來的機器人訓練和電腦視覺研究提供了新的思路和方法。
