開源大型模擬框架RoboCasa訓練機器人做家務

NVIDIA Research和德克薩斯大學奧斯汀分校合作研發大型模擬框架RoboCasa，可編制不同的模擬場景供機器人訓練。目前RoboCasa專注於廚房場景，訓練單臂移動平台機器人、類人型機器人、帶手臂的四足機械狗等通用型機器人。

贊助商廣告

圖片來源：RoboCasa

Excited to announceRoboCasa, a large-scale simulation framework of everyday tasks! We use generative AI tools to create diverse objects, scenes, and tasks. Simulation plays a pivotal role in our Data Pyramid for training generalist robots.

Open-source athttps://t.co/o4VKt5h5Whpic.twitter.com/JoPwvUaTly

— Yuke Zhu (@yukez)May 28, 2024

RoboCasa參考許多建築和家居設計雜誌編制出一系列廚房樣式，提供大量可互動的櫥櫃、爐灶、水槽、微波爐等家具和電器，還原現實世界的複雜和多樣性。機器人可以在模擬場景中使用這些家具和電器，微波爐的門可以打開和關閉、轉動爐灶上的旋鈕也能打開火。RoboCasa每個場景的紋理由MidJourney AI文本轉圖片模型生成，在牆壁、地板、櫃檯和櫥櫃面板各提供了總共100種紋理，還有包含各種水果、蔬菜、包裝食品和容器的存儲庫，大大提升了訓練數據的視覺多樣性。RoboCasa提供「抓取和擺放」、「開關門」、「開關抽屜」、「轉動旋鈕」、「轉動操作杆」、「按下按鈕」、「插入」、「導航」共8種基礎動作來構建模塊。

贊助商廣告

圖片來源：RoboCasa

RoboCasa這個開源大型模擬框架在現在的AI時代可供許多沒有預算的開發者使用，訓練自家的機器人。預料未來RoboCasa將添加更多不同的場景，不再限於廚房場景。

數據及圖片來源：RoboCasa