NVIDIA本周在德國慕尼黑舉行的年度機器人學習大會上推出了這些新工具，大會重點關注了機器人技術和機器學習的交叉領域。
其中，包括現已上市的機器人學習框架NVIDIA Isaac Lab；6個用於Project GR00T的新人形機器人學習工作流程，以支持AI機器人大腦開發；以及用於影片處理的新開發人員工具。
觀察和理解世界對於機器人技術發展至關重要。這就必須要分解來自攝像頭的影片，以便AI模型可以處理這些影片。NVIDIA宣布Cosmos開源標記器現在已經全面上市，為開發者提供了高質量的標記功能，具有極高的壓縮率，運行速度比當前的標記器快12倍，與NeMo Curator相結合可以優化和理解輸入內容。
這也使開發者能夠構建更好的「世界模型」（即世界的AI表示），可以預測機器人執行動作時物體和環境將如何響應。
例如，當機器人夾持器靠近香蕉時會發生什麼？成熟的香蕉很軟，因此機器人夾持器不能快速或用力靠近，否則會破碎、變形並造成混亂。一張紙呢？必須以不同的方式抓取紙。不管是哪一種情況，都涉及影片數據的高質量編碼和解碼。
人形機器人初創公司1X Technologies的AI副總裁Eric Jang解釋說，Cosmos標記器幫助他的公司實現了高數據壓縮，同時仍保持極高的視覺質量。他說：「這使我們能夠以更高效的方式訓練具有長視界影片生成的世界模型。」
並非所有機器人AI大腦都可以在現實世界中訓練，因此NVIDIA發布了Isaac Lab，這是一個基於Omniverse數字孿生模擬平台的開源機器人學習框架。
Omniverse是一個實時3D圖形協作和模擬平台，讓藝術家、開發者和企業使用完全實現的物理學構建工廠、城市和其他空間的逼真的3D模型和場景，這使其成為模擬虛擬環境以訓練機器人的一款強大工具。
開發者可以使用Isaac Lab訓練機器人並大規模調整策略，以了解性能和安全性。這個框架適用於任何框架和機器人化身，包括手臂、人形機器人、四足動物和群體。
NVIDIA表示，全球有很多商用機器人製造商和研究團體已經把Isaac Lab納入他們的工作流程中，包括Agility Robots、Boston Dynamics、1X、Galbot、Fourier、Mentee Robotics和Berkeley Humanoid。
Project GR00T和更多人形機器人工作流程
構建和開發先進的人形機器人是一項艱巨的挑戰，因為人類可以輕鬆完成的行走、感知和採取行動需要大量的硬體工程、AI訓練和AI計算，才能讓機器人完成看似簡單的任務。
Project GR00T是NVIDIA的一項計劃，為開發者提供通用人形機器人的AI基礎模型、軟體庫和數據管道，幫助開發者快速製作原型並更快展開構建。
為了幫助開發者構建先進的人形機器人，NVIDIA宣布推出了6個新的Project GR00T工作流程藍圖，幫助他們在機器人中開發新的功能。
GR00T-Gen讓開發者可以打造逼真的模擬環境，以訓練機器人在其中移動、操縱物體和執行其他任務。它使用大型語言模型和3D生成式AI模型來創建視覺多樣化的場景和隨機場景，幫助創建強大的訓練環境。
GR00T-Mimic讓機器人可以向人類老師學習。使用這種工作流程，人類演示者可以遠程操作機器人並以與人類相同的方式執行操作，例如在倉庫中走動、從貨架上拉出箱子並將箱子放在推車上，讓機器人在相同的環境中也可以模仿相同的動作。NVIDIA表示，這個方法使用物理世界中有限數量的人類演示，使用擴展現實例如Apple Vision Pro，然後縮放運動數據以幫助機器人自己產生更有機的運動。
GR00T-Dexterity和GR00T-Control為人形機器人提供了一套精細的靈巧操作和廣泛的身體控制模型和策略。Dexterity將幫助開發者使用具有執行器和指關節高度靈巧的手的機器人，並處理未抓握、抓握力和其他抓握動作。GR00T-Control將有助於為整個身體進行運動規劃，以便行走、移動四肢或執行任務。
GR00T-Mobility為開發者提供了一套模型，幫助人形機器人行走和繞過障礙物，旨在實現基於學習的方法，快速推廣到新環境中。
最後，GR00T-Perception增加了高級軟體庫和人機交互基礎模型，幫助機器人「記住」事件的長期歷史。為此，NVIDIA為Perception添加了恰如其名的ReMEmbR，為機器人提供個性化人類互動的記憶，並提供背景和空間意識，以提供更好的感知、認知和適應能力。
