Nvidia上周宣布以OpenAI GPT-4為基礎的AI系統Eureka的開發成果，能訓練實體機器人執行複雜動作，像是轉筆、開抽屜。
Eureka是Nvidia研究院AI算法的開發成果。Eureka本身是以Open AI GPT-4為基礎，可提供開發人員配合Nvidia的物理模擬參考應用程序Isaac Gym進行強化學習（reference learning）。Issac Gym則是以Nvidia 3D工具及應用程序的開發平台Omniverse為基礎開發。
Nvidia AI研究部門資深總監Anima Anandkumar指出，強化學習過去10年雖然有所進展，但仍存在不少挑戰，像是獎賞設計，現在都還停留在「嘗試錯誤」階段。Eureka則是為執行困難的任務而設計，結合生成式與強化式學習的算法開發的首次嘗試。
Eureka生成出的獎賞程序可從事機器人的嘗試錯誤（trial-and-error）學習，並執行80%人類專家的任務，能使平均性能提升超過50%。根據Nvidia公布的影片，Eureka訓練的機器人能執行將近30種任務，像是轉筆、兩手互傳球、開抽屜或拿剪刀等。
圖片來源_Nvidia
Eureka利用GPT-4 LLM和生成式AI撰寫出程序代碼，獎賞機器人手臂或手指進行強化式學習，過程中不需要輸入任務提示或撰寫預定義的獎賞範本，再結合人類反饋修正獎賞，使執行結果更精準符合開發人員的視覺。
在Issac Gym中，利用GPU加速的模擬，Eureka可針對大量批次的候選反饋快速評估品質，以提升訓練效率。然後Eureka可根據訓練結果的關鍵統計做出摘要，再命令LLM改良獎賞功能的生成。AI可以自我改進，教導所有類型的機器人，包括獸型（四腳）、人型（兩腳）、四軸、手爪式及協作手臂等機器人來完成所有任務。
這篇研究也公布了研究小組根據開源靈敏性基準測試，評估20種任務訓練結果，這些測試要求機器手做多種複雜技能動作。
Nvidia表示Eureka結合LLM和Nvidia GPU模擬技術的產物，相信它可實現靈巧的機器人控制，並為動畫作者提供生成逼真實體動作的新方法。
Nvidia研究院之前也發布過Voyager，後者是以GPT-4打造能自己玩《Minecraft》的AI系統。
Nvidia上周也宣布和甲骨文雲計算服務的進一步合作。繼今年3月及7月締結生成式AI服務及超級電腦服務DGX Cloud搬上甲骨文雲基礎架構（Oracle Cloud Infrastructure，OCI）後，現在Nvidia DGX Cloud及Nvidia AI Enterprise軟體服務，已經在服務市場上架，提供OCI客戶採購。
