Nvidia近日詳細介紹了Eureka，一種可以自動訓練機器人執行新任務的AI系統。
在一次內部評估中，Nvidia使用Eureka教10個模擬機器人29種不同的動作。工程師通常會在構建機器之前創建機器模擬版本以支持開發工作Eureka教Nvidia的虛擬機器人打開抽屜、表演轉筆技巧以及執行其他相對複雜的任務。
很多機器人都是由強化學習模型的神經網路提供動力的。強化學習模型通過反覆試驗來學習執行任務：它們在模擬環境中多次重複該任務，直到弄清楚如何正確執行該任務。模擬學習環境中，包括一個充當神經網路測試台的虛擬機器人。
在此類項目中，AI訓練過程由是一段稱為獎勵函數的代碼進行監督的。當機器人的強化學習模型在學習過程中得出正確的結論時，該函數會「獎勵」它，並在錯誤時對其進行懲罰，通過這種方式，強化學習模型將被引導找到操作機器人的正確方法。
為強化學習模型編寫獎勵函數歷來是一項耗時且技術含量高的任務。據Nvidia稱，這次推出的Eureka系統可以實現這個過程的自動化，系統會根據自然語言指令生成獎勵函數，例如「教機械臂下棋」等。
Eureka在幕後使用OpenAI GPT-4將用戶提示轉化為獎勵函數。除了提示本身之外，系統還接受所謂的環境代碼作為輸入，這是一種描述模擬機器人通過訓練以執行新任務的代碼。
據Nvidia稱，Eureka 不僅會生成獎勵函數，還會隨著時間的推移對其進行不斷改進。該系統創建了多個版本的獎勵函數，並通過將其應用到模擬機器人來評估工作效果，然後會分析評估結果以找出改進的機會。
Eureka系統還可以在此過程中考慮開發人員的反饋，特別是允許工程師就如何增強機器人的獎勵功能提供建議，這些建議已經納入到代碼優化過程中。
Nvidia表示，在測試的80%多的機器人動作中，Eureka獎勵函數的表現優於人類編寫的代碼。結果，作為該項目一部分開發的10個模擬機器人更有效地執行了分配的任務，Nvidia的研究人員記錄到機器人性能提高了52%。
參與Eureka開發的Nvidia人工智慧研究高級總監Anima Anandkumar表示：「強化學習在過去十年中取得了令人印象深刻的勝利，但仍然存在許多挑戰，例如獎勵設計，這仍然是一個試錯的過程。Eureka是開發新算法的第一步，這種算法集成了生成式學習和強化學習方法來解決那些困難的任務。」
Nvidia已經在GitHub上發布了Eureka的關鍵組件以及描述其工作原理的學術論文。工程師可以使用Nvidia的Isaac Gym程序運行該軟體，該軟體是一種專門為支持AI驅動型機器人開發而設計的模擬工具。
