Nvidia近日推出超現實實時3D圖形協作和模擬平台Omniverse的主要版本,該平台將允許企業使用OpenUSD和人工智慧構建更好的3D模型和場景。
Nvidia Omniverse平台為藝術家、工程師、創作者和其他人提供了一套「元宇宙」工具,讓他們在虛擬世界上進行大規模遠程協作,以重新創建和模擬他們可以想像的任何東西,讓他們藉助這個強大的工具可以模擬包括建築物、汽車、飛機和工廠在內的虛擬世界,用於影片遊戲或工業解決方案,包括可以像現實世界一樣與實際物理反應的「數字孿生」。
Nvidia在SIGGRAPH 2023期間宣布推出的Nvidia Omniverse更新,其中包括了對Universal Scene Description(OpenUSD)進行增強,OpenUSD是一種開放框架,允許藝術家和工程師在大型3D項目上進行協作,包括連接雲和生成式AI應用編程接口的新技術組合。
開發人員使用生成式AI和OpenUSD將能夠以全新的方式構建全新的應用和3D環境。他們利用人工智慧的力量可以簡單地輸入他們想要的內容,並創建USD規格的內容或者生成渲染,從而節省時間和精力。
開發人員通過ChatUSD可以訪問一種生成式AI大型語言模型,這種模型可以從文本生成Python-USD代碼腳本並回答有關USD的問題,它使用Nvidia自己的NeMo AI框架開發,該框架允許任何人通過提高速度並快速編寫代碼來成為OpenUSD方面專家,它的運行方式與OpenAI ChatGPT生成電腦代碼的方式類似,但接受了OpenUSD Python腳本的訓練,可以配合藝術家或者開發人員手頭已有的腳本一起使用。
DeepSearch是一個大型語言模型代理,可以根據文本提示通過3D模型和未標記資產進行快速語義搜索。許多企業開發人員和藝術家都有大量觸手可及的3D模型庫,並經常搜索這些模型,但模型並不總是得到了很好的分類或者位於可搜索的庫中。擁有一個可以讓他們提出問題的搜索代理,可以幫助他們快速找到他們想要的東西。
Nvidia公司聯合創始人、首席執行官黃仁勛表示:「正如HTML引發了2D網際網路的重大計算革命一樣,OpenUSD將觸發協作3D和工業數字化時代。」
Nvidia表示,通過使用新的Omniverse USD Composer,開發人員、藝術家和工程師將能夠同時大規模且快速地構建高級場景合成,並在同事和不同應用之間輕鬆共享這些內容。
Nvidia最近與Apple、Adobe、Autodesk和Walt Disney的Pixar Animation Studios聯合成立了OpenUSD聯盟,一個將於本月早些時候構建和開發OpenUSD的行業機構。該聯盟將致力於普及OpenUSD,並在進一步發展的同時提供該標準的書面規範。Nvidia還提供了該框架的功能路線圖,使其對於自主工業機器人和工業人工智慧有更大的用處。
Adobe和Nvidia還宣布進一步圍繞Omniverse展開合作,將Adobe Firefly(Adobe的圖像生成基礎AI模型系列)引入平台中。Adobe推出了Firefly作為一套圖像生成式AI工具,其操作類似於主流的圖像生成模型如Stable Diffusion、Midjourney和OpenAI DALL-E 2。Adobe在今年5月將其添加到Photoshop中,允許用戶使用「生成填充」通過文本提示修改圖像。
Nvidia Omniverse和模擬技術副總裁Rev Lebaredian表示:「最新更新的Omniverse讓開發人員可以通過OpenUSD利用生成式AI來增強他們的工具,並讓企業可以構建更大的、更複雜的世界規模模擬,作為其工業應用的數字測試場。」
Omniverse其他主要改進包括新增了Kit Extension Registry,為開發人員提供一個中央存儲庫用於訪問和共享Omniverse擴展(這些擴展是應用內的插件),從而提供了一個簡單的資源用於發現他們正在使用的內容以及影響應用的方式,讓他們可以快速打開和關閉從Nvidia提供的600多種不同的Omniverse核心擴展以構建自定義應用功能。
Nvidia還通過新的渲染優化功能提高了Omniverse的效率,這些優化利用了新的Nvidia RTX GPU以及Ada Lovelace架構中的DLSS 3.0技術,此外還有原生RTX支持的擴展現實開發工具套件,可提供「空間計算」體驗用於開發虛擬和增強現實應用。