LATTE3D的功能為「文生3D模型」,用戶輸入提示詞之後就可快速生成3D模型。舉例來說可以生成站在滑板上的摺紙貓咪。或是生成針織風格的鶴。目前LATTE3D主要針對動物和日常物體等主題進行訓練,生成動物3D模型的效果較為理想。LATTE3D具有可以生成不同品種狗3D模型的能力。
NVIDIA在GTC 2024春季場發布的LATTE3D研究項目是款能將於文本轉換為3D模型的生成式AI技術,並將花耗時間由10-12秒縮短至1秒。
NVIDIA AI研究副總裁Sanja Fidler所屬位於多倫多的AI實驗室團隊在GTC 2024春季場的座談活動中,發布了LATTE3D並於現場進行實機展示,該技術能夠高效率通過文本提示詞生成3D模型,在搭配NVIDIA RTX A6000 GPU的情況下能夠幾乎即時生成3D模型。
在LATTE3D的協助下,創作者無需從頭開始設計或在3D資料庫內搜索現有現有模型,而是能在輸入提示詞之後生成多組3D模型供創作者選擇,並在幾分鐘內完成優化提高模型的品質,有助於捕捉稍縱即逝的創意並加速工作流程。
用戶可以導出OpenUSD格式模型,並在其他3D開發程序中使用,也能導出至Omniverse該平台,讓生成的模型可以輕鬆應用於虛擬環境,用於開發電玩遊戲、廣告活動、設計項目或機器人的虛擬訓練場景。
LATTE3D利用NVIDIA A100 GPU進行訓練,並搭配ChatGPT生成的提示詞輔助訓練,以提高模型對提示詞的理解能力。雖然目前研究人員專注於動物和日常物體等主題訓練LATTE3D,但用戶也可以通過次模型架構搭配其他主題的數據訓練模型,擴展LATTE3D的適用範圍。
Sanja Fidler在座談會回答筆者的提問中表示,LATTE3D預計以開源形式發布,但目前尚處於開發階段,需等待項目更加完善才會計劃推出。