Nvidia開源了一個名為fVDB的PyTorch擴展,這是一個專為處理大規模3D數據集而設計的深度學習框架,其創建於OpenVDB基礎之上,並使用NanoVDB進行GPU加速,支持高性能稀疏體積數據存儲與操作。
fVDB主要功能在於處理現實世界模擬,或大規模3D數據的測量工作,其提供了一個強大且一致的框架,可以對大型3D數據執行一整套深度學習操作,避免了以往開發人員需使用不同函數庫拼湊框架,所產生漏洞和性能低下的問題。
fVDB與現有的VDB數據集兼容,可以直接讀取和寫入VDB數據集,並且能集成如Warp和Kaolin等3D深度學習工具和函數庫。此外,fVDB也提供統一的API,供開發者實例卷積、注意力機制等基本神經網路操作,並支持光線關注、高斯分布和體積渲染等操作。
Nvidia以OpenVDB為基礎構建了fVDB,而OpenVDB是一個由夢工廠動畫所開發,用於電影製作的C 函數庫,目前由Academy Software Foundation維護。OpenVDB能夠高效地處理像是煙霧、火焰和水等體積特效。
fVDB除了繼承原本OpenVDB就具有的稀疏體積數據處理和存儲能力,且更進一步提供一套完整的工具,來處理大規模3D數據的深度學習操作,適用於生成式物理人工智慧和空間智能應用場景。fVDB能夠最大程度減少內存使用並提高數據吞吐量,同時加快訓練和即時推理的速度。
之後fVDB將會作為Nvidia推理微服務(Nvidia Inference Microservices,NIM)提供,使開發人員可以將fVDB核心框架整合到OpenUSD(Universal Scene Description)3D模型文件交換格式工作流程,在Omniverse中產生OpenUSD幾何圖形。
Nvidia將提供三種fVDB推理微服務,包括可從點雲數據生成OpenUSD網格,並運用Omniverse Cloud API進行渲染的Mesh Generation NIM,以及可對單影格和多影格進行人工智慧超解析度處理,生成OpenUSD高解析度物理模擬的Physics Super-Res NIM,第三則是使用Omniverse Cloud API生成大規模神經輻射場(NeRFs),實現逼真3D視覺效果的NeRF-XL NIM。