NVIDIA近日在美國丹佛舉行的Siggraph大會上宣布，正在大幅擴展NVIDIA Inference Microservices（NIM）庫以涵蓋物理環境、高級視覺建模和各種垂直應用。
亮點包括Hugging Face推理即服務上線了NVIDIA雲，以及對三維訓練和推理的擴展支持。
NIM是一組容器化微服務，作為NVIDIA AI Enterprise套件的一個組成部分提供給用戶，可以簡化和加快AI模型的部署。每個NIM都是針對各種硬體設置量身定製的優化推理引擎，可以通過應用程序接口訪問，以減少延遲和運營成本，提高性能和可擴展性。開發者可以使用NIM快速部署AI應用，而無需進行大量定製，並且使用的是專有數據微調模型。
NVIDIA表示，Hugging Face將在NVIDIA DGX雲上提供推理即服務，為Hugging Face的400萬開發者提供更高的性能，讓他們更輕鬆地訪問無伺服器推理。Hugging Face提供了一個專門用於自然語言處理和機器學習開發和準備的平台，以及一個用於NLP任務（例如文本分類、翻譯和問答）的預訓練模型庫，還提供了一個大型數據集存儲庫，這些數據集針對Transformers的使用進行了優化，Transformers是一個開源Python庫，提供使用NLP模型的資源。
NVIDIA還宣布了在生成式物理AI方面取得的進步，包括用於構建交互式視覺AI代理的Metropolis參考工作流程。Metropolis是一組開發者工作流程和工具，用於在所有類型的硬體上構建、部署和擴展生成式AI應用。NVIDIA還宣布推出了新的NIM微服務，可以幫助開發者訓練物理機器以處理複雜的任務。
3D世界
這次公告包括了三個新的Fast Voxel Database NIM（FVDB）微服務，支持用於三維世界的新深度學習框架。FVDB是一個新的深度學習框架，用於生成現實世界的AI就緒虛擬表示。它是建立在OpenVDB之上的，後者是一個行業標準的結構和程序庫，用於模擬和渲染水、火、煙和雲等稀疏體積數據。
FVDB的空間規模是先前框架的4倍，性能提高了3.5倍，提供了對大量真實世界數據集的訪問路徑，通過組合以前需要多個深度學習庫的功能來簡化流程。
NVIDIA同時宣布的還有三項微服務——USD Code、USD Search和USD Validate，都使用通用場景描述開源交換格式來創建任意3D場景。
USD Code可以回答OpenUSD知識問題並生成Python代碼，USD Search支持自然語言訪問大量OpenUSD 3D和圖像資料庫。USD Validate會檢查上傳文件與OpenUSD發布版本的兼容性，使用Omniverse雲API生成完全渲染的路徑跟蹤圖像。
NVIDIA Omniverse和模擬技術副總裁Rev Lebaredian表示：「我們構建了世界上第一個能夠理解基於OpenUSD的語言、幾何、材料、物理和空間的生成式AI模型。」
物理AI支持
NVIDIA宣布為物理AI量身定製的NIM支持語音和翻譯、視覺和逼真的動畫和行為。視覺AI代理使用電腦視覺功能來感知和與物理世界交互並執行推理任務。
它們是由一類稱為視覺語言模型的新型生成式AI模型提供支持的，這些模型可以增強決策能力、準確性、交互性和性能。NVIDIA的AI和DGX超級電腦可以用於訓練物理AI模型，Omniverse和OVX超級電腦可用於完善數字孿生中的技能。
應用領域包括機器人，因此NVIDIA表示將為世界領先的機器人製造商、AI模型開發商和軟體製造商提供一套服務、模型和計算平台，以開發、訓練和構建下一代人形機器人（如圖所示）。
產品包括用於機器人模擬和學習的NIM微服務和框架、用於運行多級機器人工作負載的OSMO編排服務以及支持AI和模擬的遠程操作工作流程，可顯著減少訓練機器人所需的人類演示數據量。
Lebaredian說，生成式AI的視覺輸出通常是「隨機且不準確的，藝術家無法按照自己的意願編輯有限的細節，藉助Omniverse和NIM微服務，設計師或藝術家就可以構建一個地面實況3D場景，為生成式AI提供條件。他們在Omniverse中組裝場景，從而將品牌認可的資產（如可樂瓶）和各種道具和環境模型聚合到一個場景中。」
NVIDIA NIM將提供Getty Images的4K圖像生成API和Shutterstock的3D資產生功能，用於使用文本或圖像提示生成圖像，兩者都使用了NVIDIA Edify，一種用於視覺生成式AI的多模式架構。
Lebaredian表示：「自2016年以來，我們一直在投資OpenUSD，從而使工業企業和物理AI開發者能夠更輕鬆、更快速地開發高性能模型，讓Omniverse也變得更輕鬆、更快速。」NVIDIA還與共同創立Open USD聯盟的Apple公司展開合作，構建從圖形交付網路到Apple Vision Pro的混合渲染管道流。現在開發者可以通過早期訪問計劃獲得在Omniverse上實現此功能的軟體開發工具包和API。
開發者可以使用NIM微服務和Omniverse Replicator等來構建支持AI的生成式合成數據管道，解決經常限制模型訓練的真實世界數據短缺問題。
即將推出的NIM或者USD Layout、USD Smart Material以及FDB Mesh Generation，可以生成由Omniverse API渲染的、基於OpenUSD的網格。
