6月16日,英偉達
正式推出面向開發者的全新XR AI程序庫,為AR、XR沉浸式場景搭建起一體化AI開發底座。這套工具打破了傳統AI僅局限於純數字交互的瓶頸,能夠聯動XR硬體感知數據、行業知識庫與各類AI工具,構建出可感知、會推理、能介入實操流程的空間智能體,推動人工智慧真正落地物理工作場景。
相較於傳統開發工具,英偉達XR AI程序庫大幅降低了空間智能應用的開發門檻。以往開發者需要單獨適配多模態感知、大模型推理、知識庫檢索、智能體協同等多項複雜功能,整合難度極高。而全新程序庫提供標準化底層組件,一站式完成各類能力集成,幫助開發者快速打造低延遲、貼合實景環境的沉浸式AI輔助應用,適配各類AR、XR終端設備。

該平台核心集成四大關鍵能力,構建起完整的空間智能體系。首先可全面接收XR設備採集的影片、音頻、深度圖像、位姿及各類傳感器數據,實現對現實場景的精準感知;其次打通英偉達Metropolis視覺平台、VSS影片檢索、NeMo企業知識庫檢索等專屬工具,適配視覺解析與企業級RAG檢索需求;同時兼容Nemotron、Cosmos Reason等主流大模型,提供強勁AI推理能力;最後依託專屬調度引擎與加速服務,實現應用從原型開發到商用落地的全流程賦能。
算力與工具生態的深度配套,是這套方案的核心優勢。藉助NeMo智能體工具包,開發者可輕鬆實現智能體自主推理、多主體協同作業;搭配DGX系列工作站、RTX專業顯卡等全棧加速硬體,覆蓋雲端、數據中心與邊緣設備,為各類實景AI應用提供穩定算力支撐,保障複雜場景下的實時響應。
目前,該技術已在工業、科研、醫療、文創等多領域實現規模化落地。工業領域,西門子依託該方案搭建AR車間輔助系統,幫助工程師快速排查設備故障、調取維保數據;科研場景中,AutoBio聯合VITURE等AR設備打造智能實驗系統,實現基因編輯、幹細胞實驗的標準化記錄與智能輔助;醫療端,匹茲堡大學醫學中心搭建外科輔助方案,智能規避手術視野遮擋,精準推送診療資訊。此外,該技術還賦能汽車設計評審、沉浸式數字場景搭建等文創與工業設計領域。






