近日,國內初創公司 4DV AI 上線了一項 WebXR 演示項目,藉此向大眾展示其基於 20 台攝像機實現的 6DoF 體積影片技術成果。用戶既可以通過 Quest、PICO、Apple Vision Pro 等主流 VR 頭顯自帶的瀏覽器訪問體驗內容,也支持在 PC 端使用 WebXR 瀏覽器進行體驗。
此次演示運用了體積影片領域當下最前沿的 Gaussian Splatting(高斯點渲染)技術。藉助機器學習方法,4DV AI 能夠從多路相機輸入中高效「訓練」出可供自由視角觀看的三維影片片段。該技術在渲染精度、實時性以及壓縮效率方面均取得了顯著突破,這無疑標誌著沉浸式影片內容正從實驗室階段加速邁向消費級應用。
與去年 Gracia 發布的高斯渲染演示相比,4DV AI 的系統在效率上實現了質的飛躍。Gracia 的演示需要 6 分鐘才能訓練一幀圖像,而 4DV AI 的系統在相同時間內能夠訓練出一整秒鐘的影片內容,效率提升超過 30 倍。
不僅如此,Gracia 的演示依賴於複雜且昂貴的全景相機陣列,而 4DV AI 的方案僅需大約 20 台普通相機進行正面 180° 的採集,大大降低了拍攝門檻,更加適合專業影片工作者進行部署和使用。
在數據傳輸方面,4DV AI 也進行了深度優化:每秒影片僅需 12.5MB 的數據量。這意味著在普通百兆網路條件下,幾乎可以實現影片的同步加載與觀看,為用戶帶來流暢的體驗。
在演示內容方面,用戶可以體驗到 8 段時長約 10 秒的 6DoF 影片短片以及若干靜態三維場景。實際觀看效果接近高質量的 180° 立體影片,但不同的是,它支持頭部移動(6DoF),用戶可以左右探頭、上下俯仰來查看細節。
該演示支持通過 WebXR 瀏覽器(如 Chrome、Safari 等)進行訪問,兼容多種設備。在 Apple Vision Pro 與 PCVR 上運行十分流暢;不過在 Quest 3 上,可能會出現一些圖像偽影和卡頓現象,體驗效果會因設備性能的不同而有所差異。