Meta 正在試驗高斯潑濺技術(Gaussian splatting),使 Codec avatar 虛擬化身看起來比以前更逼真。
Codec avatar 虛擬化身有望在某一天實現逼真的遠程呈現。VR 頭顯記錄用戶的面部表情,並將其實時傳輸到虛擬化身。馬克·祖克柏和 Lex Fridman 最近在播客中展示了該技術的現狀。
Codec avatar 虛擬化身營銷的最大技術障礙之一是用戶必須在特殊工作室中進行 3D 掃描,而往往這個過程需要幾個小時。Meta 希望,在未來,基於智慧型手機拍攝的照片就可以完成化身生成過程。另一個障礙是逼真化身的渲染,Meta Quest 等獨立的 VR 頭顯缺乏計算能力。為了解決這個問題,Meta 正在開發一種專用晶片,以幫助實時渲染虛擬化身。
如今,Codec Avatars 2.0 更新了最新版本虛擬化身技術,採用高斯潑濺技術來實現更真實、更高效的化身照明。Meta 在一篇題為「Relightable Gaussian Codec Avatars」的研究論文中介紹了這一新方法。
高斯潑濺是一種支持機器學習的渲染技術,可以根據真實位置的一些圖像渲染 3D 場景。與技術相關的 NeRF 方法相比,它可以實時渲染。
Meta 研究人員將高斯潑濺應用於 Codec avatar 虛擬化身,並取得了驚人的結果:化身照明比以前更逼真,即使是最細微的細節(例如單根頭髮和毛孔)也能逼真地呈現出來,並對不斷變化的照明條件做出反應。
研究人員表示:「我們的方案在不影響實時性能的情況下優於現有方案」,研究人員基於標準 PCVR 頭顯展示了該方案的可行性。