Codec Avatars 是 Meta 長期運行的研發項目,旨在通過實現真正令人信服的逼真化身來徹底改變遠程通信,這些頭化身由帶有面部追蹤傳感器的頭顯/眼鏡實時驅動。Meta 於 2019 年首次透露了該項目的存在,並在此後的幾年裡展示了多個保真度更新以及全身版本。
雖然超逼真 Avatar 編解碼器一直被描述為研究領域,但一項新發現表明,它現在可能正在成為 Quest 頭顯的一項功能。
近日,VR 愛好者 Luna 通過反編譯 Meta Quest v62 版本找到了對 Codec Avatars 相關代碼的引用,該固件目前可供測試人員在公共測試頻道中使用。
即將推出的 Quest 功能在過去已多次以這種方式被發現。它告訴我們,Meta 正在努力在 Quest 頭顯上集成一項功能。但是,它並沒有告訴我們該功能距離發布還有多遠,或者它是否真的會發布。例如,Space Sense 在固件中被發現幾個月後就到了,而 Quest Pro 則花了一年多的時間。多年來,人們已經發現了對 Discord 集成和 Project Avalanche 雲 PC VR 流媒體功能的引用,但兩者都沒有發布。
去年 3 月,Meta 首席技術官 Andrew Bosworth 表示,該公司在發布 Codec Avatars 方面「取得了進展」,但「還需幾年的時間"。
2021 年,Meta 研究人員展示了一種更有效的 Codec Avatars 解決方案。在 Quest 2 上,新解決方案可以以 72FPS 的速度在空白場景中渲染一個化身,以 63FPS 左右的速度渲染三個化身,或者以 43FPS 左右的速度渲染五個化身。
但是,如何在缺乏面部和眼動追蹤的 Quest 2 和 Quest 3 上驅動這些化身呢?Meta 研究人員還展示了一個不需要面部追蹤的 Codec Avatars 版本,最近甚至展示了一個根本不需要任何追蹤的版本。取而代之的是,來自麥克風的音頻被輸入到神經網路中,該神經網路模擬還原當前語音模式的可能面部姿勢。
目前還不清楚此功能是針對現有的 Quest 頭顯還是未來的 Quest Pro 2 開發的。但 Meta 也可能打算將超逼真 Avatar 編解碼器引入現有的 Quest Pro,甚至是 Quest 2 和 Quest 3。