Meta AI 研究人員正趨向於呈現逼真化身腿部顯示,而無需額外的追蹤硬體。
開箱即用,目前的 VR 系統只追蹤用戶的頭部和手部位置。用戶的肘部、軀幹和腿部的位置可以使用一類稱為反向運動學(IK)的算法來估計,但這有時只對肘部準確,很少對腿部進行校正。對於每組給定的頭部和手部位置,都有太多潛在的解決方案。
鑑於 IK 的局限性,如今的一些 VR 應用程序只顯示用戶手部,許多應用只示用戶的上半身。使用 SteamVR 追蹤支持的PCVR 追蹤器,例如HTC Vive Tracker,但購買足夠追蹤器的用於身體追蹤需要花費數百美元,且大多數遊戲都不支持。
去年 9 月,Meta AI 研究人員展示了一個名為QuestSim的強化學習神經網路,該網路僅使用 Quest 2 及其手柄的追蹤數據即可估計合理的全身姿勢。但 QuestSim 的延遲為 160 毫秒,在在 72 Hz下超過 11 幀。它只適合在看別人的腿部化身,而不是自己,也沒有提到系統的運行時性能或運行在什麼 GPU 上。
在一篇名為《Avatars Grow Legs( AGRoL )》的新論文中,其他 Meta AI 研究人員和實習生 Yuming Du 展示了一種新方法,他們聲稱該方法「實現了最先進的性能」,計算要求低於以前的 AI 方法。AGRoL 是一種擴散模型,就像最近的 AI 圖像生成系統,如 Stable Diffusion 和 OpenAI DALL·E 2。
與其他擴散模型和大多數AI研究論文不同,研究人員表示,AGRoL「可以在 NVIDIA V100 上實時運行」,運行速度約為 41 FPS。雖然NVIDIA V100是一個 15000 美元的 GPU,但相信經過幾年優化,最終將能在智慧型手機上運行。例如,Google Assistant 和 Siri 中使用的語音識別和合成模型就是這種情況。
儘管如此,沒有跡象表明 AGRoL 身體姿勢將很快出現在 Meta Quest 產品中。Meta 確實宣布虛擬化身將在今年獲得腿部支持,但它可能會由技術上不那麼先進的算法提供支持,並且僅適用於其他人的化身,而不是自己的化身。