Meta AI 展示全新虛擬化身模型「AGroL」

近日，Meta AI 的一項研究顯示了一種新的虛擬化身模型，可以在VR 中實現流暢的人體全身運動，而無需額外的傳感器。

贊助商廣告

在對VR 頭顯（如 Meta Quest2或Quest Pro）進行由內而外追蹤的情況下，主要追蹤用戶的頭部和手部。由於追蹤蹤攝影機集成到頭顯外殼中，因此身體的其餘部分在很大程度上保持隱藏狀態以進行運動檢測。

在一項研究中，Meta AI 提出了一種新的虛擬化身系統，該系統使用AI從這些稀疏數據中合成全身的流暢運動，大大超過了以前的化身動畫。

「Avatars Grow Legs」簡稱「AGroL」，是一種擴散模型，專門設計用於只需少量上半身信號就能追蹤全身運動。它基於多層感知（MLP）架構和運動數據的新型調節方案。

根據研究人員的說法，該模型應該能夠預測整個身體的精確且流暢的運動，這可以解決VR 全身追蹤的問題，傳統追蹤難度較大的下半身追蹤應該不是問題。到目前為止，偽影只有在接觸地面時偶爾發生。

由於 AGroL 可以實時執行，因此也應該適用於在線應用。這可能很快就會使Horizon Worlds和其他社交 VR 應用沒有腿的虛擬化身成為過去。

研究人員使用 AMASS 的動作捕捉數據集展示了該模型的有效性。與 AvatarPoser 等其他化身系統相比，AGroL 的旋轉、位置和速度誤差明顯較少。

因此，AGroL生成的運動更精確且更流暢。最重要的是，據說基於 AGroL，虛擬化身出現手臂和腿部抖動頻率要低得多。