Meta 研究人員展示了基於人工智慧驅動的身體姿勢系統最新成果。
目前的 VR 系統開箱即用，只能追蹤用戶頭部和手部位置。用戶肘部、軀幹和腿部的位置可以使用一類稱為逆運動學 （IK） 的算法來估計，但這有時只對肘部準確，而對腿部則很少正確。對於每組給定的頭部和手部位置，都有太多潛在的解決方案。鑑於 IK 的局限性，一些 VR 應用程序只顯示手部，許多應用只顯示一個上半身。
智慧型手機應用現在可以使用電腦視覺進行 VR 身體追蹤，但這需要將手機安裝在角落裡，並且只有在面對它時才可以正常工作。使用 SteamVR 追蹤的PCVR 頭顯通過佩戴額外追蹤器（如HTC Vive Tracker）支持更高質量的身體追蹤，但購買足夠的身體追蹤設備需要花費數百美元。
去年，三名 Meta 研究人員展示了 Quest Sim，這是一種強化學習模型，僅通過 Quest 2 及其控制器的追蹤數據就可以估計合理的全身姿勢，無需額外的追蹤器或外部傳感器。生成的化身運動與用戶的真實運動非常接近。研究人員甚至聲稱，由此產生的精度和抖動優於佩戴的 IMU 追蹤器，這些設備只有加速度計和陀螺儀，如索尼的 Mocopi。
但是 Quest Sim 失敗的一個極端情況是當用戶與現實世界交互時，例如坐在椅子或沙發上時。處理這個問題，尤其是坐著和站著之間的過渡，對於社交 VR 中的逼真完整身體至關重要。
在一篇名為Quest Env Sim的新論文中，同樣的三名研究人員和另外兩名研究人員提出了一個更新的模型，仍然使用相同的強化學習方法，該方法考慮了環境中的家具和其他物體：
研究結果相當令人印象深刻。但是，不要指望 Quest Env Sim 會很快在 Quest 2 上運行。與原始的 Quest Sim 一樣，這裡有幾個重要的注意事項。
首先，本文沒有提到所描述系統的運行時性能。機器學習研究論文傾向於以相對較低的幀速率在強大的 PC GPU 上運行，因此可能需要數年時間才能實時運行。
其次，在虛擬環境中手動掃描和定位所使用的家具和物體。雖然 Quest3 可能能夠通過其深度傳感器自動掃描家具，但 Quest 2 和 Quest Pro 沒有那麼關鍵的傳感器數據。
最後，這些系統旨在產生合理的整體全身姿勢，而不是與手部確切位置相匹配。系統的延遲也相當於 VR 中的許多幀，因此，這些方法對於在 VR 中俯視自己的身體來說效果不佳，即使它們可以實時運行。
但是，假設系統最終可以優化，看到其他人化身的全身運動將比 Meta 當前無腿上半身化身要好得多。
