用手機攝影機追蹤全身姿態已經不是新鮮事,一些app利用這種技術來為用戶提供線上健身指導和培訓。與此同時,將手機的光學追蹤能力與VR結合也具有潛力,由於使用步驟複雜等原因,類似的方案常被人談論,但並未被廣泛應用。直到近期,開發者Frankly Dog專門為VR推出了全身追蹤app《Driver4VR》,該作目前已登陸蘋果和谷歌商店。
據了解,《Driver4VR》有免費和收費版本,免費版本僅追蹤腰部,而付費版本可追蹤全身關節,包括手腳、四肢和軀幹。其特點是允許你通過手機控制VRChat應用中的Avatar,無需購買專門的定位模塊。其原理是,通過本地Wi-Fi傳輸數據(需要VR頭顯的IP位址),然後通過VRChat的虛擬化身OSC功能來驅動Avatar。OSC協議首次在2021年公布,該協議支持面部追蹤、全身追蹤,除了兼容全身動捕系統外,還兼容Quest Pro的眼球追蹤工具。
細節方面,由於《Driver4VR》基於實時電腦視覺算法,因此對於移動設備的晶片配置也有較高的要求。系統方面,需要更新至iOS 12.0或安卓5.1及以上。VR硬體方面,該作兼容VR一體機和PC VR。
總體來講,該作設置過程不算複雜,使用起來也比較靈活,手機不管正向還是反向擺放,都能正常運行。不過據體驗者稱,該應用的定位質量與專業定位系統還有差距,有明顯的延遲,用戶需要面向手機,側身的追蹤效果不理想。
對於Quest 2等VR頭顯來講,基於手機的全身追蹤無疑是一種低成本、易上手的選擇,同樣也很期待未來Meta能推出類似的應用,來更好的解決Avatar下半身追蹤問題。