近日,新澤西理工學院與中佛羅里達大學的研究團隊共同開發出一款名為「RevAvatar」的創新框架,旨在解決VR頭顯長期以來存在的社交隔離問題。
目前 VR 設備雖已廣泛應用於遊戲、遠程協作及教育等領域,但其頭顯會遮擋用戶眼部及面部表情,不僅阻礙了與現實世界的視覺交流,也令周圍人難以感知用戶的情緒和專注狀態,從而加劇了使用者的社交隔離感。
為此,研究團隊提出了一種基於人工智慧的反向透視技術。該技術僅通過一張類似自拍的照片,即可實時重建用戶被遮擋的面部區域,生成高保真的 2D 面部圖像與準確的 3D頭 部虛擬化身,並支持在頭顯外部螢幕上實時顯示眼神與表情。
這一方案無需依賴昂貴的多攝影機或 3D 掃描設備,即可適配包括 Apple Vision Pro 和 Meta Quest 3 在內的多種消費級頭顯,甚至在移動晶片上也能實現毫秒級響應,保證了良好的實時性。
此外,團隊還公開發布了「 VR-Face 」數據集,包含 20 萬個模擬不同遮擋、光照和畸變條件的樣本,可用於訓練和評估 VR 場景下的 AI 模型,為後續研究提供重要資源。
實驗表明, RevAvatar 在重建質量、身份特徵保持和運行效率方面均優於當前主流模型。該框架不僅有效緩解了 VR 使用中的社交隔離,也為沉浸式會議、虛擬社交等應用提供了更自然、真實的交互體驗,進一步推動了虛擬與現實環境的融合。