Meta與首爾大學的研究團隊近日突破VR頭像驅動技術瓶頸，提出名為GenHMC的創新方案，有望讓虛擬化身的表情更加真實自然，同時大幅降低數據採集成本。
長久以來，VR設備難以僅通過頭戴設備內部的紅外攝影機，精確捕捉用戶完整的面部表情，導致虛擬化身表情僵硬、不夠自然。傳統方法需依賴複雜的外部多攝影機系統，流程繁瑣且成本高昂。
GenHMC方法另闢蹊徑，不再嘗試將虛擬形象強行匹配不夠清晰的攝影機圖像，而是藉助生成式AI，直接根據虛擬化身應有的表情狀態，反向合成與之對應的逼真攝影機圖像。該系統以面部關鍵點和區域分割資訊為結構藍圖，通過智能生成模型，輸出既符合面部結構又包含皮膚紋理、光照細節的圖像。
這一方法擺脫了傳統上對同一用戶進行雙重數據採集的依賴，實現了「一次訓練、多身份適用」，顯著提升了系統的可擴展性和數據質量。實驗證明，引入GenHMC合成數據訓練的面部驅動編碼器，在嘴部和唇形跟蹤精度上提升超過5%，使虛擬笑容和言語表情更加生動。
該技術還可靈活應對用戶佩戴眼鏡、多攝影機視角同步及複雜光照場景，展現出強大的應用潛力。業內認為，GenHMC為實現低成本、高精度的VR虛擬化身技術開闢了新的技術路徑，推動沉浸式交互體驗向更高真實感邁進。
