近日，德國馬普資訊學研究所與谷歌等機構聯合推出全新VR化身生成系統EgoRelight，僅依靠頭顯自帶攝影機，即可同步完成第一視角全身動捕、高真實感重光照與環境光照還原，為沉浸式通信與虛擬社交帶來突破性進展。
傳統VR虛擬化身往往依賴外部攝影機、光學動捕棚或專用傳感器，不僅部署複雜、成本高昂，還難以讓虛擬人物與真實環境光照自然融合。EgoRelight針對頭戴式顯示設備優化，充分利用頭顯朝下的立體攝影機與朝前環境攝影機，構建一體化解決方案，無需額外硬體即可生成逼真、可重光照的數字化身。
該系統實現三大核心能力：通過向下立體攝影機估算全身姿態與稠密深度圖，精準驅動網格化身；根據目標光照生成符合物理規律的漫反射與鏡面高光效果，讓化身質感更真實；由前攝掃描環境，經逆向渲染與色彩校準恢復 HDR 環境貼圖，使化身光影與現實場景完全統一，真正實現 「人在景中、光隨境變」。
訓練階段，研究團隊在配備數百個RGB光源與4K攝像機的專業光舞台中採集人體數據，讓模型學習姿態到幾何的映射關係，並分別建模漫反射與鏡面反射傳輸，最終以3D高斯splatting技術完成高質量渲染。
測試結果顯示，EgoRelight在PSNR、SSIM、LPIPS、FID等多項指標上全面超越Relighting4D、MeshAvatar等主流方案，幾何重建精度與姿態估計誤差均達到行業領先水平，運行效率穩定在46 FPS左右。
在環境光照匹配方面，EgoRelight可通過360°前攝掃描生成LDR全景圖，再逆向優化為HDR貼圖，相比傳統圖像調和方法，能更好保留面部細節與時序色彩一致性，有效解決 「人物融入背景卻不響應真實光照方向」 的行業痛點。
研究團隊同時指出，當前系統仍存在非實時運行、強光環境適應性有限、面部與腳部存在偽影、需專屬人物預訓練等局限，未來將通過高效IK求解器、多幀包圍曝光、面部感知模組與生成式通用化身持續優化。
作為VR動捕與虛擬化身領域的重要革新，EgoRelight大幅降低了高質量數字人生成門檻，有望推動遠程協作、虛擬會議、XR社交等場景快速普及，讓沉浸式通信更貼近真實人際交互體驗。
