阿里巴巴集團的研究團隊近日宣布了一項重大技術創新——TaoAvatar，這是一項旨在重塑 AR 體驗的技術。通過構建照片級逼真的 3D 全身虛擬人，TaoAvatar 使得數字世界中的互動更加生動、自然，為用戶帶來前所未有的沉浸式感受。
據介紹，TaoAvatar 的核心亮點在於其能夠創造出與真人高度相似的 3D 虛擬形象，並且這些形象並非靜態展示，而是能夠在 AR 場景中實時對話、展現豐富的表情和動作。
為了實現虛擬人的生動表現，TaoAvatar 在面部表情和身體動作的控制上進行了深入研發。通過集成先進的 Audio2BS 模型，虛擬人的面部表情和手勢能夠精準地根據語音內容動態生成，實現口型、表情和動作的完美同步。這使得虛擬人在交流時更加自然流暢，充滿了情感和生命力。
在流暢性方面，TaoAvatar 採用了創新的 3D 高斯濺射（3DGS）技術，確保了高質量的實時渲染。即使在高清立體顯示設備如 Apple Vision Pro 上，也能保持每秒90幀的流暢運行，從而為用戶帶來平滑自然的虛擬人動作和交互體驗。
此外，TaoAvatar 還具備低存儲需求和良好的跨平台兼容性，使其能夠輕鬆部署在各種移動和 AR 設備上。
為了實現這一高性能和低資源占用的目標，TaoAvatar 團隊採用了多種先進技術，包括構建個性化的服裝擴展 SMPLX 網格、利用教師網路學習複雜的姿態相關非剛性變形，並通過知識蒸餾技術將其優化到一個輕量級的 MLP 網路中。同時，他們還開發了可學習的高斯混合形狀來增強外觀細節，進一步提升了虛擬人的真實感。
