Meta 研究團隊在虛擬化身生成技術上取得了重大突破。他們構建了一個名為「大型重建模型（LRM）」的系統，該系統僅憑四張手機自拍照，就能在極短的時間內生成一個可動且逼真的頭部虛擬化身。
Meta 在虛擬化身的生成和動畫技術方面已有六年的研究歷史。然而，生成高質量的虛擬化身一直面臨著數據量和處理時間的巨大挑戰。
以往，Meta 最高質量的系統需要使用昂貴的專業捕捉設備，包括 100 多個攝像頭。雖然該公司曾嘗試過利用智慧型手機掃描生成質量較低的虛擬化身，但這一過程需要用戶在三分鐘內做出 65 種面部表情，並且捕捉到的數據需要數小時才能在配備高端圖形處理器的機器上處理完成。
現在，Meta 和慕尼黑工業大學的研究人員論文中展示了一個全新的系統。該系統利用大型重建模型（LRM）和視覺變換器（ViT）技術，僅通過四張手機自拍照，就能在幾分鐘內生成一個逼真的頭部虛擬化身。
Avat3r 系統基於變換器處理三維視覺任務的概念，利用視覺變換器預測一組三維高斯模型。這種方法類似於高斯濺射技術，已成功應用於一些逼真的場景中。儘管 Avat3r 系統生成虛擬化身所需的數據量和計算量非常低，但目前它並不適合實時渲染。研究人員表示，該系統在英偉達 RTX 3090 顯卡上的運行幀率僅為每秒8幀。
然而，這一突破性的成果為未來指明了方向。隨著人工智慧技術的不斷發展，Avat3r 系統的方法有望在未來實現數量級的優化。這意味著，頭戴設備的用戶可能只需拍幾張自拍照，再等待幾分鐘的生成時間，就能擁有一個逼真的虛擬化身。
