在電視台的新聞報道中,虛擬數字人正逐漸取代傳統的手語老師,提供漢語到手語的實時翻譯,確保聽障人士的觀看體驗。以前,為了讓翻譯準確,手語虛擬數字人還需要較多的人工干預,在生成式AI出現後,通過對自然語言的理解,AI就能直接讓虛擬數字人實現漢語、手語互譯的能力。
生成式AI正成為虛擬數字人智能化的關鍵角色,通過整合生成式AI的能力,虛擬數字人也找到了更豐富的應用場景。數字栩生(北京)科技有限公司首席市場官郭學贇表示,生成式AI讓虛擬數字人從一種單純的虛擬形象,進化成能夠與人互動的智能實體。
從建模到AI,虛擬數字人的升級之路
虛擬數字人的製作需要依靠光場建模、動作捕捉等技術,動作捕捉通過捕捉真人的動作來生成數字人的動作。生成式AI的出現,也為虛擬數字人的製作提供另一種方案——AI生成,讓AI通過算法來生成數字人匹配的動作。
數字栩生通過構建人臉資料庫,供給深度學習算法訓練
郭學贇指出,這兩種技術各有優勢,動作捕捉在真實性上表現更好,AI生成則是在靈活性和成本上更勝一籌。為了讓虛擬數字人提供更真實的視覺體驗,依然需要光場建模和大量的算法模型。
虛擬數字人的應用浪潮最早出現在影視製作領域,利用傳統的影視技術完成製作;生成式AI的出現和快速疊代,讓虛擬數字人迎來第二波發展。
AI極大降低了虛擬數字人的製作成本,郭學贇表示,通過AI算法,很短時間內生成的2D虛擬數字人,可以應用到直播等領域,3D數字人的製作周期也大幅縮減,極大提高了數字人的生產效率,加速了數字人從概念到現實的轉化。
由AI驅動,加速應用場景落地
除了生成虛擬數字人,生成式AI也能幫助虛擬數字人獲得交互能力,並且在功能上不斷擴展。虛擬數字人已經被應用於智能客服、教育輔助、娛樂互動等多個領域,例如,銀行和教育機構已經開始利用數字人提供服務,而娛樂行業則利用數字人進行互動表演和遊戲。
數字栩生推出的虛擬數字人已經深入多個領域,主要包括遊戲娛樂、教育講解、手語服務、名人復現等等。
國內首個京劇數字人「數字梅蘭芳」
遊戲娛樂方面,通過與虛擬數字人的結合,在線遊戲將獲得更智能的NPC,線下娛樂場所也能通過虛擬數字人提供更豐富的娛樂體驗。在北京三里屯的一家KTV,數字栩生的數字人不僅可以充當服務員的角色,還能搖身一變成為現場的DJ或主持人。在遊戲中,虛擬數字人形態的NPC能夠與玩家實時交互,由AI實時生成動態的對話和反應,而不是傳統NPC的預設劇本,更有沉浸感。
教育講解方面,虛擬數字人可以擔任講解員或輔助教師,例如在景區、博物館等公共場所提供講解服務。虛擬數字人在景點或博物館中擔任講解員,能夠向參觀者提供詳細的展品解說和歷史背景介紹。對於圖書館或大型展覽,虛擬數字人也可以提供導覽服務,指引訪客瀏覽不同的區域,並提供關鍵資訊。在教育場景中,數字人可以用作教學輔助工具,幫助解釋複雜的概念或進行語言學習練習。
為上海博物館「古埃及文明大展」提供導覽服務的AI數字人「小可」
手語服務方面,虛擬數字人被應用到廣電和特殊教育場景,提供標準化的手語翻譯。郭學贇表示,數字栩生公司在手語數字人領域與專業機構合作,確保手勢的準確性和標準化,同時利用AI技術提升資訊服務的可接入性。事實上,在北京冬奧會期間,手語虛擬數字人得到了更加廣泛的應用,為聽障觀眾提供無障礙的觀看體驗。
名人復現方面,數字栩生通過與北京理工大學、中央戲劇學院等機構的共同合作,復原了如梅蘭芳等歷史名人的數字化形象,提供更好的傳統文化教育和傳播。郭學贇提到,他們曾完成「梅蘭芳」、「魯迅」、「李大釗」等歷史名人的數字化復原。
挑戰與前景,虛擬數字人的未來
虛擬數字人的製作和功能落地是一個複雜的過程,涉及大量的技術細節。儘管AI拉近了虛擬數字人與真人的差距,但情感表達和交互能力上,當前的技術很難讓虛擬數字人完美實現。
數字栩生參與打造的高逼真數字演員「春草」
除此之外,人們對虛擬數字人的接受程度仍然存在挑戰。儘管虛擬數字人技術在某些領域已經得到應用,但市場仍處於發展階段。用戶對虛擬數字人的認知和接受程度,將直接影響數字人技術的普及和應用。
虛擬數字人市場尚未成熟,競爭卻已經非常激烈,尤其是在技術能力和設計美學方面,競爭者們也各有優勢。不過對普通用戶來說,當前的虛擬數字人仍然缺乏真人的情感價值與柔和性,這意味著數字人在真實性和情感表達方面仍有長遠的路要走。郭學贇認為,虛擬數字人技術充滿可能性,數字栩生還在探索如何將虛擬數字人技術應用於高端養老和情感療愈中,但目前還存在很多限制,需要時間和進一步的技術發展才能解決。