2024 年,科技博主 Brian Tong 在 YouTube 發布的一則影片,讓蘋果 Vision Pro 的 FaceTime 通話功能驚艷眾人。以往那些略顯「卡通感」的虛擬頭像成為過去式,取而代之的是近乎以假亂真的虛擬分身,尤其是嘴部表情的細膩還原,瞬間引發外界廣泛關注與熱議。近日,一項新公開的國際專利申請,揭開了蘋果如何以創新科技精準捕捉並復刻用戶表情的神秘面紗。
這項名為「用於頭顯的表情估算技術:基於低剖面天線和阻抗特性感應」的專利,詳細闡述了一套涵蓋系統、設備與方法的完整技術方案。它就像一位敏銳的「表情獵手」,能夠實時且精準地識別、追蹤用戶面部與手部的細微姿態變化。無論是嘴唇的張合、舌頭的攪動、下顎的起伏,還是臉頰的抽動,甚至在用戶用手遮住嘴巴時的複雜動作,都逃不過它的「法眼」。
其核心創新之處在於,運用了無線電頻率(RF)信號與精心設計的天線陣列,以一種非接觸的方式,敏銳感知用戶皮膚組織表面在運動過程中產生的微妙變化,進而重建出栩栩如生的三維面部表情。
這些關鍵天線通常巧妙地集成在頭顯設備的底部。其低剖面設計堪稱「隱形大師」,不僅便於隱藏,讓設備外觀更加簡潔流暢,還能有效降低外界環境對信號的干擾。專利中特別提到的槽型天線(Slot Antenna)以及 U 形垂直極化天線,更是具備「智能感知」能力。它們能夠根據用戶動作方向的變化,靈活調整發射波束,就像精準的「瞄準鏡」,提高了表情追蹤的精度。
在檢測過程中,天線與面部組織之間會發生電介質相互作用,系統通過監測自共振頻率和性能的變化,就能準確判斷用戶是在微笑、說話、閉嘴,還是做出其他各種表情。這套天線系統就像一位「微表情大師」,能夠敏銳區分極其細微的面部肌肉變化。即便用戶佩戴口罩、留有鬍鬚,或者面部存在遮擋,它依然能保持出色的識別能力。
不僅如此,該系統還具備強大的手部動作追蹤功能,無論是用戶在 FaceTime 通話中舉手示意、比劃手勢,還是用手遮住嘴巴時的動態反應,都能被精準捕捉。
為了進一步提升表情識別的表現力,蘋果並沒有一味追求高幀率,而是將重點放在了更高的頻譜精度上,致力於精準捕捉面部結構的「整體形態」。打個比方,嘴部在講話時變化速度極快,但該系統只需提取關鍵的主要輪廓,就能準確傳達出用戶的情緒。在實際應用中,蘋果的方法在每秒8.5幀的速率下,就能從多個頻率採樣點提取出124個高精度數值點。
最終,通過這套表情識別系統採集到的豐富數據,將被用於生成 Vision Pro 中的虛擬人物(Persona)。無論是追求極致寫實風格,還是打造充滿創意的動畫風格,這些虛擬人物都能精準還原用戶的表情細節。