近日，美國專利局公布了Apple Vision Pro創建逼真虛擬化身全新專利，涉及在電腦生成的內容中代表用戶的系統、方案和設備。
蘋果的發明涵蓋了生成一組值的設備、系統和方法，這些值在某個時間點表示用戶面部的 3D 形狀和外觀，用於生成用戶表示（例如，化身）。
更重要的是，一組點是在與另一個設備進行通信會話（FaceTime）期間發送的 3D 影片數據幀，而另一個設備使用諸如 RGBDA 資訊之類的值集（以及關於如何解釋深度值的資訊）以渲染用戶面部的視圖。
在一些實施方式中，面部數據的連續幀（表示用戶面部在不同時間點的3D形狀和外觀值的集合）可被傳輸並用於顯示實時3D影片狀面部描繪（例如，真實的移動的面部）。在一些實施方式中，實時地顯示對用戶的描繪（例如，在第二用戶的第二設備的顯示器上向第二用戶顯示化身）。
從技術上講，在一些實施方式中，可以使用具有非平面形狀（例如，圓柱形）的表面來減少失真。該組值包括定義面部部分相對於表面的多個點（例如，部分圓柱形表面網格中的點）的深度值。
例如，一個點的深度值可以定義面的一部分在表面上該點的位置之後的深度 D1 處，例如，沿著在該點開始的射線在深度 D1 處。這裡描述的技術使用與現有 RGBDA 圖像（例如，紅綠藍深度 α 圖像）中的深度值不同的深度值，因為 RGBDA 圖像定義相對於單個相機位置的內容深度，並且這裡描述的技術將深度定義為相對於平面形狀（例如，圓柱形狀）的表面上的多個點的面部部分。
與使用 3D 網格或 3D 點雲相比，該組值可能需要更少的計算和帶寬，同時實現比 RGBDA 圖像更準確的用戶表示。此外，該組值可以以類似於現有格式（例如 RGBDA 圖像）的方式格式化/打包，這可以實現與基於這種格式的系統的更有效集成。
在一些方面中，HMD 包括一個或多個面向內的圖像傳感器和一個或多個子面向下的圖像傳感器，傳感器數據由一個或多個面向內的傳感器和一個或多個個子面向下的圖像傳感器捕獲。
蘋果專利圖 8 說明了創建一個逼真 3D 化身的關鍵設備是AppleVision Pro（HMD），雖然這項發明適用於 iPhone、iPad 和 Mac 電腦。圖 4 示出了生成和顯示用戶面部表示的部分示例。
蘋果專利圖 3C 示出了 3D 歧管的表面示例，其中強調了面的特定區域。在示例中，環境包括特徵參數化指令集，該特徵參數化指令集被配置為由處理器可執行的指令以生成一組值（例如，外觀值、深度值等）。其表示來自實時圖像數據的用戶面部在某個時間點的 3D 形狀和外觀以創建 3D 化身。
蘋果專利圖 6 是示出示例性方法的流程圖。
