近日，美國專利商標局正式授予蘋果一項與手部追蹤技術緊密相關的專利。該專利聚焦於時空平滑的系統、方法以及設備，其核心目標在於顯著提升手部追蹤的精準度與穩定性，從而優化擴展現實（XR）環境下的用戶體驗。
在專利背景中，蘋果詳細闡述了XR環境的應用場景。XR 環境通常由頭戴式設備（HMD）來呈現，這些設備配備了場景攝像頭和顯示器。場景攝像頭負責捕捉用戶所處物理環境的圖像資訊，而顯示器則用於向用戶展示各類圖像。在某些情況下，所捕捉到的圖像或其特定部分可以與虛擬對象進行融合，為用戶創造沉浸式的 XR 體驗。而在其他情況下，HMD 也可以以直通模式運作，直接呈現物理環境的圖像給用戶，無需添加任何虛擬對象。
然而，理想情況下，用戶通過 HMD 看到的物理環境圖像應與不佩戴 HMD 時看到的景象基本一致。但由於眼睛、顯示器和攝像頭在空間位置上的差異，這一理想狀態往往難以實現。這種差異會導致用戶在距離感知上出現偏差，容易產生定向障礙，並影響手眼協調能力。
為了解決這些問題，蘋果的新專利提出了一種創新的方法。該方法包括獲取未經校正的手部追蹤數據，並獲取與物理環境相關的深度圖。然後，基於深度圖和未校正的手部追蹤數據，精準識別物理環境中手指部分的位置。接著，對深度圖中與手指部分位置相鄰的區域執行空間深度平滑操作。最後，根據深度圖中與手指部分相鄰的空間深度平滑區域，對未校正的手部追蹤數據進行視點（POV）校正，從而生成經過校正的手部追蹤數據。
蘋果指出，在配備顯示器和場景攝像機的 HMD 設備中，由於眼睛、顯示器和攝像機的空間位置各不相同，顯示器上呈現的物理環境圖像並不總能如實反映用戶不佩戴 HMD 時所看到的真實景象。這種差異會導致用戶在距離感知、方向感和手眼協調方面出現問題。特別是在與物理環境進行交互時，這些問題會更為明顯。
因此，在許多實際應用中，需要對來自場景攝像機的圖像進行變換處理，如視點（POV）校正，以使這些圖像看起來就像是在用戶眼睛的位置所捕獲的。在這個過程中，深度圖發揮著關鍵作用，它能夠表示圖像的每個像素從攝像機到該像素所代表對象之間的距離。在某些應用場景中，只需對來自場景攝像機的圖像進行部分變換（如部分 POV 校正），就能使其看起來像是在比場景攝像機位置更靠近用戶眼睛的位置所捕獲的。
