早在 2017 年，蘋果就從蒙特婁的 Vrvana 獲得了一項與手部追蹤技術有關的專利。近日，美國專利商標局正式授予蘋果一項與 Apple Vision Pro 主要功能相關的專利：手部追蹤和手指手勢。
蘋果專利指出，沉浸感的質量取決於幾個重要因素。例如，顯示器的特性，如圖像質量、幀率、像素解析度、高動態範圍 （HDR）、持久性和紗窗效應（即螢幕上像素之間的可見線）。
當顯示的視野太窄或各種追蹤功能緩慢和/或不準確（導致定向障礙和噁心；也稱為暈動症）時，沉浸式體驗的質量會降低。
沉浸感還受到相機系統性能的影響，例如圖像質量（干擾、動態範圍、解析度、無偽影）以及虛擬圖形（3D 建模、紋理和照明）與透視圖像之間的一致性。在 MR 中，虛擬元素實時合成到用戶看到的真實環境中。虛擬元素與現實世界的表面和對象之間的物理交互可以實時模擬和顯示。
追蹤各種元素通常被認為是實現高端 VR 和 MR 應用體驗的必要先決條件。在這些元素中，頭部位置追蹤、用戶身體追蹤和環境追蹤在實現出色的沉浸感方面起著關鍵作用。
頭部位置追蹤（從這裡開始稱為位置追蹤）旨在估計 HMD 在環境中的位置和方向，必須既低延遲又準確。這樣做的原因是渲染的圖形必須與用戶的頭部運動緊密匹配，以便在 VR 中產生高質量的沉浸感，並且需要在 MR 中正確對齊現實世界中的虛擬內容。
用戶身體追蹤估計用戶身體（但不限於手和手指）相對於 HMD 的位置和方向。它可以在 VR 和 MR 中提供一種用戶輸入方式（例如手勢），從而實現與虛擬元素的交互。雖然一些位置追蹤方法也可用於手部追蹤（例如，手持控制器上帶有 LED 陣列的紅外攝影機），但其他方法利用較小的分析空間（通常距離 HMD 一米以內）來提高手部和手指追蹤算法的穩健性。
例如，近距離飛行時間（ToF）攝影機可以與 HMD 集成或放置到 HMD 中。這些攝影機可以生成手的深度圖，從中可以構建手的骨骼模型。另一種方法是將紅外 LED 泛光燈與攝影機一起使用，以分割和估計手和手指上的 3D 點。
蘋果專利圖 1 是佩戴頭戴式顯示器（HMD）用戶的示意圖，該顯示器配有多個攝影機和紅外（IR）發射器；圖 2A 是用於實現VR 和 MR的光學器件、顯示器和攝影機的示例性實施方案的俯視圖。
蘋果專利圖 4A 顯示了 HMD 設備的第一個示例性實施方案的前視圖，其中兩個 RGB 攝影機針對透視目的（MR）進行了優化，兩個紅外攝影機為追蹤提供了視覺數據；圖 5 是實現 VR 的處理步驟的流程圖，具有位置和用戶身體追蹤；圖 8 是實現用戶身體追蹤的示例性過程的流程圖。它還包括手勢識別。
