Apple Vision Pro 允許用戶通過簡單的手勢控制 visionOS 或與 visionOS 交互。然而，有時可能需要額外的「控制器」來控制 Apple TV 內容、電子遊戲、演示文稿或處理文檔圖表，為此可以使用手指設備來操作數據。近日，美國專利商標局公布了蘋果公司的一項專利申請，該專利申請涉及在 Vision Pro 工作區的虛擬觸控板上使用手指設備。
蘋果的發明涵蓋了一種方法，包括通過肢體追蹤器獲取肢體追蹤數據。該方法包括在顯示器上顯示電腦生成的觸控板虛擬表示，該觸控板在空間上與物理表面相關聯。
在 Vision Pro 的顯示屏中可以看到物理表面，以及一個與電腦生成的觸控板表示分開的內容操作區域。該方法包括根據肢體追蹤數據在電腦生成的觸控板表示中的第一位置。
該方法包括將第一個位置映射到內容操作區域內的相應位置，以及包括在顯示屏上顯示指示映射的指示器。指示器可與內容操作區域內的相應位置重疊。
電子設備顯示指示映射的指示器。例如，基於手指操作數據，電子設備確定手指可穿戴設備正懸停在或接觸電腦生成的觸控板表示的中心。因此，電子設備在內容操作區域的中心顯示一個指示器。通過顯示映射的指示，電子設備向用戶提供反饋，以說明在某些實施方案中手指可穿戴設備與內容操作區域接觸的情況。反饋減少了電子設備從手指可穿戴設備接收錯誤輸入的數量，從而降低了電子設備的資源利用率。
因此，蘋果專利中公開的各種實施方案使用戶能夠有效地參與（例如，操作）內容操作區域內的內容。例如，當手指操作數據顯示手指可穿戴設備在電腦生成的觸控板表示上畫圓時，電子設備會在內容操作區域內顯示圓圈的相應表示。因此，與其他設備相比，電子設備在與內容操作區域交互時提供了更多的控制和準確性。
手指可穿戴設備可以由用戶的手指佩戴。在某些實施方案中，電子設備基於手指操作數據以 6DOF 追蹤手指。因此，即使物理對象遮擋了手指可穿戴設備的一部分，電子設備也繼續接收來自手指可穿戴設備的手指操作數據。
以下是一系列蘋果專利圖，展示了將電腦生成的觸控板映射到 Vision Pro 中內容操作區域的電子設備示例。
上述專利圖中的電子設備對應於頭戴式設備（HMD），後者包括一個集成顯示器，用於顯示操作環境的表示。
顯示數據可以通過 XR 環境來說明。例如，圖像傳感器獲取表示物理桌#302 和物理燈 #304 部分的圖像數據，生成的顯示數據顯示在顯示器 #312 上，並顯示物理桌和物理燈部分的各自表示。
在某些實施方案中，電子設備（HMD）包括透明顯示器。透視顯示器允許來自物理環境的環境光穿過透視顯示器，物理環境的表示是環境光的函數。例如，透視顯示器是一種半透明的顯示器，如具有光學透視的眼鏡。在某些實施方案中，透視顯示器是一種附加顯示器，可實現物理表面的光學透視，例如光學 HMD（OHMD）。
物理表面（例如，物理桌#302）可在顯示屏 #312 內與內容操作區 #330 一起觀看，內容操作區 #330 與觸控板 #324 分離。
例如，內容操作區域包括應用內容，例如 Web 瀏覽器內容、文字處理內容、繪圖應用內容等。根據來自手指可穿戴設備 #320 的手指操作數據，HMD 確定觸控板和內容操作區域之間的映射。
正如蘋果所介紹的那樣，Apple Vision Pro用戶可以使用虛擬鍵盤工作，而該專利則證實，通過手指設備，用戶將可以使用虛擬觸控板來操作 Vision Pro 中的內容。
