基於Apple Vision Pro，用戶可通過簡單手勢與 VisionOS 系統交互。不過，有時可能需要額外的「控制器」來操控Apple TV 內容、影片遊戲、演示等。蘋果最新專利申請指出，用戶可使用「手指設備」、Apple Pencil 等來操控設備。
具有磁場追蹤外設的系統
蘋果專利涉及一種與無線控制器配合使用的頭戴式設備，該設備包括一個用於測量控制器相對於地球重力方向的加速計和一個用於測量控制器相對於地球磁場方向的直流磁力計。
無線控制器可以確定無線控制器相對於頭戴式設備的位置和方向，然後可以將此信息無線傳輸到頭戴式設備以控制頭戴式設備，交流磁力計可以是位於控制器外殼中不同位置的三線圈磁力計。
每個三線圈交流磁力計可以有三個線圈，這些線圈沿線性獨立的三個軸對齊（沒有一個軸彼此平行）。在說明性結構中，其有時可在此描述為示例，每個三線圈交流磁力計可以具有三個正交線圈。
在某些配置中，線圈可能共享一個公共磁芯。如果需要，線圈也可以具有空氣芯或單獨的磁芯。在說明性排列中，每個交流磁力計的兩個或三個線圈可以纏繞在一個共同的磁芯上。
無線控制器可能具有其他組件來幫助測量位置和方向，這些組件可能包括光學傳感器，例如形成視覺慣性里程計系統一部分的相機、自混合接近傳感器和/或基於光流的視覺慣性里程計系統傳感器。如果需要，無線控制器可以具有用作視覺參考點的光源，頭戴式設備中的攝像頭可以追蹤這些視覺參考點，以幫助確定無線控制器的位置和方向。
蘋果專利圖 1 是一個說明性系統的示意圖，其中頭戴式設備（Apple Vision Pro）由外圍設備（附件或控制器）無線控制。如圖 1 所示，系統 8 可以包括諸如無線控制器#10B的控制器，其用於無線控制諸如頭戴式設備 #10A 的電子設備。無線控制器可以戴在用戶的手指上、握在用戶的手中，或者可拆卸地耦合到用戶手中或以其他方式移動的便攜式電子設備。
當用戶移動控制器（並任選地按下按鈕、觸摸觸摸傳感器、向力傳感器施加力、或以其他方式向控制器提供輸入）時，控制器 #10B 的位置和方向由控制器中的傳感器電路（如果需要，設備 #10A 中的攝像頭或其它傳感器電路）監視。
控制器收集的有關控制器位置、方向和移動的信息用作 HMD 的用戶輸入。
來自控制器的用戶輸入可以實時無線提供給設備 #10A 並用於控制控制器的操作。例如，控制器提供的用戶輸入可以控制遊戲中元素的移動，可以移動指針、用於瀏覽屏幕上的菜單項並進行菜單選擇，和/或以其他方式用於控制用戶與 HMD 的交互。
蘋果專利圖 2 是帶有頭戴式設備和控制器的說明性系統示意圖。
蘋果專利圖 3-5 說明了可以與 HMD 配合使用的各種控制器樣式；圖 8 是可用作控制器的說明性手指裝置透視圖，並且是專利中介紹的主要控制器；圖 10 是具有磁性傳感器的說明性手指裝置側視圖。
基於手指操作數據和肢體追蹤數據的多手指手勢
根據一些實施方案，一種方法是在具有一個或多個處理器、非瞬態存儲器、顯示器、肢體追蹤系統和提供通信接口的電子設備上執行的，以與手指可穿戴設備進行通信。該方法包括在顯示器上顯示電腦生成的對象。該方法包括通過通信接口從手指可穿戴設備獲取手指操作數據、基於來自肢體追蹤系統和手指操作數據的肢體跟蹤數據確定多指手勢、根據多指手勢註冊相對於電腦生成的對象的參與事件。
手指可穿戴設備可以由用戶的手指佩戴。在一些實施方案中，電子設備基於手指操作數據以 6DOF 追蹤手指。
蘋果專利圖.3D 是基於各自的多指手勢的電子設備記錄與電腦生成的對象有關的參與事件的一個例子。
在這項專利中，手指設備可以與 iPhone、iPad、MacBook、iMac 和 HMD（包括智能眼鏡）一起使用。
