蘋果新的空間計算設備 AppleVision Pro沒有物理控制器，依靠眼動追蹤和手勢來與虛擬物體進行交互。在WWDC23開發者會議上，蘋果設計師概述了可以與 Vision Pro 一起使用的六種特定手勢，以及一些交互的工作原理。
- Tap：同時點擊拇指和食指會向頭顯示設備發出信號，表示你要點擊顯示屏上的虛擬元素。用戶也將其描述為一種捏合，相當於點擊iPhone的螢幕。
- Double Tap：拇指輕觸食指兩次將啟動雙擊手勢。
- Pinch and Hold：拇指和食指捏合一段時間，類似於點擊並按住手勢，它執行突出顯示文本等操作
- Pinch and Drag：拇指和食指捏合併拖動，可用於滾動和移動窗口。你可以水平或垂直滾動，如果更快地移動手，將能夠更快地滾動。
- Zoom：兩種主要的雙手手勢之一。你可以把手指捏在一起，向兩邊拉開是放大窗口，回收則是縮小窗口。
- Rotate：另一種雙手手勢，根據蘋果的圖表，它將涉及將手指捏在一起並旋轉雙手以操縱虛擬對象。
手勢將與眼球運動協同工作，Vision Pro 中的許多攝影機將非常準確地追蹤用戶的視線。眼睛位置將是確定用戶想要使用手勢進行交互的對象的關鍵因素。例如，查看應用圖標或螢幕上的元素會定位並突出顯示它，然後用戶可以使用手勢跟進。
手勢不需要很隆重，可以把手放在膝蓋上。事實上，蘋果鼓勵這樣做，因為它可以防止手和手臂因被舉在空中而感到疲倦。用戶只需要一個微小的捏合手勢就可以相當於點擊，因為攝影機可以追蹤精確的運動。
用戶正在查看的內容將允許用戶選擇和操作離用戶很近與很遠的對象，蘋果確實預測了用戶可能希望使用更大的手勢來控制面前對象的情況。用戶可以伸出手並使用指尖與對象進行交互，例如，如果用戶面前有一個 Safari 瀏覽器窗口，可以伸出手並從那裡滾動，而不是用膝蓋上的手指。
除了手勢之外，頭顯還將支持空氣打字等手部動作，但那些收到演示的人似乎還沒有能夠嘗試此功能。當然，手勢可以協同工作，比如創建繪圖，用戶需要查看畫布上的一個點，用手選擇畫筆，然後在空中使用手勢進行繪製。如果查看其他地方，用戶將能夠立即將光標移動到要查找的位置。
雖然這些是蘋果描述的六個主要系統手勢，但開發人員可以為他們的應用程序創建自定義手勢，以執行其他操作。開發人員需要確保自定義手勢與人們可能使用的系統手勢或常見手部動作不同，並且這些手勢可以頻繁重複而不會使手部疲勞。
為了補充手勢和眼動，可以將藍牙鍵盤、觸控板、鼠標和遊戲控制器連接到頭顯，並且還有基於語音的搜索和聽寫工具。
能夠嘗試 Vision Pro 的用戶都用同一個詞來描述控制系統：直觀。蘋果的設計師似乎已經創造了它，使其類似於 iPhone 和iPad上的多點觸控手勢，到目前為止，反應是積極的。
