6月5日消息，WIPO公布了一項與AR/VR頭顯相關的蘋果專利，專利中描述了一種融合眼球追蹤、手勢追蹤的GUI自然交互方式，特點是使用深度映射來追蹤手勢，並通過注視點來智能識別用戶想要操控的虛擬元素，讓AR/VR中的交互更流暢，降低使用阻力。
據了解，該專利編號為EP4182779，標題為：用於提供電腦生成體驗的設備、方法和圖形用戶界面。蘋果在專利背景中指出，如果作業系統需要用戶做出一系列輸入，才能達到預期的結果，或是虛擬對象操作複雜、重複性高且容易出錯，那麼便會為用戶帶來重大認知負擔，影響AR/VR體驗感。更重要的是，如果在操控AR/VR上花費多餘時間，那麼並不利於設備有限的續航。
為了改善上述問題，蘋果提出了一種AR/VR交互界面，可根據用戶抓取的習慣特性（手的方向、相對位置、用雙手/單手等）、注視點所在位置來判斷用戶想要做出的操作。智能交互對於AR/VR很重要，因為基於3D場景，可操控的內容分布在不同的距離/深度，比iPad、iPhone等設備的2D界面更複雜。而結合眼球追蹤後，用戶將有望遠距離控制虛擬物體，無需伸手接觸或移動到物體所在位置，省時又省力。
