近日，美國專利商標局公布了蘋果公司的一項專利申請，涉及在 XR頭顯、未來 Mac 和 iDevices（特別是 iPad）上使用眼睛和手部追蹤手勢在 3D 環境中移動物體的方法。
蘋果在專利背景中指出，與至少包含一些虛擬元素（例如應用程序、AR 環境、MR 環境和 VR 環境）進行交互的方法和界面繁瑣、低效且有限。例如，為執行與虛擬對象相關的操作提供足夠反饋的系統，需要一系列輸入才能在AR環境中實現預期結果，以及虛擬對象的操作複雜、乏味且容易出錯的系統，會給用戶帶來重大的認知負擔，並減損AR/VR環境的體驗。此外，這些方法花費的時間超過必要的時間，從而浪費能源，後一種考慮因素在電池供電設備中尤為重要。
因此，需要具有改進方法和界面的電腦系統，以便向用戶提供電腦生成的體驗，使用戶與電腦系統的交互更加有效和直觀。這些方法和界面任選地補充或取代用於向用戶提供電腦生成的現實體驗的傳統方法。這些方法和界面通過幫助用戶了解提供的輸入與設備對輸入的響應之間的聯繫來減少用戶輸入的數量、範圍和/或性質，從而創建更高效的人機界面。
儘管蘋果的專利可以應用於未來的 Mac、Apple Watch、XR頭顯，但根據蘋果的說法，他們的專利申請側重於用戶使用應用於 iPad 的眼睛和手部追蹤來操縱 3D 環境。
蘋果注意到，在一些實施例中，電腦系統與應用程序的用戶界面同時顯示虛擬環境。在一些實施例中，應用程序的用戶界面能夠被移動到虛擬環境中並被視為存在於虛擬環境中的虛擬對象。
在一些實施例中，用戶界面在移動到虛擬環境時基於移動到虛擬環境時用戶界面的距離自動調整大小。
在一些實施例中，在顯示虛擬環境和用戶界面兩者的同時，用戶能夠請求將用戶界面顯示為沉浸式環境。
在本發明的另一方面，蘋果公司指出，輸入設備的示例包括觸摸屏、鼠標、觸控板（可選集成或外部）、觸摸板（可選集成或外部）、遠程控制設備、另一移動設備（例如，與電子設備分開）、手持設備、控制器、攝影機、深度傳感器、 眼動追蹤裝置和/或運動傳感器（例如手部追蹤裝置、手部運動傳感器）等。
在一些實施例中，電子設備與手部追蹤設備（例如，一個或多個攝影機、深度傳感器、接近傳感器、觸摸傳感器）進行通信。在一些實施例中，手部追蹤設備是可穿戴設備，例如智能手套。在一些實施例中，手跟蹤裝置是手持式輸入裝置，例如遙控器或手寫筆。
蘋果的專利圖 15A-15D 說明了使用 iPad 上的眼睛和手部追蹤技術在三維環境中促進移動和/或放置多個虛擬對象的電子設備示例。
