近日，美國專利商標局正式授予蘋果一項專利，該專利揭示了蘋果未來頭顯在用戶界面方面的發展，該用戶界面將使用眼睛注視、觸摸控制、手勢、身體姿勢甚至 Siri 進行交互。
蘋果專利涵蓋了使用眼睛注視/眼動追蹤與頭戴式設備（HMD）交互的技術。用戶將能夠用眼睛與 HMD 顯示器上顯示的用戶界面對象進行交互。在一些示例性實施例中，這些技術通過允許用戶主要使用眼睛注視和眼手勢（例如，眼球運動、眨眼和凝視）來操作設備，從而提供了更自然和有效的界面。
該專利還描述了使用眼睛注視快速指定初始位置（例如，用於選擇或放置物體），然後在不使用眼睛注視的情況下移動指定位置的技術。由於由於用戶眼睛注視位置的不確定性和不穩定性，使用眼睛注視可能難以精確定位指定位置。
眼動追蹤技術隨後將應用於 Mac 台式電腦、MacBook、iPad 和 iPhone 等設備上的傳統用戶界面。這些技術對於電腦生成的現實（包括虛擬現實和混合現實）設備和應用程序也是有利的。
如專利圖 19C 和 19D 所示，該專利描述了使用內置在 HMD 側表面的注視控制項和觸摸控制項與虛擬房間 #1902 進行交互並移動物體 #1908。
HMD 包括用於檢測各種類型用戶輸入的傳感器，包括（但不限於）眼部姿勢、手部和身體姿勢以及語音輸入。在一些實施例中，輸入設備包括被配置為接收按鈕輸入（例如，上、下、左、右、輸入等）的控制器。
虛擬房間/環境 #1902 包括一堆照片 #1908，其中包括單張照片 #1908a-1908e。在視圖 #1902b 中看到的注視 #1906 表明用戶正在觀看這堆照片。
照片 #1908a 的名稱由焦點指示器 #1914 表示，其中包括照片 #1908a 周圍的粗體邊框。在一些實施例中，焦點指示器包括可視識別指定對象的指針、光標、點、球體、高亮、輪廓或重影。在一些實施例中，HMD 取消指定照片並將照片返回到桌面，以響應於接收進一步的輸入（例如，選擇退出按鈕或取消觸摸）。
在下面的專利圖中，蘋果說明了如何使用注視和觸摸控制項在虛擬環境中移動物品，例如繪畫/照片，甚至是咖啡杯。
在專利中，蘋果還指出 HMD 系統包括圖像傳感器，可選擇包括一個或多個可見光圖像傳感器，如帶電耦合器件（CCD）傳感器，和/或互補金屬氧化物半導體（CMOS）傳感器，可操作以從真實環境中獲取物理對象的圖像。
圖像傳感器還可以選擇地包括一個或多個紅外（IR）傳感器，例如被動紅外傳感器或主動紅外傳感器，用於檢測來自真實環境的紅外光。例如，主動紅外傳感器包括紅外發射器，例如紅外點發射器，用於向真實環境發射紅外光。圖像傳感器 #108 還可選擇地包括一個或多個事件攝影機，這些攝影機被配置成在真實環境中捕獲物理對象的運動。
圖像傳感器還可以選擇包括一個或多個深度傳感器，這些深度傳感器配置為檢測物理對象與 HMD 系統的距離。在一些實施例中，HMD 結合使用 CCD 傳感器、事件攝影機和深度傳感器來檢測 HMD 周圍的物理環境。
