近日，美國專利商標局公布了蘋果公司的一項專利申請，涉及檢測用戶眼睛注視方向的系統、方法和設備。該專利的重點設備被描述為「AR 眼鏡」或「XR 眼鏡」，包括一個透明顯示器，用於查看物理環境，並通過視網膜投影技術提供顯示器來查看其他內容，該技術將圖形圖像投射到人的視網膜視圖內或之上。
蘋果在其專利背景中指出，現有的眼動追蹤技術可以分析從用戶眼睛反射並通過圖像傳感器捕獲的閃光。一些頭戴式系統可能包括使用近紅外（nIR）照明器和標準多像素互補金屬氧化物半導體（CMOS）攝影機對每隻眼睛進行眼動追蹤。nIR 照明器和 CMOS 攝影機的組合可以對每隻眼睛進行準確和高幀率（例如，大於每秒 15 幀）的追蹤。
然而，這種典型的 nIR CMOS 配置具有基準功耗，隨著幀速率的降低，該基準功耗不能很好地擴展，並且在非常低功耗的應用中無法使 CMOS 攝影機和 nIR LED 始終保持開啟狀態。因此，蘋果可能希望提供一種有效提供眼動追蹤系統的手段，該系統不需要在整個可能的注視空間內進行連續追蹤，以便為頭戴式系統評估眼球特徵（例如，注視方向、眼睛方向、識別眼睛虹膜等）節省功耗。
用於注視對準的視網膜反射追蹤
蘋果發明涵蓋了檢測用戶的眼睛注視方向的設備、系統和方法，該方向大致朝向目標區域（例如，熱區/角落）。
確定眼睛是否注視目標區域（例如，熱區/角落）是基於檢測眼睛的反射光是否具有某些特性，例如，指示紅眼型反射的光譜特性，該反射大致對齊於目標區域。
照明器和/或檢測器可以與從眼睛到目標區域的近似方向進行光學對準，例如，通過將照明器/檢測器放置在顯示器/鏡頭的目標區域內和/或後面，或在鏡頭的目標區域中使用光波導。
探測器可以是 nIR 收發器，對窄同軸角的光譜反射敏感。探測器可以使用低功耗硬體（例如，與透鏡配對的光電二極體），當高功率眼動追蹤硬體（例如 CMOS）關閉時，這些硬體可以處於活動狀態。例如，用戶可能會掃射熱角以觸發操作，例如，啟動使用完整眼動追蹤的 XR 體驗、提供對通知的響應等。如果注視滿足標準，例如注視持續超過閾值時間，則可以啟動預期的動作。
一般而言，本專利中所述主題的一個創新方面可以體現在以下方法中：在具有處理器和顯示器的電子設備上，通過使用照明器將光線射向眼睛產生反射；從傳感器接收傳感器數據，其中傳感器的感測方向和從眼睛到目標區域的方向大致對齊， 根據傳感器數據確定反射的反射特性，根據反射特性檢測眼睛的注視方向是否近似朝向目標區域，並基於檢測注視方向近似朝向目標區域而啟動動作。
在某些方面，蘋果指出，根據注視方向是否滿足標準來啟動操作。在某些方面，該操作提供用戶對通知的響應。在某些方面，該操作包括啟動 XR 體驗。
蘋果專利圖 2A 展示了 AR/XR 眼鏡，其中包括圖像傳感器和投影儀；圖 2B 示出了透明基板的區域，還舉例說明了八個定義的「熱角區」，本文中描述的過程可用於熱點檢測區域（例如，顯示器 FOV #230 周圍的區域）。
示例區域包括顳上（ST）區 #231、顳上（S）區 #232、鼻上（SN）區 #233、顳區 #234、鼻區 #235、顳下區 #236、鼻下區 #237 和鼻下區 #238。
蘋果專利圖 2C 示出了在 AR 眼鏡的一個區域進行熱角檢測的示例。具體地，圖 2C 展示了用戶在設備透鏡 #215 的 ST 區 #231 的目標區域 #262 的眼睛注視位置，如熱區區域 #260 所示。
在示例性實施方案中，熱角可以使用分布在設備框架 #212 邊緣周圍的超聲波傳感器、光敏檢測器或電眼成像傳感器來實現。該子系統可使用的眼球姿勢和手勢可以通過定點、眼球移動或其組合來定義。通過這種方式，AR 眼鏡中的傳感器（例如，探測器 #220）能夠提供眼睛注視速度和注視角度（例如，角度θ）的估計。
蘋果專利圖 3B 展示了熱角眼動追蹤系統環境 300B 的示例。熱角眼動追蹤系統使用光源 #320（如近紅外照明器，可產生發射角為 #322 的紅外光），以及光傳感器 #330（例如，光電二極體等低功率傳感器）。
蘋果專利 4B 展示了一個利用透明基板的熱角眼動追蹤系統示例，例如光波導#410，其中包括一個集成傳感器 #420，能夠測量來自人眼底的同軸反射。在某些實施方案中，傳感器可以是覆蓋多個區域的單個傳感器。此外，或者作為替代方案，可以為每個區域配備單獨的傳感器（例如，傳感器 #420）。
蘋果專利圖 5A-5C 說明了通過鏡頭 #502 檢測眼睛注視方向的用戶體驗示例。例如，圖 5A-5C 示出了用戶注視或靠近設備的顯示屏，並根據其注視特定區域（例如，注視熱角）啟動用戶界面上的應用。圖 5A 示出了用戶在特定區域尋找以啟動時鐘應用的過程。在圖 5C 中，可以看到用戶可以使用眼睛注視技術打開的一系列應用程序。
最後，蘋果指出，每個透鏡都可以堆疊，其中包括用於處方透鏡的偏置（ /−）、用於容納或嵌入多個紅外光源和透明導體的波導等。
