2017 年蘋果收購了一家名為 SensoMotoric Instruments（SMI）的德國公司，該公司是眼動追蹤技術的領導者。2016 年，SMI 已經開發出使用眼動追蹤的眼鏡。雖然這項技術在當時似乎有點科幻，但它現在是蘋果即將推出的 Vision Pro 頭顯背後的關鍵技術之一。近日，美國專利商標局正式授予蘋果一項與先進眼動追蹤有關的專利，該專利發明人四分之三來自前 SMI 團隊。
蘋果的授權專利涵蓋了各種實施方式，包括對相對於用戶移動的電子設備執行遠程眼動追蹤的設備、系統和方法。
在一些實施方式中，遠程眼動追蹤通過使用單個主動照明光源和深度資訊識別 3D 坐標系中沿注視方向的兩個位置（例如，角膜中心和眼球旋轉中心）來確定注視方向；在一些實施方式中，第一位置（例如，角膜中心）使用基於主動照明源和來自深度傳感器的深度資訊閃光來確定，第二位置（例如，眼球旋轉中心）使用 RGB 傳感器（例如，環境光）和深度資訊確定；在一些實施方式中，使用相同主動照明源的單個傳感器確定第一個位置（例如，角膜中心）和第二個位置（例如，眼球旋轉中心），單個傳感器確定深度資訊和閃爍資訊；在一些實施方式中，遠程眼動追蹤由移動電子設備提供。
在一些實施方式中，遠程眼動追蹤確定 3D 坐標系中的頭部姿勢，確定眼睛在 3D 坐標系中的位置（例如，眼球旋轉中心），然後識別頭部姿勢和眼睛位置之間的空間關係；在一些實施方式中，空間關係是唯一確定的（例如，用戶特定的轉換）；在一些實施方式中，空間關係是在遠程眼動跟蹤的登記模式下確定的。隨後，在遠程眼動追蹤模式的一些實施方式中，僅使用特徵檢測圖像（例如，RGB 相機圖像）和空間關係來執行遠程眼動追蹤。在遠程眼動追蹤的追蹤模式的一些實施方式中，深度資訊和主動照明被關閉（例如，降低功耗）。
遠程眼動追蹤的一種用途是識別設備上用戶注視方向上的關注點（POR），例如，注視方向與設備顯示器相交的位置。POR 可用於促進用戶與設備的交互。例如，系統可能會檢測到用戶的視線已到達顯示器的底部，並作為響應，自動向下滾動以向用戶顯示更多內容。
本專利公開的一些實施方式涉及在具有一個或多個處理器、一個或多個圖像傳感器和照明源的設備上，基於與眼睛的第一圖像中不同波長的光相關聯的像素差異來檢測眼睛的第一屬性。這些實施方式基於深度傳感器的深度資訊確定與 3D 坐標系中的第一個屬性關聯的第一個位置。各種實施方式基於照明源反射眼睛角膜的光產生的閃爍來檢測眼睛的第二個屬性。這些實施方式基於深度傳感器的深度資訊確定與 3D 坐標系中的第二個屬性關聯的第二個位置，並根據第一個位置和第二個位置確定 3D 坐標系中的凝視方向。
本專利公開的一些實施方式涉及在具有一個或多個處理器、一個或多個圖像傳感器和照明源的設備上，基於與眼睛第一圖像中不同波長的光相關的像素差異檢測眼睛的第一屬性，並基於來自深度傳感器的深度資訊確定與 3D 坐標系中第一屬性相關聯的第一位置。各種實施方式基於在第二圖像中檢測到的頭部（例如，面部特徵）和來自深度傳感器的深度資訊來確定 3D 坐標系中的頭部位置。這些實施方式基於頭部位置和先前確定的頭部和眼睛之間的空間關係確定與眼睛第二屬性相關聯的第二位置，並根據第一位置和第二位置確定 3D 坐標系中的凝視方向。
