Apple Vision Pro 的驚人功能之一是其眼動追蹤系統。與所有主要的蘋果設備一樣，Vision Pro 的每個功能都有數十項專利，甚至更多。近日，美國專利商標局公布了蘋果公司的一項專利申請，該專利將攝影機與自混合干涉測量（SMI）傳感器相結合，專注於下一代眼動追蹤系統。
蘋果在其專利背景中指出，眼動監測技術可用於改進近眼顯示器，如頭戴式顯示器（HMD）、AR 系統、VR 系統等。例如，注視矢量追蹤（也稱為注視位置追蹤）可用作顯示屏眼窩渲染或人機交互的輸入。傳統的眼球監測技術是基於攝影機或基於影片的，依賴於眼球的主動照明、眼球圖像採集以及眼球特徵的提取，如瞳孔中心和角膜閃光。這種眼動監測技術的功耗、外形尺寸、計算成本和延遲對於更方便用戶使用的下一代 HMD、AR 和 VR 系統（例如，重量更輕、電池供電和功能更齊全的系統）來說可能是一個沉重的負擔。
這就是蘋果最新專利所解決的問題，即從基於攝影機的眼動追蹤轉向使用自混合干涉測量（SMI）或組合攝影機/SMI 的眼動追蹤。
使用自混合干涉測量法進行眼動追蹤
蘋果的專利涵蓋了利用一個或多個自混合干涉測量法（SMI）傳感器追蹤眼球運動的系統、設備、方法和裝置。在一些實施例中，SMI 傳感器可以單獨使用，或與攝影機結合使用，以確定注視矢量或眼睛位置。
在第一方面，本專利描述了一種眼動追蹤裝置。眼動追蹤設備可以包括頭戴式框架、安裝在頭戴式框架上的光學傳感器子系統以及處理器。光學傳感器子系統可以包括一組或多個 SMI 傳感器。處理器可以被配置成操作光學傳感器子系統，以使一組或多個 SMI 傳感器朝用戶的眼睛發射一組或多束光；從一個或多個 SMI 傳感器的集合接收一組或多個 SMI 信號；以及使用一個或多個 SMI 信號的集合來追蹤眼睛的運動。
在第二方面，本專利描述了另一種眼動追蹤裝置。眼動追蹤設備可以包括一組或多個 SMI 傳感器、攝影機和處理器。處理器可以被配置成使攝影機以第一頻率獲取用戶眼睛的一組圖像；使一組或多個 SMI 傳感器向用戶眼睛發射一組或多束光；在大於第一頻率的第二頻率下，對由一個或多個 SMI 傳感器產生的一組或多個 SMI 信號進行採樣；使用圖像集中的至少一個圖像確定眼睛的注視矢量；以及使用一個或多個 SMI 信號集追蹤眼睛的運動。
在第三方面，本專利描述了一種追蹤眼睛運動的方法。該方法可包括操作光學傳感器子系統，以使光學傳感器子系統中的一組一個或多個 SMI 傳感器朝用戶的眼睛發射一組或多束光；從一個或多個 SMI 傳感器的集合接收一組或多個 SMI 信號；以及使用一個或多個 SMI 信號的集合追蹤眼睛的運動。
蘋果專利圖 1 顯示了眼動追蹤設備的示例框圖；圖 3A 示出了眼動追蹤設備的第一個示例，其中光學傳感子系統和處理器被安裝到一副眼鏡上；圖 3B 示出了眼動追蹤設備的第二個示例，其中光學傳感子系統和處理器被安裝到 VR 頭顯上；圖 4A 顯示了一組 SMI 傳感器示例的側視圖，這些傳感器可以安裝在頭戴式框架上，並配置為向眼睛發射光線；圖 4B 示出了圖 4A 所示的眼睛和 SMI 傳感器組的前視圖。
蘋果專利圖 12A 和 12B 說明了如何使用一組或多個 SMI 傳感器來映射眼睛的一個或多個表面或結構。
蘋果專利圖 11B 示出了追蹤眼球運動的示例方法，該方法使用一組或多個 SMI 傳感器與攝影機或其它傳感器組合。
