蘋果 Vision Pro 的眼動追蹤技術是推動蘋果空間電腦超越所有其他頭顯的關鍵技術之一。近日，美國專利商標局公布了蘋果的另一項專利申請，專門涉及為 Vision Pro 提供基於視網膜成像的調節檢測（即焦點）的系統和方法。
在蘋果的專利背景中，他們注意到存在各種眼動追蹤技術。例如，一些注視追蹤技術基於檢測眼睛外部的反射。光線被引導到眼睛上，在瞳孔和角膜上產生可檢測的反射，這些反射由攝影機追蹤以確定注視方向，例如，通過確定角膜和瞳孔之間對應於注視方向的矢量。現有的眼動追蹤技術可能無法提供足夠的眼部調節（即焦點）追蹤。
蘋果專利申請涵蓋了基於視網膜成像技術來評估用戶在使用電子設備期間的眼睛調節（即焦點）的系統、方法和設備。
一個或多個光源將光線引導到視網膜上的一個或多個可通過傳感器檢測到的斑點。斑點的大小和形狀取決於眼睛的調節/焦點，因此用於識別調節/焦點變化或測量眼睛的調節/焦點。當用戶通過電子設備查看、交互或以其他方式體驗電子內容時，可以實時確定眼睛調節。
一些實施方案涉及通過處理器執行存儲在電子設備的非暫存存儲器中的指令來執行的方法。這種方法可能涉及在具有處理器和光源的電子設備上，使用光源產生光（例如，紅外光或可見光）以將光引導向眼睛視網膜上的點。
例如，一個或多個準直照明器可用於將光線引導至視網膜上的一個或多個點，光源可以相對於眼睛的軸以離軸的方式定向。該方法在傳感器（例如攝影機）處接收傳感器數據（例如，圖像），傳感器數據對應於視網膜上的發光點。例如，傳感器數據可以包括具有圖像部分的一個或多個攝影機圖像，例如，對應於視網膜外觀的像素，包括在照明點反射的光。
該方法根據傳感器數據確定眼睛調節特性。在一些實施方案中，眼睛調節特性是根據視網膜上發光斑點的大小或位置確定的。確定眼睛調節特徵可以涉及檢測調節的變化或找到眼睛調節的估計（例如，表示的數值）。在一些實施方案中，確定眼睛調節特徵涉及將視網膜的圖像與先前的視網膜圖像進行比較，以識別照明點的大小和/或位置的變化。
在一些實施方案中，一個斑點被識別（例如，大小、形狀和/或位置）和/或與視網膜的其他不太發光的部分區分開來。可以通過算法（例如基於閾值）和/或使用機器學習（ML）模型來識別點。ML 模型可用於評估/比較斑點的大小和/或位置和/或多個斑點之間的關係。
蘋果專利圖 8 示出了頭戴式設備（HMD）的框圖，實際上是 Vision Pro；圖 3 示出了在第一調節/聚焦狀態下將光引導至眼睛視網膜上的點的一個或多個照明器；圖 4 示出了包括圖 3 中照亮的點的視網膜的圖像。
蘋果專利圖 5 示出了圖 3 的一個或多個照明器將光線引導至眼睛視網膜上的第二個調節/聚焦狀態的點；圖 6 示出了包括圖 5 中照明斑點在內的視網膜圖像。
在某些實施方案中，Vision Pro 包括一個眼動追蹤系統，用於檢測眼球位置和眼球運動。眼動追蹤系統可以包括一個或多個照明器（例如，一個或多個紅外發光二極體），其發射從用戶眼睛反射並通過傳感器（例如，近紅外攝影機）捕獲的光。
在一個例子中，Vision Pro 的一個或多個照明器可以發出指向用戶眼睛視網膜上的一個或多個點的 NIR 光，並且傳感器捕獲用戶眼睛的圖像，包括被照亮的斑點。在一些實施方案中，可以分析由眼動追蹤系統捕獲的圖像以檢測用戶眼睛的位置和運動，以檢測關於眼睛的其他資訊，例如注視方向，和/或檢測眼睛的調節/焦點。此外，從眼動追蹤圖像估計的注視點可以實現基於注視的內容交互。
