近日，美國專利商標局公布了蘋果公司的一項專利申請，再次深入解釋了在設置 Apple Vision Pro 以測試眼睛參數時基於視網膜成像和註冊系統的視力追蹤技術。
蘋果在其專利背景中指出，現有的眼動追蹤技術會分析從用戶眼睛反射並通過圖像傳感器捕獲的閃光。一些頭戴式系統可能包括眼動追蹤技術，以使用位於設備邊緣（例如眼鏡框）的光源投射的光線來分析閃光。眼動追蹤系統在確定觀看者注視深度方面可能缺乏準確性，並且無法實時追蹤用戶的注視深度。因此，最好能為頭戴式系統提供一種方法，精準地確定用戶專注於場景的哪個部分（哪個距離或「深度」），以評估頭部安裝系統的眼睛特徵（例如，凝視方向、眼睛方向、識別眼睛的虹膜等）。
基於視網膜成像的視差追蹤
蘋果專利涵蓋了基於視網膜成像確定和追蹤眼睛特徵（例如，眼睛調節距離或深度）的設備、系統和方法的各種實現。眼睛調節的變化會在視網膜圖像中引起兩種影響：縮放和散焦。在某些方面，一種方法獲取視網膜圖像，獲得註冊圖像，並根據模糊（例如，點擴散函數 PSF）和/或幾何縮放確定用戶相對於註冊圖像的適應度。
通過確定（提高準確度）用戶集中在場景的哪個部分（例如，哪個深度）以及用戶的適應程度，可用於改進眼動追蹤並增強 XR 體驗。
此外，追蹤適應性可用於更好地了解用戶的實時精確行為，並相應地調整 XR 體驗。在某些方面，追蹤適應可用於將感知的內容深度（例如，虛擬內容）調整到用戶當前適應的深度。
該專利申請的一個創新方面可以體現在以下方法中：在具有處理器的電子設備上，產生從眼睛視網膜反射的光；從圖像傳感器接收視網膜的一部分圖像，該圖像對應於從眼睛視網膜散射的光的多個反射、 獲得對應於第一適應狀態的眼睛表示，該表示代表至少一些視網膜部分，並且基於視網膜部分的圖像與眼睛表示的比較來追蹤眼睛特徵。
在某些方面，眼睛的表示包括視網膜至少部分的映射。
在某些方面，生成視網膜至少部分的映射包括獲取用戶眼睛的註冊圖像，同時用戶（i）將眼睛容納到註冊深度，和（ii）掃描代表定義視野的凝視角度空間，並基於組合兩個或多個眼睛註冊圖像的至少一部分，生成視網膜至少部分的映射。
在某些方面，根據視網膜部分的圖像與眼睛表示進行比較來追蹤眼睛特徵，包括估計特徵的散焦程度。在某些方面，估計特徵的散焦程度是基於焦點像素的。
在某些方面，基於視網膜部分的圖像與眼睛表示的比較來追蹤眼睛特徵，包括銳化視網膜部分的圖像質量，以及根據銳化視網膜部分圖像質量所需的鏡頭移動確定散焦程度。
蘋果專利圖 8 是一個示例頭戴式設備（HMD/Vision Pro）的框圖，該設備集成了其先進的眼動追蹤系統；圖 2 示出了眼動追蹤系統的示例；圖 6 是用於追蹤眼睛特徵的註冊過程方法的流程圖表示。
關於蘋果公司的專利，圖 2 展示了眼動追蹤系統的示例環境 #200。示例環境的系統使用光源 #210，例如產生紅外光的 LED 環（例如，HMD 或 iPad 上的光源 #34）。
此外，眼動追蹤系統包括圖像傳感器 #220（例如，用於觀察用戶眼睛視網膜上的散射光，以獲取視網膜 #47 的圖像 #230）。如圖所示，採集的圖像提供了眼睛血管的視圖。
另外，或者在某些實施方案中，所獲取的圖像可以提供除血管之外的附加資訊，例如其它可檢測的視網膜特徵。在一些實施方案中，如圖所示，圖像傳感器 #220 嵌入在光源 #210（例如，HMD 上的 LED 環）內或與光源 #210 保持一致。
在某些實施方案中，如圖 2 所示，光源 #220（例如 LED 等）照亮用戶眼睛的視網膜表面，因為用戶正在適應他或她的視線（例如視角 α 202a）。然後，圖像傳感器 #210 在光線從視網膜表面反射時獲取基於視網膜的視線追蹤圖像（例如，圖像 #230 的 #235 部分顯示了與視角 α #202a 相關的位置視角 α #202b）。
例如，在註冊過程中，可以指示用戶將其視線聚焦到顯示屏遠處的某個特定位置（例如，聚焦在距離 1.5 米的位置）。特定位置可以在設備的顯示器上。如果用戶將設備戴在頭上（例如 HMD），則該位置可能會出現在顯示器上非常遠的地方（例如，凝視一個小點，以便目光可能望向無限遠）。然後，來自光源的光波從眼睛的視網膜反射出來，並由檢測器（例如圖像傳感器）檢測以獲取視網膜表面的圖像數據。圖像傳感器的晶狀體可以聚焦到無限遠，使得當與眼睛的光學器件結合使用時，視網膜表面被清晰地成像到圖像傳感器上（例如，當眼睛聚焦到無限遠時，這是放鬆的健康眼睛的默認情況）。
蘋果專利圖 3 展示了一個眼動追蹤系統的示例用戶適應光學效應；圖 4 展示了追蹤眼球特徵的系統流程圖。
