近日，美國專利商標局正式授予蘋果一項專利，該專利涉及其使用頭部和視覺里程計的眼動追蹤系統。更具體地說，該專利涵蓋了用於在 Vision Pro 中檢測用戶眼睛位置和運動的低功耗眼動追蹤。HMD 的眼動追蹤系統可能包括眼動追蹤攝影機和視覺里程計，可以降低系統的功耗。視覺里程計可用作低功耗組件，以追蹤用戶眼睛相對於 HMD 在眼動追蹤攝影機捕獲的幀之間的相對運動，這可以使眼動追蹤攝影機的幀速率降低。
蘋果專利涵蓋了用於追蹤設備相對於用戶頭部的相對運動的方法和裝置，其中傳感器（本文中稱為頭部運動傳感器或頭部里程計）放置在設備內部或上的一個或多個位置。
在眼動追蹤系統的一些實施例中，為了準確地確定用戶眼睛相對於眼動追蹤攝影機的位置，控制器可以執行一種算法，該算法使用由眼動追蹤攝影機捕獲的圖像來執行 3D 重建，以生成用戶眼睛的 3D 模型。
在一些實施例中，當檢測到設備相對於用戶眼睛的運動時，可以確定檢測到的運動的大小和方向，而不是執行 3D 重建，並且可以根據檢測到的 HMD 運動的大小和方向調整先前通過 3D 重建方法生成的用戶眼睛的 3D 模型。
該專利還描述了使用視覺里程計追蹤用戶眼睛相對於 HMD 的相對運動的方法和裝置。在一些實施例中，傳感器（本文中稱為眼部運動傳感器或視覺里程計）被放置在設備中的一個或多個位置以增強眼動追蹤攝影機。視覺里程計可用作低功率組件，以追蹤用戶眼睛相對於設備的相對運動，以處理由眼動追蹤攝影機以幀速率捕獲的幀之間的間隔。
該專利描述了包括頭部里程計和視覺里程計的 HMD，或者包括頭部里程計和眼動追蹤攝影機的 HMD，這些攝影機捕獲低解析度圖像，以追蹤眼睛的相對運動。
用於 HMD 眼動追蹤系統的實施例，其包括頭部里程計和視覺里程計，或者替代地同時包括頭部里程計和眼動追蹤攝影機，其捕獲低解析度圖像以追蹤眼睛的相對運動，例如可以進一步降低執行 3D 重建的頻率，並且還可以降低對由眼動追蹤攝影機捕獲的幀進行 2D 圖像處理的頻率，以進一步降低眼動追蹤系統的功耗。
蘋果專利圖 10 展示了一個示例 VR/AR HMD，該系統實現了眼動追蹤系統，該系統包括檢測 HMD 相對於用戶眼睛運動的頭部里程計和在處理眼動追蹤攝影機捕獲的幀之間的間隔內追蹤眼動運動的視覺里程計。
蘋果專利圖 11 是一種眼動追蹤方法的流程圖，其中頭部里程表用於檢測 HMD 相對於用戶眼睛的運動，並且視覺里程計用於追蹤眼睛在處理由眼動追蹤攝影機捕獲的幀之間的間隔內的運動。
