近日,美國專利商標局公布了蘋果一系列專利申請,涉及 Apple Vision Pro 眼動追蹤系統、光柵顯示、手部追蹤等當前和/或未來疊代。本報告涵蓋的主要專利申請包括根據確定的閃爍位置確定眼睛特徵(例如,注視方向、眼睛朝向等)的設備、系統和方法。蘋果的眼動追蹤技術是 Apple Vision Pro 如此神奇的核心。
蘋果在其專利背景中指出,現有的眼動追蹤技術分析從用戶眼睛反射並通過圖像傳感器捕獲的閃爍。例如,在這種圖像傳感器捕獲的圖像中描繪的閃爍可能會飽和,在這種情況下,相對強烈的閃爍從相對鏡面反射,這種閃爍飽和可能會阻止現有的眼動追蹤技術準確確定閃爍位置,因為飽和度可能會抑制準確測量閃爍質心(例如,閃爍中心點)的能力。
這種眼動追蹤系統可能缺乏準確性,並且對機械衝擊很敏感。因此,可能需要提供一種有效的方法,例如,更準確地找到閃光中心點,對閃爍進行更準確的識別。
使用多區透鏡進行閃爍分析
蘋果的發明涵蓋了基於確定閃爍位置來確定眼睛特徵(例如,注視方向、眼睛朝向等)的設備、系統和方法。眼睛特徵可以使用從眼睛反射並由圖像傳感器捕獲的閃爍來跟蹤或以其他方式確定。在某些方面,閃爍跟蹤系統使用多區透鏡,該透鏡具有一個區域,可以分散在圖像傳感器處接收到的閃爍能量。分散能量可以改善眼動追蹤,因為它能夠使用從其他飽和場點的散射光(例如,在點散射函數中散射到光暈中的光線)更準確地識別閃爍中心點。此外,使用多區透鏡分散能量可以進一步減少由透鏡像差、光源功率、光圈偏心等引起的誤差。
一般而言,本發明的一個創新方面可以體現在以下方法中:在具有處理器的電子設備上,通過產生從眼睛的一部分反射的光來產生閃爍;在傳感器處接收反射光,其中反射光在通過具有第一區和第二區的多區透鏡後被接收, 第一區和第二區具有不同的能量傳播特性;根據傳感器接收到的反射光確定閃爍的位置,並根據確定的閃爍位置確定眼睛特性。
在某些方面,第一個區域的曲率半徑與第二個區域的曲率半徑不同。在某些方面,在點擴散函數(PSF)中,第一個區域的曲率半徑比第二個區域的曲率半徑更能傳播接收到的光線。在某些方面,第一區的曲率半徑通過分配其他飽和場點的能量在 PSF 中產生分布式能量部分。在某些方面,分布式能量部分是一個光環。
在某些方面,第一個區域在點擴散函數(PSF)中產生分布式能量部分,第二個區域在 PSF 中產生聚焦能量部分。在某些方面,第一區域包括傾斜裝置,使得分布式能量部分與 PSF 中的聚焦能量部分分開。
在某些方面,確定閃爍的位置包括確定接收光的中心點。在某些方面,確定眼睛特徵包括根據確定多個閃爍的位置來確定眼睛多個部分的位置。
在某些方面,光是紅外線(IR)光。在某些方面,傳感器包括圖像傳感器,並且接收反射光包括從傳感器接收來自圖像數據的反射光。在某些方面,電子設備是頭戴式設備(HMD)。
蘋果專利圖 3 說明了飽和度對確定閃爍位置的影響;圖 4 示出了根據某些實現方式使用透鏡如何能夠更準確地確定原本飽和的閃爍位置。
蘋果專利圖 8A-8C 說明了用於眼動追蹤系統的多區透鏡示例;圖 10 示出了用於眼動追蹤系統的多區透鏡的彗差示例。