近日，美國專利商標局正式公布了蘋果公司的一項專利申請，該專利申請涉及智能眼鏡和 XR 頭顯的眼部成像系統，該系統將為 XR 應用提供眼動追蹤功能。
擴展現實（XR）系統，例如混合現實（MR）或增強現實（AR）系統，將電腦生成的資訊（稱為虛擬內容）與現實世界的圖像或現實世界視圖相結合，以增強或添加內容到用戶的世界中。因此，XR 系統可用於為多種應用提供交互式用戶體驗，例如將虛擬內容添加到觀看者環境的實時視圖、與虛擬培訓環境交互、遊戲、遠程控制無人機或其他機械系統、查看數字媒體內容、與網際網路交互等的應用中。
蘋果的專利申請涉及在擴展現實（XR）應用中提供眼動追蹤的方法和 HMD（如 Apple Vision Pro 或智能眼鏡）。HMD 可能包括可穿戴設備，例如頭顯、頭盔、護目鏡或眼鏡。
XR 系統可以包括 HMD，HMD 可以包括一個或多個攝像頭，這些攝像頭可用於捕獲用戶環境的靜態圖像或影片幀。HMD 可能包括位於眼睛前方的鏡片，佩戴者可以通過這些鏡片查看環境。
在 XR 系統中，虛擬內容可以顯示或投射到這些鏡片上，使虛擬內容對佩戴者可見，同時仍然能夠通過鏡片查看真實環境。
在某些系統中，HMD 可能包括注視追蹤技術。在注視追蹤系統示例中，一個或多個紅外（IR）光源向用戶的眼睛發射紅外光。一部分紅外光被眼睛反射並被眼動追蹤攝像頭捕獲。
眼動追蹤攝像頭捕獲的圖像可以被輸入到閃光和瞳孔檢測過程中，例如由 HMD 控制器的一個或多個處理器實現。該過程的結果被傳遞到注視估計過程，例如由控制器的一個或多個處理器實現，以估計用戶的注視點。這種注視追蹤方法可稱為 PCCR（瞳孔中心角膜反射）追蹤。
傳統上，眼動追蹤攝像頭安裝在 HMD 框架的某處，並對準眼睛，以對眼睛進行成像，或者安裝在 HMD 的外部，從而通過 HMD 的顯示鏡頭對眼睛進行成像。在這兩種情況下，攝像頭都無法獲得眼睛的直接視圖，因為外形尺寸阻止了攝像頭直接放置在眼睛前方，因此攝像頭只能以一定角度對眼睛進行成像。
一種解決方案是使用位於 HMD 顯示組件中的波導，將眼睛的圖像傳輸到位於可穿戴設備框架上某處的傳感器。然而，傳統的顯示波導以一定角度對圖像點進行編碼，因此可以對無限遠的物體進行成像。雖然這可用於執行視網膜追蹤，但由於至少某些可穿戴設備的外形尺寸，顯示器離眼睛角膜太近，這種方法無法用於捕獲圖像以用於 PCCR 注視追蹤過程。
本專利描述了能夠用波導對角膜/瞳孔進行成像的方法和設備的實施例。這些實施例允許將成熟的 PCCR 算法與光機設計一起使用，該設計更自然地適合可穿戴眼鏡等 HMD 外形尺寸。
實施例包括可穿戴設備顯示鏡頭中的波導層，該波導層包括一個窄而長的耦合器（或輸入耦合器），該耦合器沿一個方向（垂直、水平或一定角度）定向。輸入耦合器可以使用衍射或反射將來自眼睛的光線以一定角度重新定向，使光線被波導管定向到使用全內反射（TIR）或其他反射處理的輸出耦合器。
輸入耦合器還用於將光線聚焦到輸出耦合器。然後，輸出耦合器可以使用反射或衍射將光線從波導重定向到眼動追蹤攝像頭的鏡頭。眼動追蹤攝像頭可以位於可穿戴設備框架上的任何位置，因此不會出現在用戶通過鏡頭看到的視野範圍內。使用這種方法，與傳統的眼動追蹤系統相比，攝像頭可以捕捉到眼睛角膜、虹膜和瞳孔的圖像。
將輸入耦合器設計為一個狹窄的「槽」（例如，1 毫米寬，20-30 毫米長），允許輸入耦合器保留波導內物體點和傳播角之間的映射，從而有效地聚焦所有距離。輸入耦合器可以直接位於用戶眼前。因此，實施例可用於對位於靠近可穿戴設備鏡頭的眼睛表面進行成像。這允許使用波導來捕獲角膜、虹膜和瞳孔的聚焦圖像，以便在現有的 PCCR 算法中使用。
蘋果專利圖 2 大致說明了在 HMD（如一副眼鏡）的透鏡中使用具有窄輸入耦合器和輸出耦合器的波導來對用戶的眼睛進行成像。
蘋果專利圖 3A 說明了輸入耦合器 #242 使用衍射或反射來改變光線的角度，以便光線通過波導 #240 內的全內反射（TIR）重定向到輸出耦合器 #244。可以選擇輸入耦合器，使其僅影響光源 #280 發射的光譜紅外（IR）部分範圍（例如，~ 850 或~ 940 納米），因此對光譜可見部分內的光影響很小或沒有影響，使用戶對環境和 HMID 顯示組件輸出的視圖不會受到負面影響。重定向的紅外光線由輸出耦合器重定向到位於 HMD 框架 #210 某處的眼動追蹤攝像頭 #220。
蘋果專利圖 4C 示出了 HMD 的示例，如圖所示為智能眼鏡，其包括一個帶有窄輸入耦合器的波導和一個輸出耦合器，該耦合器將光線重定向到位於 HMD 框架上或附近的眼動追蹤攝像頭。
例如，該眼鏡可能包括一個顯示系統，該系統引導光線通過透鏡 #220 中的一層或多層波導形成圖像（虛擬內容）；波導的輸出耦合器（例如，浮雕光柵或體全息）可以向佩戴者輸出光以在佩戴者的眼睛處或附近形成圖像。
蘋果專利圖 7A 和 7B 以圖形方式說明了光線在波導中的重定向，該波導將光線重定向到眼動追蹤攝像頭。
