近日，美國專利商標局正式授予蘋果一項重要的眼動追蹤專利，涉及一種用於注視端點確定的方法和裝置，特別是用於確定空間中3D物體上的主體的注視端點。
蘋果公司授權的專利涵蓋了一種用於確定主體注視端點的系統，該系統包括：適於確定主體的一隻或多隻眼睛的注視方向的眼動追蹤單元；適於確定位置的頭部追蹤單元，包括頭部和/或眼動跟蹤單元相對於參考坐標系的位置和方向；3D 場景結構表示單元，通過參考坐標系中的坐標表示真實世界場景的對象，通過其 3D 位置和/或其 3D 結構表示真實世界場景的對象，從而提供場景的 3D 結構表示；一種計算單元，用於根據注視方向、眼動追蹤器位置和 3D 場景結構表示來計算注視端點，和/或根據注視方向、眼動追蹤器位置和 3D 場景結構表示確定主體凝視的 3D 場景中的物體。
通過使用 3D 表示、眼動追蹤器和頭部追蹤器不僅可以確定 2D 平面上的注視點，還可以確定主體注視的對象和/或 3D 中的注視端點。
根據一個實施例，該系統包括用於計算 3D 結構表示場景的物體上的注視端點的模塊，其中所述注視端點是基於該 3D 結構場景中的注視方向與物體的交點來計算的。
注視方向與 3D 表示的交集提供了一種幾何方法，用於計算注視「hits」或與 3D 結構相交的位置，從而提供真實的注視端點。因此，可以確定場景中 3D 對象的真實注視端點。
根據一個實施例，該系統包括一個模塊，用於基於主體兩隻眼睛的注視方向的交點計算注視端點，和/或一個模塊，用於基於計算出的注視端點和現實世界場景中物體的 3D 位置和/或 3D 結構來確定主體正在注視的對象。
通過使用視差來計算主體眼睛的注視方向交點，可以確定注視端點。然後，此注視端點可用於確定用戶正在注視的對象。
根據一個實施例，通過選擇其 3D 位置和/或結構最接近計算的注視端點的物體，將被注視的對象確定為主體正在注視的物體。
根據一個實施例，所述眼動追蹤單元適於確定所述受試者的一隻或多隻眼睛的注視方向，適於確定所述一隻或多隻眼睛的所述注視方向的概率分布，並且其中所述計算單元用於確定被注視的物體，基於以下概率分布確定所述物體被注視的概率注視端點。
根據一個實施例，該系統還包括適於從任意視點獲取場景的一個或多個圖像的場景攝像機；一個模塊，用於將 3D 注視端點映射到場景攝像機拍攝的場景圖像的圖像平面上。
通過這種方式，不僅可以確定 3D 結構上的 3D 注視端點，而且可以確定場景攝像機拍攝的任何場景圖像上的相應位置。這允許確定攝像機從任意視角拍攝的場景圖像中的注視點，換句話說就是形成一個任意的位置。
根據一個實施例，場景攝像機的位置是通過某種位置確定或對象追蹤機制已知的或確定的，並且通過執行將 3D 注視端點投影到所述場景攝像機的圖像上來執行映射。
這是一種從 3D 注視端點推導出攝像機在任意位置拍攝的場景圖像中的相應點的方法。
根據一個實施例，該系統還包括：用於生成基於 3D 結構表示的從任意視點看到的場景圖像的模塊；一種模塊，用於將 3D 注視端點映射到由所述場景圖像生成模塊生成的圖像的圖像平面上，其中，所述映射是通過將所述 3D 注視端點的投影執行到所述場景圖像生成的場景圖像上而進行的。
以這種方式，可以生成任意場景圖像，而不是通過使用場景相機拍攝圖像，而是通過基於 3D 結構表示生成圖像。在此場景圖像中，可以通過將注視端點投影到場景圖像上或通過例如突出顯示已被確定為在場景圖像中凝視的 3D 結構的對象來指示或可視化注視端點或被注視對象。
根據一個實施例，所述眼動追蹤器是頭戴式眼動追蹤器；和/或所述場景攝像機是頭戴式場景攝像機。
頭戴式眼動追蹤器和頭戴式場景攝像機是這些設備的便捷實現。此外，如果眼動追蹤器是頭戴式的，那麼頭戴式追蹤器也會自動提供眼動追蹤器的位置/方向，場景攝像機也是如此。使用由頭部跟蹤器確定的頭部位置（位置和方向），可以根據頭戴式眼動追蹤器在眼動追蹤器坐標系中確定的注視方向來確定頭部追蹤器參考坐標系中的相應注視方向。
由頭部追蹤器提供的位置也會通過給定的設置自動傳遞眼動追蹤器的位置，在該設置中，眼動追蹤器固定在頭部並與頭部具有定義的空間關係，例如通過安裝在頭部的安裝框架。
根據一個實施例，所述 3D 結構表示單元包括 3D 場景結構檢測單元，該單元適於確定場景物體的 3D 結構和位置或其在參考坐標系中的幾何表面結構，以獲得真實世界場景的 3D 結構表示。
蘋果專利圖 2 示意性圖示了注視端點確定系統。
蘋果專利圖 3 示意性地示出了根據本發明的進一步實施例的注視端點確定系統。
專利圖 2 進一步說明了 3D 模型/參考模型是在實際注視測量之前使用 3D 結構檢測器「離線」創建的（圖 2 上半部分中的步驟 a）。
然後，可以執行注視端點到場景攝像機拍攝的場景圖像上的映射。為此，可以使用任何使用攝影機的位置和參數將 3D 結構映射到 3D 場景圖像的 2D 投影方法。通過這種方式，可以將視線照射到 3D 結構的位置映射到場景攝像機拍攝的場景圖像的相應位置。該映射過程在圖2的步驟 b 示意性地示出。圖 2 示出了將 3D 結構映射到場景圖像的過程（例如通過使用 3D 投影執行）。
