近日,蘋果公司在歐洲申請的一項關於 Apple Vision Pro 的專利曝光。
蘋果公司在專利中指出,XR 環境是指人們通過電子設備感知和/或與之交互的全部或部分模擬環境。例如,XR 環境可以包括 AR 內容、MR 內容、VR 內容和/或類似內容。使用 XR 系統,可以追蹤人的物理運動或其代表的子集,並且作為響應,以符合至少一個物理定律的方式調整在 XR 環境中模擬的一個或多個虛擬對象的一個或多個特徵。
例如,XR 系統可以檢測頭部運動,並響應於調整圖形內容和呈現給人的聲場,其方式類似於這些視圖和聲音在物理環境中的變化方式。作為另一示例,XR 系統可以檢測呈現 XR 環境的電子設備(例如,手機、平板電腦、筆記本電腦等)的運動,並且作為響應,以類似於這種視圖和聲音在物理環境中變化的方式調整呈現給人的圖形內容和聲場。在某些情況下(例如,出於可訪問性原因),XR 系統可能會根據物理運動的表示(例如,語音命令)調整 XR 環境中圖形內容的特徵。
有許多不同類型的電子系統使人能夠感知和/或與各種 XR 環境交互。示例包括頭戴式系統、基於投影的系統、平視顯示器(HUD)、具有集成顯示功能的車輛擋風玻璃、具有集成顯示功能的窗戶、戴在人的眼睛上的鏡片顯示器(例如,類似於隱形眼鏡)等等。
頭戴式系統可以包含一個或多個成像傳感器,以捕獲物理環境的圖像或影片,和/或一個或多個麥克風,以捕獲物理環境的音頻。頭戴式系統可能具有透明或半透明顯示器,而不是不透明的顯示器。透明或半透明顯示器可能具有一種媒介,通過該媒介,代表圖像的光被引導到用戶的眼睛上。
蘋果的頭顯設備 #105 可能包括一個或多個攝影機,例如可見光攝影機、紅外攝影機等。它還將包括各種傳感器,包括但不限於攝影機、圖像傳感器、觸摸傳感器、麥克風、慣性測量單元(IMU)、心率傳感器、溫度傳感器、雷射雷達傳感器、雷達傳感器、聲納傳感器、GPS 傳感器、Wi-Fi 傳感器、近場通信傳感器等。
此外,頭顯可以包括能夠接收用戶輸入的硬體元件,例如硬體按鈕或開關。由此類傳感器和/或硬體元件檢測到的用戶輸入對應於各種輸入模式,用於與給定 XR 環境中顯示的虛擬內容進行互動。例如,這種輸入模式可以包括但不限於面部追蹤、眼動追蹤(例如,凝視方向)、手部追蹤、手勢追蹤、生物特徵讀數(例如,心率、脈搏、瞳孔擴張、呼吸、溫度、腦電圖、嗅覺)、識別語音或音頻(例如,特定的熱詞)以及激活按鈕或開關等。
蘋果專利圖 2 說明了 XR 環境的示例,其中包括由 XR 頭顯(Apple Vision Pro)顯示的多個用戶界面,以顯示在物理環境中的多個相應位置。
蘋果專利圖 3 說明了蘋果專利圖的不同 3D 視圖,用於說明真實和虛擬組件的分層,這些組件在 Apple Vision Pro 中呈現完整的 AR 視圖。
根據蘋果的說法,對於每個 UI(例如,每個基礎應用程序),頭顯會分配一個邊界,該邊界定義了物理環境 #200 的一部分,其中包括遠離頭顯的位置,在該位置顯示 UI(例如,顯示 #230 導致頭顯用戶感知 UI, 即使感知/表觀位置可能沒有物理顯示)。
蘋果專利圖 4 說明了 Apple Vision Pro 頭顯的系統進程如何控制各種應用程序對場景資訊和/或用戶資訊的訪問。
蘋果專利圖 7 說明了XR環境的示例,其中顯示的用戶界面是顯示器顯示的唯一用戶界面,並且其中用戶界面包括有界的二維 UI 窗口、有界的部分三維 UI 窗口和根據一個或多個實現的有界三維部分。
更具體地看圖 7,蘋果頭顯已經確定顯示的 UI 內容與火星有關,並根據顯示的 UI 內容修改了二維 UI 窗口 #700、部分三維 UI 窗口 #704、有界三維 UI 窗口#726 邊界之外的部分可視區域#207(例如, 以顯示增強功能 #708,在可視區域 #207 上顯示半透明的紅色背景,對應於火星的紅色)。
蘋果專利圖 13 說明了用於操作跨平台 VR 應用程序的示例架構的框圖。
蘋果專利圖 14 說明了用於操作第三方應用程序的示例架構的框圖。
蘋果早在 2022 年 12 月就申請了這項專利,近日在歐洲以編號 #WO2023102139 公布。