近日,美國專利商標局發布了一項蘋果公司專利,該公司正在暗示 iDevices 及其 XR 頭顯將再次採用 3D 界面。蘋果的新專利更強調使用眼動追蹤技術來控制 3D 用戶界面。
蘋果公布的關於 3D 操作環境的第二項專利申請指出,需要具有改進方法和界面的電腦系統,為用戶提供電腦生成的體驗,使用戶與電腦系統的交互更加高效和直觀。
新的系統、方法和界面將補充或取代傳統的系統、方法和用戶界面,為用戶提供XR體驗。這些方法和界面通過幫助用戶了解提供的輸入與設備對輸入的響應之間的聯繫來減少用戶輸入的數量、範圍和/或性質,從而創建更高效的人機界面。
蘋果的專利圖 7A-7J 是框圖,說明在三維環境中的相應位置顯示用戶界面對象。
在一些實施例中,一個或多個用戶界面對象被設置在三維環境中的預定義區域內,使得放置在預定義區域中的用戶界面對象跟隨三維環境中的用戶,而放置在預定義區域之外的用戶界面對象在三維環境中不跟隨用戶。
在一些實施例中,第一顯示生成組件是平視顯示器。在一些實施例中,第一代顯示生成組件是頭戴式顯示器(TIMID)。在一些實施例中,第一顯示生成組件是獨立顯示器、觸摸屏、投影儀或其他類型的顯示器。
在一些實施例中,電腦系統與一個或多個輸入設備通信,包括攝影機或其它傳感器和輸入設備,這些傳感器和輸入設備檢測用戶手部運動、身體整體運動和/或用戶頭部在物理環境中的運動。
在一些實施例中,一個或多個輸入設備檢測用戶的手、面部和身體作為一個整體等的運動和當前姿勢、方向和位置。在一些實施例中,一個或多個輸入設備包括眼動追蹤組件,其檢測用戶目光的位置和移動。
在一些實施例中,第一顯示生成組件,以及可選的一個或多個輸入設備和電腦系統,是頭戴式設備(例如 HMD 或一副護目鏡)的部件,其在物理環境中隨用戶的頭部移動和旋轉,並且通過第一顯示生成組件將用戶的視角改變到提供的三維環境中。
在一些實施例中,第一顯示生成組件是平視顯示器,其不隨用戶的頭部或用戶身體整體移動或旋轉,而是任選地根據用戶的頭部或身體相對於第一顯示生成組件的移動,將用戶的視點改變到三維環境中。
在一些實施例中,第一顯示生成組件任選地由用戶的手相對於物理環境或相對於頭部移動和旋轉,並且根據第一顯示生成組件相對於用戶頭部或面部或相對於物理環境的移動,將用戶的視點改變到三維環境中。
在一些實施例中,用戶界面對象 #7104-1 包括多個可選用戶界面選項(例如按鈕)的面板,這些選項可由用戶通過凝視和/或手勢(例如,空中手勢)進行選擇。在一些實施例中,用戶控制項(例如,修改)中包括哪些可選的用戶界面選項(例如,用戶界面對象 #7104-1)。例如,用戶選擇要在面板中顯示的某些應用圖標、設置、控制項和/或其他選項,以便用戶可以輕鬆訪問所選應用圖標、設置、控制項和/或面板中包含的其他選項(例如,用戶能夠與面板進行交互,甚至當用戶在物理環境中移動時,面板能夠在物理環境中跟隨用戶移動)。
在一些實施方案中,如圖 7E-7G 所示,當用戶不注意用戶界面對象 #7104(例如,用戶界面對象#7104-3、用戶界面對象#7104-4 和用戶界面對象 #7104-5)時,用戶界面對象#7104 繼續以視覺效果強調顯示(例如,如圖 7E-7F 中的陰影填充所示)。
最後,蘋果指出作業系統包括處理各種基本系統服務和執行硬體相關任務的說明。
在一些實施例中,XR 體驗模塊被配置成管理和協調一個或多個用戶的一個或多個 XR 體驗(例如,針對一個或多個用戶的單個 XR 體驗,或針對一個或多個用戶的多個 XR 體驗)。為此,在不同的實施例中,XR 體驗模塊包括數據獲取單元、跟蹤單元、協調單元和數據傳輸單元。