近日，美國專利商標局公布了蘋果的兩項專利申請，分別圍繞通過空中手勢控制光標與 3D 環境交互，以及手部追蹤校正模式的啟發式方法展開，為未來人機交互帶來了新的想像空間。
空中手勢控制光標：開啟高效 3D 交互新紀元
蘋果此次申請的一項專利聚焦於控制和/或移動光標的技術，旨在藉助空氣手勢操作未來智能眼鏡、Vision Pro 以及 Mac 電腦的觸控板，實現與 3D 環境的高效交互。
當前，與 3D 環境交互的部分方法和界面存在諸多問題。一些系統不支持使用光標與虛擬對象交互，這使得文本編輯、繪圖等精確操作變得繁瑣且低效。而另一些支持光標交互的系統又過於複雜，不僅容易出錯，還會給用戶帶來顯著的認知負擔，同時消耗大量電腦系統能量，對於電池供電設備而言，這一問題尤為突出。
蘋果的專利技術則致力於改進電腦系統，通過新的方法和界面，讓用戶能夠藉助光標與虛擬對象進行交互，使交互過程更加高效和直觀。這些方法可以選擇性地補充或替代傳統的 3D 環境交互方式，通過幫助用戶理解輸入與設備響應之間的關聯，減少用戶輸入的數量、範圍和性質，從而打造更高效的人機界面。
該專利技術適用於多種電腦系統，包括帶有相關顯示器的台式電腦，以及便攜式設備或頭戴式顯示器（HMD）/智能眼鏡。這些系統可能配備一個或多個手部追蹤組件，以及除顯示生成組件外的一個或多個輸出設備，如觸覺輸出生成器和音頻輸出設備。
用戶可以通過多種方式與圖形用戶界面（GUI）進行交互，包括使用觸控筆和/或手指在觸控表面上的操作，通過眼睛和手在空間中相對於 GUI（和/或電腦系統）或用戶身體的運動（由攝影機和其他運動傳感器捕獲），以及通過音頻輸入設備捕獲的語音輸入。通過這些交互方式，用戶可以執行圖像編輯、繪圖、演示、文字處理等多種功能。
蘋果專利圖 7A 展示了基於檢測到的手部動作控制光標的示例，設備 #700 實現為台式電腦，其顯示屏 #706 與一個或多個圖像傳感器/攝影機通信，以檢測用戶在空中的手勢或使用大型觸控板 #708 的操作。
而專利圖 7F2 則展示了智能眼鏡 #X700 的顯示模塊 #X702 上顯示窗口 #710 和 #712 以及光標 #726 的實現方式。在某些實現方式中，智能眼鏡包含一對顯示模塊，為同一用戶的雙眼提供立體內容，第二個顯示模塊顯示的圖像與顯示模塊 X702 略有不同，以產生立體深度的錯覺。
手部追蹤校正模式：提升交互精準度
另一項專利則聚焦於手勢和手部追蹤的技術方案，提出了手部追蹤校正模式的啟發式方法。
在某些實現方式中，該方法首先確定虛擬內容的位置，然後檢測用戶與虛擬內容的交互。在檢測到交互時，確定用戶在與虛擬內容交互過程中手勢的位置，並根據手勢位置相對於虛擬內容位置的距離是否在閾值範圍內進行判斷。若在閾值範圍內，則生成與用戶與虛擬內容交互相關聯的校正後手部追蹤數據；若在閾值範圍外，則生成未校正手部追蹤數據。
蘋果專利圖 5B 展示了與輸入追蹤架構相關的示例數據結構，圖 6A 則展示了改進手部追蹤的流程。這些專利內容為手部追蹤技術在 3D 環境交互中的應用提供了更精準的解決方案。
