近日，美國專利商標局公布了蘋果的一項專利申請，該申請聚焦於光標控制與移動技術，意在藉助空中手勢操作，為未來智能眼鏡、Vision Pro 以及 Mac 觸控板等設備帶來全新的交互體驗。
蘋果在專利申請文件中指出，當下市場上的部分三維環境交互方法與界面存在諸多弊端。一方面，有些系統不支持利用光標與虛擬對象進行交互，當用戶進行文本編輯、繪圖等需要高精度操作的任務時，操作流程繁瑣，效率大打折扣。
另一方面，即便存在支持光標與虛擬對象交互的系統，也因設計複雜、操作不便，極易導致用戶誤操作。這不僅增加了用戶的認知負擔，還極大地破壞了虛擬/增強現實環境的沉浸感和使用體驗。而且，這類傳統交互方式耗時較長，使得電腦系統的能耗上升，對於依賴電池供電的設備來說，電量損耗問題尤為嚴重。
鑑於此，研發一種更先進的電腦系統迫在眉睫。該系統需要實現利用光標與虛擬對象進行高效交互，讓用戶與三維環境的互動更加便捷直觀。新的交互方法和界面可以作為傳統三維環境交互方式的補充或替代方案，通過優化用戶輸入與設備響應之間的關聯反饋機制，減少用戶輸入的數量、範圍和複雜程度，從而打造出更高效的人機交互界面。
在不同的應用場景中，該電腦系統有多種實現形式。在一些實施例中，它可以是配備相應顯示器的台式電腦；在其他實施例中，也可以是便攜式設備，或是頭戴式顯示器、智能眼鏡等穿戴設備。
從硬體配置方面來看，部分實施例中的電腦系統配備了一個或多個手部追蹤組件，能夠精準捕捉用戶的手部動作。除了顯示生成組件，系統還配備了一個或多個輸出設備，其中包括觸覺輸出生成器，可為用戶提供真實的觸感反饋；還有音頻輸出設備，能帶來全方位的音頻體驗。
在交互方式上，用戶有多種途徑與圖形用戶界面（GUI）進行互動。比如，可以使用觸筆或手指在觸敏表面上進行接觸和手勢操作；通過攝像機和其他運動傳感器捕捉用戶眼睛和手部在空間中相對於 GUI 或用戶身體的移動軌跡；或者藉助一個或多個音頻輸入設備，實現語音指令輸入。
藉助這些交互方式，系統能夠實現豐富多樣的功能，涵蓋圖像編輯、繪圖設計、演示匯報、文字處理、電子表格製作、遊戲娛樂、語音通話、影片會議、電子郵件收發、即時通訊、運動健身輔助、數碼攝影攝像、網頁瀏覽、數字音樂播放、筆記記錄等多個領域。
蘋果專利圖 7A 展示了基於手部運動檢測實現光標控制的具體應用場景。圖中設備 #700 被設定為一台台式電腦，配備顯示器 #706，該顯示器與一個或多個圖像傳感器/攝影機相連，能夠精準捕捉用戶的空中手勢動作；此外，還可以通過大型觸控板 #708 實現交互操作。
