近日，蘋果獲得一項新專利，涉及帶有運動追蹤功能的 Apple Pencil，可與 Vision Pro 配合使用，幫助用戶在遊戲中觀察 3D 物體，用於遊戲或進行模擬訓練等。通過觸控筆上的攝像頭，用戶可以使用 Vision Pro 或其他頭戴式設備查看 3D 物體周圍的情況等。
頭戴式設備的觸控筆輸入系統
頭戴式設備是一種有吸引力的技術，適用於各種應用，可用於提供沉浸式和交互式電腦生成現實（CGR）。例如，頭戴式設備可以用於提供響應於用戶在 3D 空間中移動的 VR/MR 環境，用於遊戲、影片娛樂和訓練模擬等目的。頭戴式設備可以配備有傳感器或運動追蹤技術以追蹤用戶頭部的運動，並且在頭戴式設備的輸出（例如，音頻、圖形等）中生成適當的響應。
根據本文公開的一些實施例，涉及頭戴式設備和手持式觸控筆的系統可用於追蹤用戶的自由空間移動。所述觸控筆可以配備一個或多個光發射器，並且所述頭戴式設備可以配備面向外的攝像頭，所述攝像頭被配置為基於對所述光發射器的檢測來轉換觸控筆的運動。這樣的系統可以提供一個獨立的追蹤系統，允許用戶在 3D 空間自由移動手持式觸控筆，同時精確地傳遞觸控筆的自由空間運動，而不需要外部攝像頭。
另外，觸控筆可以配備有一個或多個攝像頭，以便於追蹤觸控筆的移動或用於從觸控筆周圍的物理環境收集附加數據，以便影響頭戴式設備提供的輸出。
蘋果專利圖 1 示出了具有頭戴式設備和觸控筆/Apple Pencil的系統的示例示意圖。
觸控筆 #300 可以被配置為能夠在 3D 空間中自由移動的無線設備。攝像頭 #325 可以用來收集從用戶 #10 和/或頭戴式設備 #200 的傳感器 #240 的視野中隱藏或遮擋的空間的數據或圖像。這樣的數據可用於繪製電子系統 #100 在其中操作的物理環境的地形圖。例如，映射可用於影響 MR 環境的虛擬對象如何與物理環境交互。
用觸控筆的攝像頭捕獲的環境圖像可以直接呈現在頭戴式設備的顯示器 #220 上，以允許用戶觀察物理環境中對象的周圍或內部。這樣的圖像可以包括靜止圖像和/或影片圖像。
在一些實施例中，可以在頭戴式設備上實時地呈現用觸控筆的攝像機捕獲的影片，以允許用戶使用觸控筆像潛望鏡一樣查看頭戴式設備上的隱藏或被遮擋的空間。
此外，觸控筆和/或頭戴式設備也可以包括一個或多個其他傳感組件，其中可以包括非光學傳感組件，例如超聲波傳感組件和/或電磁傳感組件。
蘋果專利圖 2 示出了觸控筆示例的透視圖。觸控筆還可以包括控制輸入 #358，其被設計成接收與由筆尖 #390 提供的觸摸輸入不同的命令。例如，控制輸入可包括按鈕、觸摸傳感器、麥克風或能夠從用戶手部或其他部位接收輸入的其他輸入組件。
控制輸入可用於激活觸控筆的組件、改變操作模式、改變設置或提供其它功能，以支持到電子系統 #100 的基於觸控筆的輸入。
例如，控制輸入可用於觸控筆的開機或關機；激活發光器 #315；激活攝像頭 #325；激活攝像頭的快門；在頭戴式設備 #200 上顯示的 CGR 中觸發選擇、導航或遊戲輸入。
蘋果專利圖 3 示出了具有一個或多個光發射器的觸控筆示例的前視圖；圖 4 示出了具有一對具有不同空間圖案的光發射器的觸控筆示例的前視圖；圖 5 示出了具有光發射器的觸控筆示例的前視圖，所述光發射器的圖案圍繞觸針的圓周變化；圖 6 示出了具有多個攝像頭的觸控筆示例的前視圖。
蘋果專利圖 7 展示了具有頭戴式設備和觸控筆的系統示例的框圖。
蘋果指出，雖然該專利的重點是提供配合 Vision Pro 等頭戴式設備的觸控筆/Apple Pencil，但這種新的 Apple Pencil 未來也可能會用於 iPhone、Mac、iPad 等設備。
