近日，美國專利局公布了蘋果公司的一項專利申請，該專利申請涉及基於手部特徵驗證用戶身份的技術。
蘋果指出，可能是多個家庭成員都想使用Apple Vision Pro，系統必須識別不同的手勢以控制 visionOS。在另一個示例中，蘋果描述了一個工作場所場景，其中多個人戴著頭顯協作處理項目，要麼只能查看項目（例如草稿），要麼有權根據 Vision Pro 在辦公室或僅在單個項目上註冊不同用戶的手進行編輯。
蘋果在其專利背景中指出，在 Apple Vision Pro 中，一個人的物理運動或其表現形式的子集會被追蹤，作為回應，在 XR 環境中模擬的一個或多個虛擬對象的一個或多個特徵以符合現實屬性的方式進行調整。某些 XR 環境允許多個用戶與虛擬對象交互或在 XR 環境中相互交互。例如，用戶可以使用手勢與 XR 環境的組件進行交互。但是，需要的是一種改進的技術來管理執行手勢的用戶身份的確定。
確認手勢身份
蘋果的發明涵蓋了捕獲周圍環境的傳感器數據，可用於提取手部特徵。在一些實施例中，2D 圖像幀可用於提取手部特徵，其可用於手部追蹤。根據一個或多個實施例，可以訓練網路以讀取傳感器數據（例如 2D 圖像幀），並生成手部特徵，如邊界框、手部關鍵點、手部中心和手部特性。網路可以被訓練為基於單個 2D 圖像幀為手部特徵提供 3D 數據。例如，關鍵點、邊界框和/或手部中心可以以空間 3D 坐標的形式提供。
在一些實施例中，手部特徵可用於預測環境中的特定手部是否屬於應被追蹤的特定用戶。例如，可以追蹤捕獲傳感器數據的設備的用戶，而應忽略場景中的其他手。然後，可以將要追蹤的手的手部特徵用於手部追蹤技術。
蘋果專利圖 10 以框圖形式顯示了用於確認手勢身份的示例性系統；圖 1 示出了用於管理場景中活動用戶身份的系統設置。
蘋果專利圖 2 顯示了註冊用戶手部的技術流程圖；圖 5 顯示了用於基於手部特徵確定用戶授權的系統設置；圖 8 顯示了從圖像數據中提取手部特徵的技術流程圖。
更具體到圖 5，我們看到的是多個用戶參與的多用戶通信會話的表示視圖 #500。多用戶通信會話包括虛擬對象 #510，它是多用戶通信會話的多個用戶可見的演示草稿。如圖所示，用戶 Emily Smith #504 的右手正在虛擬對象上執行雙指滑動手勢 #514。同樣，John Doe #508 的右手也在虛擬對象上執行雙指滑動手勢 #518。就本示例而言，雙指滑動手勢可能與刪除或以其他方式操作虛擬對象相關聯。
蘋果專利圖 5 還包括授權列表 #520。例如，授權列表可以存儲為授權存儲區。在一些實施例中，授權列表可以是身份驗證模塊和/或追蹤模塊管理的用戶列表的一部分。
如上所述，授權列表包括與多用戶通信會話中的對象相關聯的授權資訊。如示例授權列表所示，演示文稿（例如，虛擬對象 #510）可以由 John Doe 查看，但不能編輯。同時，用戶 Emily Smith 被授權編輯演示文稿。
此外，Anon 1 配置文件可能沒有授權。在一些實施例中，匿名配置文件可以與無授權或有限授權相關聯。因此，在一些實施例中，演示文稿草案可以對與 Anon 1 相關聯的用戶進行混淆。例如，草稿演示虛擬對象可能對未經授權的用戶（例如與 Anon 1 配置文件關聯的用戶）完全不可見。因此，如上所述，與 Emily Smith #504的右手關聯的手勢 #514 可能會導致虛擬對象被操作，而與 John Doe 的右手 #508 相關聯的手勢 #518 可能會被檢測到，確定為未經授權的編輯任務，並被忽略。
在一些實施例中，可以生成和/或傳輸與 John Doe 未經授權的嘗試操作相關的日誌條目或通知。因此，這些技術允許電子設備確認執行特定手勢的手的身份，以防止未經授權的用戶在電子設備的視野內劫持設備，或者以其它方式無意中導致設備基於該手勢執行動作。
