近日，美國專利商標局公布了蘋果一項專利申請，標題為「通過從多個可穿戴設備提取特徵進行全身姿勢估計」。
蘋果在其專利背景中指出，可穿戴設備現在在社會上很普遍，許多消費者每天都佩戴智能手錶和耳機設備。這些可穿戴設備中的許多都包括可以感知用戶運動的慣性傳感器。例如，嵌入在智能手錶中的慣性傳感器可以捕獲用戶的手臂運動，然後健身應用可以使用該運動來計算各種健身指標，如用戶在運動期間燃燒的卡路里量。一些耳部設備（例如耳機）包括用於控制音頻播放的慣性傳感器、提供用于波束成形以減少背景噪音的麥克風方向數據，以及用於固定通過耳部設備播放的空間音頻聲場的頭部追蹤。
蘋果的發明涵蓋了通過從多個可穿戴設備中提取特徵來估計全身姿勢。
在實施例中，一種方法包括用至少一個處理器從用戶同時佩戴的多個可穿戴設備獲取視點（POV）影片數據和慣性傳感器數據；使用至少一個處理器獲取捕獲用戶全身的深度數據；使用至少一個處理器從 POV 影片數據中提取 2D 關鍵點；使用至少一個處理器從 2D 關鍵點重建全身 2D 骨骼模型；使用至少一個處理器，根據深度數據生成用戶全身3D 網格模型；與至少一個處理器合併 3D 網格模型的節點與慣性傳感器數據；使用至少一個處理器，將2D 骨骼模型和 3D 網狀模型在共同參考框架中的各自方向對齊；使用機器學習模型，根據對齊的 2D 骨架模型和 3D 網格模型預測分類類型。
在實施例中，至少一個可穿戴設備是佩戴在用戶身上或耳朵中的耳機，並且至少一個可穿戴設備是佩戴在用戶手腕上的智能手錶。
在實施例中，該方法由無線耦合到可穿戴設備的中央計算設備執行。
在實施例中，從多個可穿戴設備獲得的高度計數據用於在公共參考框架中對齊 2D 骨骼模型和 3D 網格模型的各自方向。
其它實施例可以包括裝置、計算設備和非暫時的、電腦可讀的存儲介質。
所公開的具體實施方式提供了以下一個或多個優點。所公開的實施例提供了一種更準確的全身骨骼模型，可以提供對用戶運動的詳細見解，從而允許改進各種健身活動或健康監測的進度跟蹤。
例如，可以在用戶的智慧型手機或智能手錶上向用戶提供鍛煉總結，其中包括各種鍛煉的重複數據（例如，負重深蹲或俯臥撐的次數）以及趨勢數據，例如運動範圍的改善。
蘋果專利圖 1 是通過從多個可穿戴設備中提取的特徵進行全身姿勢估計的系統框圖；圖 2 顯示了用於各種鍛煉的可穿戴設備的不同位置。
蘋果專利圖 3A 是使用從多個可穿戴設備中提取的特徵進行全身姿勢估計的系統框圖；圖 3B 是機器學習（ML）模型的訓練過程流程圖，該模型使用從多個可穿戴設備中提取的特徵進行全身姿勢估計。
蘋果專利圖 4 是使用從多個可穿戴設備中提取的特徵進行全身姿勢估計的流程圖。
