康奈爾大學面向未來交互的智能電腦接口(SciFi)實驗室推出了 PoseSonic,這是其在配備聲納的可穿戴設備方面的最新創新。
PoseSonic 採用普通眼鏡的形式,但結合了微型聲納技術,能夠利用人類不可聽的聲波和人工智慧來對用戶的上半身運動進行 3D 追蹤。
研究人員認為,隨著 PoseSonic 的進一步發展,它未來有望用於增強現實和虛擬現實。
康奈爾大學的 Saif Mahmud 對 PoseSonic 在自然環境中檢測精細人類活動的潛在應用表示興奮。他強調了身體感應技術的作用,如 PoseSonic,在培養對個人行為的正念。
這項研究名為《PoseSonic:3D Upper Body Pose Estimation Through Egocentric Acoustic Sensing on Smartglasses(通過智能眼鏡的自中心聲學傳感進行 3D 上半身姿勢估計)》,團隊強調了他們研究小組方法的開創性,通過可穿戴設備使用無聲聲學和人工智慧進行身體姿勢追蹤。
PoseSonic 的設計特點是兩對微型麥克風和揚聲器,在眼鏡鉸鏈安裝,揚聲器發出的無聲聲波從上半身反彈並返回到麥克風,形成回聲輪廓圖像。
設備使用定製的深度學習模型來估計九個身體關節的 3D 位置,包括肩膀、肘部、手腕、臀部和鼻子。團隊採用一種跨模態監督策略來訓練模型,並使用同步的 RGB 影片幀作為 ground truth。值得注意的是,PoseSonic 可以在不需要初始訓練的情況下有效地運行。
團隊表示,PoseSonic 代表了一個顯著的進步,超越了目前的可穿戴設備,目前的可穿戴設備往往依賴於微型攝像頭,構成潛在的不實用性和隱私擔憂。
該團隊報告說,相關技術以最低的功耗運行,大約是可穿戴攝像頭的十分之一,有助於增強 PoseSonic 的緊湊性,適合日常使用。此外,研究人員強調,與可穿戴式攝像頭相比,聲納技術減少了人們對隱私的擔憂。
總的來說,PoseSonic 將聲納技術和人工智慧相結合,為可穿戴設備的發展提供了一個很有前途的方向,為身體姿勢跟蹤提供了一個更實用、更注重隱私的解決方案。