近日，康奈爾大學 Ann S. Bowers 電腦與資訊科學學院的研究人員開發了一款名為 EchoWrist 的智能手環設備，可以使用 AI 驅動的無聲聲波連續檢測手部位置，以及手部與之交互的物體。
潛在的應用領域包括追蹤 虛擬現實VR 系統的手部位置、用手勢控制智慧型手機和其他設備，以及了解用戶的活動。例如，烹飪應用程序可以在用戶切碎、測量和攪拌時講述食譜。
EchoWrist 技術足夠小巧，可以安裝在商用智能手錶上，並且在標準智能手錶電池上可以運行一整天。該技術是未來交互智能電腦界面 (SciFi) 實驗室最新的低功耗、身體姿勢追蹤技術之一。
康奈爾大學資訊科學助理教授 Cheng Zhang 表示：「手部動作是非常重要的基本動作，幾乎所有的活動都涉及手部，這款設備提供了一種解決方案，可以實現低成本且非常精確的連續追蹤手部姿態。」
Chi-Jung Lee 和 Ruidong Zhang 都是資訊科學領域的博士研究生，也是該研究的共同第一作者，他們將在 5 月 11 日至 16 日舉行的電腦協會人機交互因素會議 (CHI'24) 上發表題為「EchoWrist: 使用低功耗主動聲學感應技術在手環上實現連續手部姿態追蹤和手-物體交互識別」的研究。目前，該研究已在知名預印版論文平台 arXiv 上發表。
EchoWrist 還允許用戶通過手勢控制設備並進行演示。
Chi-Jung Lee 表示：「我們可以通過允許單手交互來豐富我們與智能手錶甚至其他設備的交互，還可以遠程控制智慧型手機，單手控制 PPT。」
Ruidong Zhang 表示：「這是實驗室首次將技術擴展到身體之外，EchoWrist 不僅追蹤手部本身，還追蹤物體和周圍環境。」
該設備使用安裝在手環頂部和底部的兩個微型揚聲器，向手和任何手持物體發射無聲聲波。附近的兩個麥克風接收回聲，由微控制器解釋。已個比 25 美分硬幣還小的電池為設備供電。
研究團隊開發了一種受大腦神經元啟發的人工智慧模型，稱為神經網路，根據產生的回聲解釋用戶的手部姿態。為了訓練神經網路，他們比較了用戶做出各種手勢的回聲曲線和影片，並根據聲音信號重建了 20 個手關節的位置。
在 12 名志願者的幫助下，研究人員測試了 EchoWrist 檢測杯子、筷子、水瓶、鍋、平底鍋和水壺等物體以及飲水、攪拌、去皮、擰動、切菜和傾倒等動作的能力。總體而言，該設備的準確率為 97.6%。此功能使用戶能夠遵循追蹤廚師進度的交互式食譜並讀出下一步，這樣廚師可以避免弄髒螢幕。
與 SciFi 實驗室之前使用攝像頭的 FingerTrak 手部追蹤技術不同，EchoWrist 要小得多，消耗的能量也要少得多。共同作者、康奈爾大學 Bowers CIS 和多學院設計技術系教授 François Guimbretière 表示：「聲學追蹤的一個重要額外好處是，它確實增強了用戶的隱私，同時提供了與攝像頭追蹤相似的性能水平。」
該技術可用於再現 VR 應用的手部動作。現有的 VR 和 AR 系統使用安裝在頭戴式設備上的攝像頭來完成這項任務，但這種方法會消耗大量電力，並且一旦手離開頭戴式設備的有限視野就無法追蹤。
Ruidong Zhang 表示：「這項技術將實現的最令人興奮的應用之一是允許人工智慧通過追蹤和解釋日常活動中的手部姿勢來理解人類活動。」
然而，研究人員指出，EchoWrist 仍然難以區分形狀高度相似的物體，例如叉子和勺子。但該團隊相信，隨著他們改進技術，物體識別將得到改善。通過進一步優化，他們相信 EchoWrist 可以很容易地集成到現有的現成智能手錶中。
