從鍵盤、鼠標到觸控屏，人類在不斷探索與電腦交互的新方式，以更順暢地交流、創造與完成工作。然而，這些交互方式大多需要我們主動去適應設備。那麼，是否存在一種方式，能讓設備主動適應我們，藉助機器學習和人工智慧的力量，實現更直觀、更人性化的控制呢？
電腦視覺和自然語言理解的發展，讓我們看到了這一領域的曙光。如今，我們可以用聲音與電腦交互，電腦也能像我們一樣感知世界。但若能利用手部細微動作來操控電腦，那無疑將是一次重大突破。畢竟，手是我們與周圍世界交互的重要工具之一。
這正是 Meta Reality Labs 多年來潛心探索的未來方向。基於長期的研究，該團隊堅信手腕錶面肌電圖（sEMG）將成為開啟人機交互下一個範式轉變的關鍵鑰匙。
近日，Meta 團隊在《自然》雜誌上發表了一項最新研究成果，驗證了肌電信號作為一種直觀、無縫的輸入方法，適用於大多數人。
為了打造一個既高性能又易於使用的交互接口，Meta 團隊將目光聚焦於基於肌電圖（EMG）讀取肌肉電信號的非侵入性神經運動接口。肌電位由運動單位動作電位（MUAPs）的總和產生，讓我們得以了解中樞神經系統發出的運動命令。表面肌電信號（sEMG）通過放大肌肉中的神經信號進行記錄，能提供高信噪比，從而實現實時的單次手勢解碼。
表面肌電信號的特性使其天然適用於人機接口應用。它不受電腦視覺方法所面臨的諸多問題困擾，比如遮擋、光線不足或最小運動手勢等。事實上，肌電圖在臨床領域早已得到廣泛應用，用於診斷、康復以及假肢控制。
然而，當前的肌電圖系統，包括假肢控制系統，在大規模使用和部署方面存在諸多局限。實驗室系統通常需要連接外部電源和放大器的電線，且放置位置不舒適。商業可用的肌電圖神經運動接口在控制方面也面臨諸多挑戰，如跨姿勢的魯棒性差、缺乏標準化數據、電極位移以及跨會話和跨用戶的泛化能力不足等。儘管深度學習技術在解決相關限制方面取得了一定成效，但普遍缺乏可用的肌電圖數據和低樣本量限制了其有效性。
為了驗證表面肌電信號能夠提供直觀和無縫的電腦輸入這一假設，Meta 開發並部署了強大的非侵入性硬體，用於在手腕記錄表面肌電信號。選擇手腕作為記錄部位，是因為人類主要用手與世界互動，而手腕能提供廣泛覆蓋手、手腕和前臂肌肉的肌電信號，同時具備良好的社會可接受性。
團隊研發的表面肌電信號研究設備（sEMG-RD）是一種乾電極、多通道記錄平台，能夠提取單個假定的 MUAP。它舒適、無線，能適應不同的解剖結構和環境，使用者可在數秒鐘內輕鬆穿上或脫下。
為了將表面肌電信號轉化為驅動電腦交互的命令，研究人員構建並部署了基於數千名被試數據訓練的神經網路。同時，他們還創建了自動行為提示和參與者選擇系統，以在大量不同人群中擴展神經運動記錄。此外，團隊展示了 sEMG-RD驅動電腦交互的多種能力，例如一維連續導航（類似於基於手腕姿勢的雷射筆）、手勢檢測（手指按壓和拇指滑動）和手寫轉錄等。
表面肌電信號解碼模型在未經特定訓練或校準的人群中表現出色。在離線評估中，sEMG-RD 平台在手寫和手勢檢測中的分類準確率超過 90%，在手腕角速度解碼的誤差小於 13° s−1。在線評估中，團隊在基於手腕的連續控制中實現了每秒 0.66 個目標獲取，在離散手勢中實現了每秒 0.88 個目標獲取，在手寫方面實現了每分鐘 20.9 個單詞（WPM）。
研究人員總結道：「據我們所知，這是由神經運動接口實現的最高水平的跨參與者表現。我們的方法為基於表面肌電信號的人機交互研究指明了方向，同時解決了當前和未來腦機接口
研究的諸多基本技術問題。」
這項研究為更廣泛的科學界提供了創造神經運動接口的藍圖。除了一套重要的設計規則以及硬體、實驗設計、數據需求和建模的最佳實踐外，團隊還公開發布了相關數據集，包含來自 300 多名研究參與者的 100 多個小時的表面肌電信號記錄，涉及三個不同的任務。結合之前開源的用於姿態估計和表面類型的表面肌電信號數據集，Meta 希望這能助力領域學者和研究人員加快未來工作的步伐。
研究人員最後展望道：「隨著時間的推移，表面肌電信號可能會徹底改變我們與設備的交互方式，為我們帶來甚至做夢都沒想到的人機交互新可能性。它或許會成為幾乎所有設備的完美輸入方式。」
