一項最新研究發現，通過無線連接AI系統的電子戒指，能夠將多種手語翻譯成文字。
韓國首爾延世大學電氣與電子工程系副教授Yu Ki Jun表示："我認為這是讓手語翻譯系統變得更加實用、輕便、適合真實環境使用的重要一步。"
全球目前使用的手語超過300種，許多研究項目正致力於開發翻譯設備，幫助不懂手語的人與聽障人士進行溝通。然而，這些項目在推進過程中遭遇了諸多挑戰。
例如，部分項目採用攝影機與電腦視覺算法來識別手勢，但這類方案通常只能在固定攝影機的受控環境中使用，對光線變化和其他干擾因素較為敏感。
另一些設備則依賴可穿戴傳感器，通過檢測手部動作或與肌肉活動相關的電信號來識別手語。其中，智能手套是一種常見的可穿戴傳感器，但它會積聚熱量和水分，長時間佩戴令人不適。此外，手套上的固定傳感器無法適應不同用戶在手掌大小、手指長度和關節位置上的個體差異，導致識別準確率下降。許多可穿戴傳感器還需要通過有線方式連接電腦，嚴重影響手部動作的靈活性。即便部分設備最終實現了無線傳輸，各傳感器之間往往仍通過有線方式匯聚到同一個發射器。
如今，研究人員開發了一套電子戒指系統，每枚戒指均可將動作數據無線傳輸至處理設備。相較於手套，戒指允許傳感器靈活定位，從而更好地適應不同用戶的手部特徵，而無線連接也讓手部動作不再受到任何限制。
Yu Ki Jun表示："藍牙低功耗片上系統已發展到可以將完整的無線通信協議棧、電源管理電路和傳感模組集成在一塊柔性基板上的水平，體積小到足以製成戒指佩戴。"
在此次研究中，研究人員分析了每根手指在手語動作中的貢獻程度，發現有七根手指起到了關鍵作用。因此，該系統僅採用七枚戒指，以減少所需的硬體數量。
每枚戒指均配備加速度計作為慣性傳感器，能夠同時檢測靜態姿勢和動態手部運動，從而捕捉手語中靜態與動態成分之間複雜的過渡變化。此外，研究人員有意避免使用生物電信號，因為這類信號因人而異，需要為每位用戶進行大量校準。
在戒指的研發過程中，機械可靠性是一大挑戰。研究人員最初採用直線型銅互連結構，但在反覆彎折後幾乎斷裂。為此，他們改用蛇形圖案的互連結構，以承受反覆的彎曲形變。
研究團隊還開發了一套深度學習系統，用於從手部動作中識別手語。該系統不僅能識別訓練階段兩名參與者的手語，還能識別五名未參與訓練的人員的手語，表明這套系統具備一定的通用性，無需針對每位用戶進行繁瑣的適配。
在對五名未參與訓練的受試者進行的實驗中，該系統對100個常用美國手語詞彙和100個常用國際手語詞彙的識別準確率分別達到88.3%和88.5%。相比之下，此前大多數手語翻譯系統的詞彙量不足50個。
延世大學電氣與電子工程系教授Dosik Hwang對此謹慎表示："200個詞彙相較於以往的無線系統而言是一大進步，但與包含數千個手勢的完整手語詞彙庫相比，仍只是一小部分。我不想誇大現有系統在開放詞彙、真實對話場景中的實際能力。"
該系統不僅能識別單個孤立詞彙，還能從連續手語動作中翻譯完整句子，研究人員認為這有望支持實時翻譯應用。
從長遠來看，Yu Ki Jun表示："我們的目標是讓系統能夠與智慧型手機等日常設備配合使用，無需專用外部設備。戒指可以將手語信號無線傳輸至移動終端，由設備自動翻譯並實時顯示，從而使這項技術更加便攜、普及，真正融入日常溝通。"
然而，Hwang也指出了現階段最重要的局限性："我們的系統將手部動作轉化為文字，但尚未涵蓋面部語法、口型、身體姿態和空間語法，而這些在手語中都具有重要的語法意義。"Yu Ki Jun補充道，如何將上述要素"融入一個無縫銜接、低功耗的架構，同時保持現有設計的輕便性"，將是未來面臨的重要挑戰。
下一步，研究團隊計劃擴大訓練數據規模，納入更多參與者、更大的詞彙量以及更多樣的手語風格和地區方言。Yu Ki Jun提到："鑑於我們的機構背景，韓國手語將是順理成章的下一步研究方向。"
研究人員還希望通過進一步的小型化和功耗優化，將戒指的連續使用時長從目前的近12小時延長至全天佩戴。Yu Ki Jun表示："一個關鍵優先事項是將處理流程從外部硬體（如筆記本電腦）遷移至設備端邊緣計算（如手機）。這一轉變不僅是實現真正移動性的必要條件，也對保護用戶隱私、降低自然對話中的延遲至關重要。"
Hwang及其團隊計劃與聽障社區組織展開合作，共同推進設備研發。他表示："我們相信，通過納入真正的使用者，這項技術在功能表現和社會融合兩個層面都將得到顯著提升。"
除手語翻譯之外，Hwang表示這種新型戒指還具有廣泛的應用潛力："我們看到這項技術在手部康復監測、神經系統疾病的精細運動評估，乃至沉浸式虛擬現實和增強現實交互界面等領域都有直接的應用前景。通過在手語這一複雜領域驗證其有效性，我們實際上已對系統進行了全面的壓力測試，為未來眾多生物醫學和交互應用奠定了基礎。"
該研究成果已於5月1日發表在學術期刊《Science Advances》上。
Q&A
Q1：這款AI手語翻譯戒指的識別準確率有多高？
A：在對五名未參與系統訓練的受試者進行測試時，該系統對100個常用美國手語詞彙的識別準確率達到88.3%，對100個常用國際手語詞彙的識別準確率達到88.5%。相比之下，此前大多數手語翻譯系統支持的詞彙量不足50個，而該系統已實現200個詞彙的識別，是一項顯著進步。
Q2：這套手語翻譯戒指為什麼選用7枚而不是10枚？
A：研究人員通過分析發現，在手語動作中起關鍵作用的手指共有七根，並非全部十根手指都對手勢識別有重大貢獻。因此，系統採用七枚戒指的設計，在保證識別效果的同時，有效減少了所需的硬體數量，使整體方案更加輕便實用。
Q3：手語翻譯戒指目前有哪些局限性？未來會如何改進？
A：目前該系統僅能將手部動作轉換為文字，尚不支持識別面部語法、口型、身體姿態和空間語法等在手語中同樣具有語法意義的要素。此外，系統目前仍依賴外部硬體處理數據，連續使用時長約為12小時。未來團隊計劃擴大訓練詞彙量、引入更多手語風格，並將數據處理遷移至手機等移動設備，實現全天候佩戴和實時翻譯。
