微軟指出,雖然語音識別和眼動追蹤可以替代免提技術以作為電腦輸入方式,但這些技術也有一定的局限性。為此,微軟新專利顯示了用戶使用舌頭進行數據輸入的下一代交互形式。該方法支持接收從慣性傳感器傳來的一個或多個信號,檢測特定的舌頭動作,並輸出經過訓練的數據。
另一個示例包括一個方法或技術,該方法或技術可以包括指示用戶執行特定舌頭姿勢並在用戶執行特定舌頭姿勢時測量來自慣性傳感器的一個或多個運動信號。該方法或技術還可包括訓練機器學習模型,以使用一個或多個運動信號來檢測特定舌頭姿勢並輸出訓練後的機器學習模型。
另一個示例包括一種系統,該系統包括慣性測量單元、處理器和存儲介質。慣性測量單元可配置運動信號,存儲介質可以存儲指令,當處理器執行這些指令時,使系統至少基於運動信號檢測舌頭動作,並至少基於舌頭動作控制應用程序。
微軟專利圖 2A-2D 示出了各舌頭姿勢的側視圖。微軟專利圖 4 說明了示例應用場景#400,該場景傳達了如何組合各種傳感模式以允許用戶控制應用程序。
在這裡,用戶看到一個虛擬鍵盤 #401,用於在文本輸入框 #402 中輸入文本。用戶可以用眼睛掃描虛擬鍵盤的各個字母。當用戶掃描時,可以使用一個或多個傳感器進行視線跟蹤來確定用戶的視線指向哪個字母,並且可以在視覺上區分該字母(例如,粗體、放大等),以告知用戶他們當前瞄準的字母。
微軟指出,文本輸入只是從舌頭姿勢接收輸入的眾多類型的應用之一。例如,遊戲、飛行模擬器、地圖應用程序、消息應用程序和緊急呼叫可以使用舌頭姿勢進行全部或部分控制。