在 AR/VR 體驗中，用戶的手臂和手作為觸控輸入的觸覺表面，具有顯著的速度、準確性和人體工程學優勢。近期，卡內基梅隆大學的研究團隊介紹了一種基於人工智慧的人機界面——EgoTouch，該界面允許用戶將自己的身體變成 AR/VR 控制器，從而進一步提升 AR/VR 體驗。
EgoTouch 的核心在於高精度的裸手皮膚輸入技術，這一技術僅使用標準 XR 頭顯所附帶的 RGB 攝影機即可實現。研究團隊指出，當手指觸控皮膚時，會產生陰影和局部皮膚變形。通過檢測這些變化，團隊訓練了一個機器學習模型來識別觸控輸入。
為了收集數據以訓練模型，團隊在食指和手掌上安裝了定製的觸控傳感器。這些傳感器可以在非攝影機視場下收集不同類型的觸碰在不同力量下的數據。然後，模型通過學習將陰影和皮膚變形的視覺特徵與觸碰和力聯繫起來，實現了無需人工注釋的自動識別。
研究團隊還擴大了訓練數據的收集範圍，包括 15 名膚色和毛髮密度不同的用戶，並在一系列不同的情況、活動和光照條件下收集了數小時的數據。實驗結果表明，EgoTouch 在不同的光照條件、膚色和身體運動（如走路時的輸入）下都是準確而穩健的。
EgoTouch 的檢測觸碰準確率超過96%，假陽性率約為 5%，能夠識別壓下、提起和拖拽等動作。此外，模型還可以以 98% 的準確率區分觸碰力度，這為在體表皮膚上實現右鍵點擊等功能提供了可能。
研究團隊表示，EgoTouch 的應用前景廣闊。例如，在皮膚模仿觸屏手勢方面，智慧型手機可以識別上下滾動頁面、放大、向右滑動或按住圖標等動作。為了將其轉化為基於皮膚的界面，攝影機需要識別觸摸類型和觸摸力度之間的細微差異。
值得注意的是，EgoTouch 在不同膚色、毛髮密度以及手臂和前臂的不同區域上的準確率大致相同。然而，在指關節等骨骼區域，由於皮膚變形較少，系統的表現相對較差。因此，作為用戶界面設計師，需要避免在這些區域放置元素。
此外，研究團隊還在探索使用夜視攝影機和夜間照明的方法，以支持 EgoTouch 系統在黑暗中工作。他們表示，這是第一次有一個只需使用已集成到所有頭顯中的攝影機的系統，且模型無需校準，開箱即用。
