近年來,越來越多VR頭顯開始嘗試結合眼球追蹤、手勢追蹤等生物識別技術,甚至在一些VR社交場景,也在探索將Avatar與面部識別功能結合。可以想像,未來生物識別與AR/VR等穿戴技術的關係將越來越緊密,儘管現階段相關硬體在體積和集成方面還不夠成熟,但未來隨著傳感技術升級,將有望與AR/VR更好的結合。
在VR領域,已經採用了幾種主流的生物傳感技術,比如手勢和眼球追蹤攝影機、心率監測模塊,或是用EMG識別手勢、EOG識別注視點等等。而對於AR來講,由於眼鏡形態並不是像VR那樣貼合人臉,因此不適合基於接觸式傳感的方案。
近期一家名為Emteq的英國公司,公布了一種非接觸式的可穿戴情緒捕捉眼鏡:OCOsense。據悉,Emteq成立於2015年,一直專注於AR/VR、可穿戴設備的情緒捕捉研究方案。
現有方案:emteqPRO(適用VR)、OCOsense(適用AR)
比如,幾年前就曾報道該公司的VR頭顯面部識別方案Faceteq(現升級為emteqPRO方案),特點是:利用EMG、PPG、IMU、眼球追蹤(可選)等設備,識別包括:心率、心率變異性和呼吸頻率、面部動作/表情、瞳距,然後利用機器學習技術來分析用戶的注意力、情緒等。
emteqPRO
emteqPRO包括一套集成7個電極觸點的面罩(上圖中間),可以單獨使用。也有可以集成到PICO Neo3 Pro、HTC Vive Pro Eye設備上版本,來與VR搭配使用。
emteqPRO
這7個電極位於特定的面部肌肉位置,通過捕捉面部肌肉激活來識別表情,如:額肌、眼輪匝肌、顴肌、皺眉肌等等。很顯然,這是一套適合於VR設備的接觸式識別方案。
OCOsense眼鏡
最新公布的OCOsense方案,特點是過眼肌力圖傳感器、壓力傳感器來識別面部肌肉變化,來識別面部表情和情緒。最大的變化是無接觸式傳感器方案,這對未來輕量化AR眼鏡應用有重要意義。
Emteq宣稱,OCOsense是世界上首款可穿戴的面部表情和情緒分析眼鏡,它的主要功能是識別用戶的表情變化,並轉化為控制移動設備的信號。其優勢是使用簡單、一體化設計,可實時追蹤、識別並標記用戶對AR或現實場景的反饋。
細節方面,OCOsense採用了自研的OCO傳感器陣列,基於非接觸式眼肌力識別原理,英文全稱為non-contact optomyographic(OMG),指的是一種用於監測肌肉活動的技術。OMG的基本原理是利用主動式近紅外光學傳感器向皮膚表面發射信號,並測量信號反射回的變化。
另外,OCO傳感器是光學非接觸式傳感器,可以讀取3個維度的面部運動,提供比一般基於相機的解決方案更高解析度的信號。另外,EMG電極需要與皮膚牢固且持續接觸,以達到可接受的信噪比,這在眼鏡形式中是不切實際的。相比之下OCO傳感器基於光學原理,不需要接觸皮膚,可在人臉4毫米到30毫米距離內工作。
硬體方面,OCOsense搭載了9軸IMU,可添加相機模塊,搭載Arm Cortex處理器,支持藍牙低功耗5.0,配備RGB LED指示燈,以及體感振動馬達。除了硬體外,Emteq還設計了情感人工智慧引擎,來從表情識別情緒。
Emteq科研人員指出,如今AR/VR等穿戴設備可集成多種傳感器,比如加速度計、環境光傳感器、溫度傳感器、濕度傳感器、氣壓計、陀螺儀、磁力計、距離傳感器等等。此外,也在探索與生物傳感器結合的可能,比如ECG、EEG、EMG、EGO、心電圖等等。
通常,人臉通過面部肌肉激活和結構變化來傳遞情緒、精神狀態和行為意圖,進而構成表情。人的表情隱藏了豐富的資訊,因此從1872年以來,面部表情行為研究一直是一個活躍的課題。
對於OCOsense來講,除了識別表情和情緒反應外,它還有多種用途。比如在技術驗證過程中,科研人員展示了三種應用場景:控制影片(放大、縮小、截屏、改變播放速度、前進和後退)、接打電話、玩遊戲,未來還預計用於遠程心理健康監測、情商培訓、改善情緒障礙、康復治療,以及控制義肢等人機交互場景。
總之,OCOsense這種非接觸式面部追蹤方案比基於攝影機的方案更好的保護隱私,不會直接對人臉拍照,而只是分析面部肌肉變化。而且,攝影機方案依賴於光源,需要在光線良好的環境下使用,而OCOsense則不用。而且在劇烈運動時,攝影機方案的準確性可能無法保證。參考:Emteq