VR設備能為用戶構建沉浸式虛擬場景，但設備遮擋用戶上半張面部的特性，一直是面部情緒識別技術落地VR場景的核心瓶頸。
針對這一行業痛點，德國弗勞恩霍夫海因里希·赫茲研究所聯合柏林洪堡大學的科研團隊，創新研發出多模態融合識別方案，通過結合下半臉視覺畫面與上半臉肌電信號，成功攻克頭顯遮擋帶來的識別難題，精準實現七種人類情緒的分類識別。
為完成技術研發與實驗驗證，研究團隊搭建了業內首個VR場景同步多模態數據集。實驗招募20名平均年齡27.4歲的受試者參與測試，依託PICO Neo 3 VR頭顯、專業肌電採集設備與多角度工業相機，同步採集實驗數據。
設備可精準記錄用戶上半臉七組核心面部肌肉的肌電信號，同時從三個角度捕捉下半臉高清影像，全方位收錄VR沉浸式場景下的用戶面部狀態數據。
實驗數據顯示，這套融合ResNet-50視覺編碼與RBF核肌電錶征的晚期融合架構表現亮眼，宏平均F1分數可達51%，相較純視覺識別、純肌電識別兩種傳統方案，性能實現大幅躍升，最高可提升10個百分點。
團隊還對比兩種肌電特徵處理方式，證實核化處理的肌電數據更適配多模態融合場景，常規直接處理特徵則更適合單一識別模式。
該技術的核心價值在於彌補了上半臉視覺資訊缺失的短板。針對依賴眉眼狀態的情緒，識別精度提升尤為顯著，其中驚訝情緒識別準確率從65%升至84%，悲傷情緒從17%大幅提升至49%；而主要依靠嘴部特徵的快樂情緒，優化幅度相對有限，進一步印證了肌電信號的補全作用。
不過研究也指出技術現存短板，模型跨人群泛化能力較弱，受樣本規模、個體面部肌肉差異、實驗表情與真實交互表情偏差影響，不同受試者的識別效果差距明顯。未來隨著數據集擴容與算法優化，這項技術有望推動VR交互、虛擬社交、沉浸式心理監測等領域實現智能化升級。
