幾周前，我看到了最高質量的混合現實頭戴設備，可以通過手勢控制和眼動追蹤來控制操作界面，這台設備就是蘋果的Vision Pro。
但就在蘋果Vision Pro發布幾個月前，我看到了一些更瘋狂的東西：
幾個夾子夾在我的耳垂上，一頂帶有橡膠尖端傳感器的頭戴設備嵌入到我的頭髮中，一副面罩低垂在我的眼前。
然後，突然間，我在虛擬現實世界中看到了我自己的腦電波，並且只需微小的面部肌肉運動就能移動周圍的物體。
那是我在體驗OpenBCI的Galea頭戴設備時候的感受。
AR/VR的正在穩步發展，但如何進行更自然的人機交互依然是一個不小的挑戰。目前，它正在從手柄這樣的物理控制器轉向手部和眼部追蹤。
但與此同時，人機交互還存在更多可能性，例如通過腦神經技術，即通過腦機接口來進行控制。
我甚至不知道該如何描述我體驗Galea頭戴設備的經歷，因為它是一個相當前沿的設備，而我在神經技術方面知之甚少。
OpenBCI是一家位於布魯克林，致力於構建非侵入式腦機接口技術研究的創業公司，他們將自己的感知系統改裝成了一款名為Galea的混合現實頭戴設備，該產品將於今年晚些時候正式上市。
我在OpenBCI位於布魯克林的辦公室體驗了Galea的原型機，對腦機接口在AR/VR中的應用方式感到好奇，我也在思考我們與電腦的交互在未來可能發生怎樣的改變。
一種新的AR/VR傳感平台
我嘗試過更簡單的腦機接口傳感套裝，是來自NextMind公司（NextMind在去年已經被Snap收購）的，專注於特定視覺任務的腦機接口設備。
NextMind允許我專注於特定的位置來觸發相應的動作，這種感覺就像是我在用我的大腦來電機鼠標，但是OpenBCI的Galea是各種傳感器的完美融合：EEG、EMG、EDA、PPG，以及眼動追蹤。
EEG，腦電圖，用於測量大腦的活動情況。OpenBCI使用帶有橡膠帽的傳感器進行測量，這些傳感器靠近我的頭皮，就像我在2021年嘗試過的NextMind一樣，電極在乾燥時工作，但需要避免過多受到頭髮靜電干擾，以獲得良好的腦電信號。
EMG，肌電圖，用於測量神經和肌肉的活動情況。在Galea設備上，傳感器位於穿戴該設備的人們的面部周圍，用於追蹤用戶的額頭、眼睛和臉頰。當我微微動一下面部肌肉時，讀數就會發生變化。
但與Quest Pro上的面部攝影機不同的是，後者是通過尋找特定的物理運動來實現面部追蹤，Galea是基於電信號進行面部追蹤的。
理論上，你可以進行非常微小的運動，更像是簡單的神經衝動。Meta還正在開發用於之後VR設備的基於EMG的腕帶。但那種腕帶只能通過手腕測量手指和手的運動。
EDA，皮膚電信號，即對通過電信號對汗液進行監測。它經常用於應激感知：Fitbit在其Fitbit Sense智能手錶中內置了EDA傳感器，用於應激測量。OpenBCI的EDA傳感器位於頭戴式耳機的前額部分。
PPG，心電圖，即光學心率監測，很多智能手錶上已有了這個功能。PPG是通過Galea頭戴設備位於前額上的傳感器進行測量的。
在我體驗Galea時，是通過PPG耳夾來進行PPG信號監測的。
Galea傳感器陣列與現有的VR設備Varjo XR-3（或更低成本的Varjo Aero）結合在一起，並連接到PC上進行數據分析和軟體運行。
Varjo高解析度顯示屏和VST技術為OpenBCI的傳感器在VR/AR類場景中提供了許多應用可能性。OpenBCI的傳感器陣列可以獨立於VR頭戴式耳機工作，或與其它設備連接。由於其處理能力和獨立功能，蘋果Vision Pro也可能成為OpenBCI的理想平台。
根據OpenBCI的首席執行官兼聯合創始人Conor Russomanno的說法，開發類似蘋果Vision Pro或未來AR/VR平台是完全可能的，而這也正是OpenBCI認為的潛在機遇。
打開通往虛擬世界的大門
OpenBCI的傳感器陣列帶來了更多的交互可能性。
最近，OpenBCI與患有脊髓性肌萎縮症的黑客Christian Beyerlein合作，他使用OpenBCI的傳感器陣列，通過面部肌肉脈衝來控制無人機。這個演示是在一個TED演講中進行的展示，展示了腦機接口如何打開虛擬世界的大門。
我體驗了一個名為《貓咪奔跑者》的基於肌電圖控制的遊戲。我用面部肌肉的微小動作將卡通人物前後移動，這些動作被Galea面罩上的肌電圖傳感器識別到。這個遊戲與Meta一直在使用的神經輸入手環技術進行測試和演示類似，我去年秋天在Meta的雷蒙德總部虛擬現實實驗室看到過類似的場景。
但是Meta正在研究的是手腕上的運動感知，而OpenBCI的Russomanno認為，當傳感器用於頭部時，由於不會干擾基於攝影機的手部追蹤，可以帶來更好的使用體驗。
肌電圖技術旨在感知電脈衝，即使沒有肌肉運動，這種微妙的關係需要一段時間來完善，包括傳感器、算法和人類輸入之間的關係。OpenBCI的多種類型的傳感器可以提供大量數據，可以指示未來的研究方向或新的接口。它們還可以提供關於使用虛擬現實和增強現實對大腦或注意力的影響的反饋。已經有過在VR設備上使用傳感器研究認知過程的先前努力，包括搭載心率傳感器的HP Omnicept和已經在VR設備中得到廣泛應用的眼動追蹤功能。
另一個使用基於腦電圖傳感器的演示是創建一個冥想「共感房間」，我的不同腦波狀態被轉化為環境光的顏色。我的腦波改變了我看到的顏色，我嘗試以不同的方式集中注意力，以展現不同的色。
一個超越VR的傳感平台
OpenBCI的Galea實際上是一款AR/VR設備，但它與Varjo硬體的接口只是該設備功能的一部分。
Galea的傳感器陣列也可以單獨使用，當我想到一個未來可與我們身上其他可穿戴設備互動的新世界時，這讓我對它產生了更多興趣。
在這個世界中，我們的日常互動可能會通過更先進的傳感器得到增強，雖然這還有很長的路要走，但OpenBCI在Galea中組合的一些傳感器已經有了萌芽的跡象。
現在，說服人們相信AR/VR和可穿戴技術的價值已經很困難了，改進我們最終與空間計算或現實世界進行交互的方式可能是VR/AR進化為更有意義的設備的一個方向。
