hi188 | 編輯
毫無疑問，Vision Pro在眼球追蹤 手勢的融合交互體驗上，給AR/VR頭戴設備帶來了新突破，在用戶體驗上的提升非常明顯。
那麼，為什麼Vision Pro上這一功能會被如此值得關注呢？為了弄清楚，我們先來看看主流VR設備是如何做的。
一、主流VR和Vision Pro的差異
在此之前，很多主流AR/VR產品已經採用這兩種技術方案，只不過並未把兩種交互方式融合，這其中有幾點原因：
1，手勢方面，包括Quest等主流VR設備以手柄交互體驗為主，手勢追蹤僅作為補充式體驗，即便從功能層面可以替代大部分手柄上的按鍵和功能。
而Vision Pro沒有手柄，首選方式是通過眼球追蹤 手勢來完成，當然也提供了輔助功能（含手勢射線模式）。
2，主流VR的手勢追蹤必須將手放在攝影機FOV範圍內，使用時雙手必須微抬或舉在身體前面，時間一長就非常累，導致用戶體驗差。
而Vision Pro則擁有6顆SLAM 手勢攝影機，其中有兩顆向下的攝影機專門捕捉手垂放在腿上的視角。另外，還有兩顆斜向下的攝影機同時兼顧SLAM和手勢。甚至為了弱光環境下手勢識別準確性，蘋果還加入了兩顆紅外LED進行輔助。
這種垂直視角的攝影機，專門用於捕捉大部分時間、不抬手的時候的手勢，因為很多時候雙手應該自然垂放在腿或桌子上，符合人體工學邏輯。蘋果Vision Pro是AR/VR中的首家採用這一方案的設備，更是獨一份。
Vision Pro直接手勢
因為蘋果在開發文檔中也提到，如果使用直接手勢（雙手直接觸碰虛擬物體，比如虛擬鍵盤等），需要將雙手抬起至頭顯透鏡FOV的視野之內，儘管它的捕捉攝影機範圍夠廣，必須讓雙手在FOV可見範圍內才行。而多次/頻繁的直接手勢操作會帶來疲勞感，應儘量避免。
3，眼球追蹤方面，主流VR設備更注重VR應用內的場景，比如VR遊戲凝視交互、Avatar眼球動作等，甚至也可以用於注視點渲染提升幀率等，確實提升了遊戲體驗。
凝視的高光變化
Vision Pro凝視 手勢捏合
而Vision Pro採用的visionOS系統底層邏輯是大量2D窗口交互，包括文字選中、菜單選擇都可以通過眼球 手勢來完成，這其中眼球 手勢融合交互就非常重要。當然，PS VR2部分遊戲也提供眼球凝視菜單選項，體驗尚可。
4，產品定位和價格方面的因素。VR一體機都是在主流價位去推廣，通過SLAM攝影機同時完成頭顯定位和手柄追蹤以及手勢追蹤，因此SLAM攝影機的安裝角度主要照顧了頭顯的定位，而非手勢追蹤的體驗。
這也就導致了，包括Quest等VR設備上通過斜向下的攝影機同時來捕捉手勢，而雙手放在腿部或靠下時完全不在捕捉範圍。
而Vision Pro高舉高打，不在乎售價意在通過高規格硬體提供高規格的體驗。
當然，這裡面還沒有提到Vision Pro專門為攝影機、傳感器準備的R1晶片，就是為了低延遲處理這些視覺數據，從而實現更精準交互方案，可以說Vision Pro的交互邏輯從軟體、硬體、晶片、算法等多方位於一體，是一個鴻溝式的差異。
二、眼球 手勢和純手勢對比
由上文得知，Vision Pro和之前的VR交互方式上存在較大差異。那麼，兩種交互方式又帶來了哪些差異呢？
據了解，今年4月19日在ACM公布的一份論文「A Fitts' Law Study of Gaze-Hand Alignment for Selection in 3D User Interfaces」中，就明確提到了凝視 捏合的交互類型，並且對手勢射線的供5種交互方式進行對比。
該論文第一作者Uta Wagner來自於由丹麥奧胡斯大學電腦科學系，這裡我們將其中的2類代表「僅基於手勢射線」和「基於凝視射線 手勢捏合」的測試差異進行對比。
2-1，選擇目標測試
該研究基於菲茨定律研究進行設計，在FOV內不同深度呈現目標來進行「選擇目標測試」，如上圖，得出的結果是：
吞吐量:凝視射線 捏合(2.1bits)>手勢射線(1.4bits)；
錯誤率:無明顯差異；
物理消耗：凝視射線 捏合(2)>手勢射線(4)。
2-2，AR菜單激活和選擇測試
在進行AR菜單激活和選擇測試中，得出的結果是：
速度：凝視射線 捏合(2.5s)>手勢射線(4.6s)；
錯誤：手勢射線（1%）>凝視射線 捏合(3%)；
測試人員的喜好：凝視射線 捏合（6/16）>手勢射線（0/16）。
論文中所有測試方案
基於本論文的研究，得出的結論還有：
1，所有測試方案中，結合凝視的方案在效率更高、速度更快，始終比手勢射線表現更優秀；
2，論文中提出的凝視射線 手勢射線融合方案性能和其它相當，也比較受測試者歡迎，僅次於凝視射線 捏合；
3，視察因素對平面圖像中交互更為不利。
綜上所述，基於凝視射線 捏合（蘋果Vision Pro的方案，只不過它隱藏了凝視射線，但在UI中結合了高光等進行提示）在速度、效率上更高，也最受歡迎。同時，也表明凝視 手勢結合的交互方式在今後AR/VR交互中更具潛力。不過要說的體感反饋，當然還是現在的手柄在體驗和成本方面優勢明顯，今後在無手持設備的凝視 手勢交互時代，智能手環或智能戒指也有望成為體感反饋的重要工具。
參考：
https://developer.apple.com/cn/design/human-interface-guidelines/eyes
https://dl.acm.org/doi/10.1145/3544548.3581423
https://www.youtube.com/watch?v=XiCkV3eaHOY
https://twitter.com/KenPfeuffer/status/1674198938650390528
每天五分鐘，輕鬆了解前沿科技。
——
