最近蘋果接連更新了中文版「人機界面指南」,推出visionOS SDK和1.0 Beta系統,讓我們從中進一步了解到更多資訊。
在本文中,我主要通過WWDC公開課以及人機界面指南,還有visionOS模擬器中了解到的一些不容易被大家關注到的資訊,供大家參考。
1,數碼旋鈕
支持的功能包括:
- 調整音量(旋轉);
- 調節透視程度(旋轉);
- 居中顯示內容/重置視角(長按);
- 退出App進入主螢幕;
- 強制退出App(同時按住數碼旋鈕和頂部按鈕2秒);
- 開啟輔助功能(按3下);
- 第一次佩戴時校準眼球數據(長按,直至出現提示);
- 重新校準眼球和手部追蹤(按4下)。
這裡面也有一個疑問就是,蘋果將沉浸模式切換功能放在頭顯的按鈕,如果每次切換都需要手動旋轉一下,不僅繁瑣而且體驗上還會有割裂感。我更希望是在系統快捷設置中也加入這個功能,通過手勢或語音進行控制。
2,沉浸與透視
這裡還是在囉嗦一下,因為概念比較多,剛開始接觸容易混淆。
visionOS提供了兩種類型的應用:Windows(2D窗口)和Volume(同時會支持2D窗口和3D內容,更適合3D)。
visionOS透視調節
同時,visionOS還有兩種虛擬空間狀態:共享空間(Shared Space),支持同時運行多個應用,可共存;全空間(Full Space),獨立顯示1款應用。
全空間模式並非一種默認狀態,而是應用可選狀態,可根據應用不同場景進行開啟或退出,意味著一款應用可以在A場景是共享空間,而在B場景處於全空間,一旦進入全空間系統會隱藏其它所有應用的窗口和內容。
沉浸式三種類型
另外,visionOS還提供了另一個參數,也就是沉浸式類型,它有三種:
- mixed:虛擬內容和現實環境融合顯示。
- full:全虛擬模式,類似於傳統VR應用。
- progressive:半沉浸,相當於上面兩種模式的混合,即可以提供沉浸動態效果,也可以顯示真實環境。
visionOS照片-全景照片
上圖中蘋果展示的開啟全景照片場景時,就是progressive的類型,而在看其它照片或未進入全景照片預覽界面時,則處於mixed模式。
蘋果在文檔中提到:visionOS中大多數應用啟動都是一個窗口,根據需要打開不同的場景類型。要為應用的每個關鍵場景找到合適的、最低沉浸度環境(即同一App可在不同場景實現不同沉浸度),不要一味的追求全沉浸場景。由此也能看出,蘋果Vision Pro追求的是AR和MR體驗,也為今後OST的AR眼鏡做好重要基礎。
這裡單獨講一下半沉浸模式,類似於發布會上講到的瀏覽全景照片的效果,就是呈現一個180度半包圍的沉浸,這時依然可以看到上下邊的現實透視環境,而且你左右移動時這個半沉浸畫框裡的內容也對應的移動,整體上視覺沉浸感超級棒。
在App開啟時默認進入共享空間(無論是窗口應用還是沉浸應用都是如此),共享空間中的App可以轉到全空間,從而只運行1款應用。也就是說,Vision Pro無法像傳統VR可以直接進入全沉浸模式,只能之後手動調整。
從虛擬切換到顯示的過渡動畫
從上述動畫來看,從虛擬場景切換到顯示場景中時,顯示場景的拍攝的畫面也會有一定程度的縮放(看白色背景牆的邊緣縮放),這一點還不確定是否是渲染效果。考慮到蘋果的宣傳片通常會與實際場景相契合,因此猜測Vision Pro也具備這一功能,當然這一點也充分利用了VST的特性。
深度感知:用戶依賴距離、遮擋和陰影等視覺提示來感知深度和理解周圍。系統自動使用色溫、反射和陰影等視覺效果來幫助用戶感知虛擬內容的深度。
為了保證虛擬對象的視覺舒適性,要放在至少距離頭顯1米遠處,這一點和VR應用應用開發邏輯相同。
3,手勢交互
手勢分為直接手勢、非直接手勢。
- 直接手勢:包括虛擬鍵盤輸入,可以用手直接觸碰虛擬物體進行交互;
- 非直接手勢:融合眼球追蹤,簡單的捏合進行選中、拖拽等動作;
- 自定義手勢:可以根據開發者需求,創建自定義手勢交互,比如比心來觸發關鍵操作等。
大部分情況建議非直接手勢,這樣的話手可以在頭顯下方就可以結合眼球追蹤使用。否則,雙手需要移到頭顯FOV視野內,比如虛擬鍵盤打字類就是直接手勢,長時間使用直接手勢易導致疲勞等。
自定義手勢
自定義手勢為開發者提供了更多可能性,尤其是觸發一些關鍵交互場景時,會加分不少。不過也需要注意:自定義手勢大部分需要手臂抬起,連續多次使用會帶來肌肉或關節的疲勞感。
4,眼球交互
大部分情況,眼球注視提供高亮(或懸停效果)提示用戶焦點位置,並結合非直接手勢進行交互。少部分情況下,眼睛注視可以實現頁面或菜單展開等交互。
要注意的是:避免在較大的範圍內/多個深度之間,連續或多次讓用戶進行眼睛調整。
5,輔助模式
輔助模式下,visionOS還提供了多種交互類型:手部射線/指針、頭部射線/指針、放大鏡。
輔助功能-手勢射線
蘋果提到一點,開發者應該始終向用戶提供多種方式來與你的App交互。其中,基於手部、頭部的射線就是給眼球追蹤不便的用戶,進行輔助交互的方案。
放大鏡功能,有點類似於現實中的放大鏡,可以放大空間中的顯示內容。
6,定位空間
visionOS目前默認以站姿、坐姿為交互方式,並沒有主推大範圍移動的內容和玩法。蘋果建議:讓用戶通過極少量或無需身體活動來使用你的應用。
用戶處於全沉浸式體驗中時,避免鼓勵其移動,並且有多種措施避免碰到現實中的物體。此時,系統會定義一個以頭部為原點的圓形不可見區域:
- 當用戶頭部移動超過原點1米時,內容自動變為半透明,幫助用戶確認方向回到原點或重置原點;
- 當用戶頭部移動超過原點1.5米時,應用自動暫停並開啟全透視,避免撞到物體;
- 當用戶移動過快或靠近現實中的物體時(系統自動檢測),應用也會自動暫停並開啟全透視。
由此可見,蘋果給全沉浸VR遊戲還準備的空間只有直徑為2米的圓形空間(以用戶頭部為中心),超出即半透明顯示,再超出0.5米後應用會自動暫停。所以,給Vision Pro開發VR遊戲得避免這一點。
7,多人體驗
Vision Pro中最吸引人的還是「空間Persona」虛擬形象了。比如FaceTime通話時,可以顯示出每個Vision Pro用戶的虛擬形象。
而到了多人聯機時,可以同時和非Vision Pro用戶之間跨平台聯機,系統內置共有三種Persona 模板:並排式、圍繞式和會話式。
多人體驗-三種模式
- 並排式簡單就是幾個人並排在一起觀看一塊大屏、看板。每個人可以共享自己的螢幕或文件等;
- 圍繞式就像線下聚會圍在一起討論,適合多人查看3D模型;
- 會話式像兩種結合,幾個人圍繞在一起,不過中間沒有3D模型,取而代之的是旁邊的大屏/看板。
參考:Apple