蘋果近日宣布,visionOS 2 將於 9 月 16 日公開發布,將引入新功能和多項改進。
visionOS 2 最初於 6 月在 WWDC24 大會上公布。自那時起,蘋果已發布了 9 個測試版本,候選版本也已於日前發布。
菜單手勢
visionOS 2 增加了兩個系統手勢。現在,張開手掌並將食指捏到拇指上會調出應用啟動器(與 Meta Quest 頭顯上的菜單手勢相同)。再次將手掌朝下會顯示一個手鎖定資訊欄,其中包含時間、音量、電池百分比和連接狀態。捏合將打開控制中心。
該更新還允許用戶重新排列主螢幕上的應用,之前只能強制按字母順序排序,無法進行自定義。
將圖像轉換為空間照片
visionOS 2 可以將任何 2D 圖像轉換為空間照片,並使用「高級機器學習」使其成為 3D 圖像。
超寬 Mac 虛擬顯示器
Mac 虛擬顯示功能將得到重大改進,將顯示屏擴展為虛擬超寬螢幕,相當於兩個 4K 顯示器合在一起。蘋果表示,這基於眼動追蹤動態注視點技術驅動實現。
此功能需要基於 macOS 未來版本,目前測試版或候選版本中尚未提供此功能。
手勢追蹤和場景理解的改進
visionOS 2 帶來了兩項手部追蹤改進和兩項場景理解改進。
在 visionOS 1 上,系統支持 30Hz 手部追蹤姿勢。而在 visionOS 2 上,手部追蹤姿勢以顯示刷新率呈現,通常為 90Hz。
另一項手部追蹤改進是預測,這對開發者來說是可選的。啟用預測可提供推斷的手部姿勢,表示在顯示每一幀時手部應該在哪裡。這可以顯著降低有效延遲,但會犧牲一些準確性。
藉助 visionOS 2,Vision Pro 現在具有房間追蹤功能。該系統將為開發者提供每個房間牆壁和地板的精確幾何形狀,甚至支持非矩形牆壁。進入新房間時,系統將通知開發者並開始僅為新房間描繪幾何形狀。
除了牆壁和地板,visionOS 2 還改進了平面檢測。相比之下,visionOS 1 只能檢測水平和垂直平面,而 visionOS 2 還可以檢測傾斜平面。
Safari 默認提供影院模式和 WebXR
在 visionOS 2 中,Safari 支持在虛擬環境巨大虛擬螢幕上播放全屏影片,包括 YouTube 和 Netflix 內容。
WebXR 現在也默認啟用,不再隱藏在用戶需要啟用的功能標誌後面。
Vision Pro 現在是 AirPlay 接收器
藉助 visionOS 2,Vision Pro 頭顯現在是 AirPlay 接收器,這意味著用戶可以將 iPhone 或 iPad 顯示投射到頭顯上。
新的虛擬環境:波拉波拉島
鍵盤突破與實體鼠標
在 visionOS 2 中,物理鍵盤現在可以顯示完全沉浸式的環境,這稱為「鍵盤突破」。
此外,現在還支持物理鼠標,而以前只能使用觸控板。
訪客模式升級
visionOS 2 允許保存訪客用戶的手眼設置長達30天。
對於經常使用 Vision Pro 的訪客來說,這將非常有用,因為以前每次都需要重新進行手眼設置。
靜態 3D 物體追蹤
visionOS 2 還為開發者增加了追蹤 3D 對象的功能,這是一項全新的追蹤功能。
在編譯應用之前,開發者必須將追蹤 3D 對象作為 USDZ 3D 模型反饋給 Mac Create ML 工具。Create ML 將為每個對象訓練一個神經網路,並將其嵌入到應用中。
火車出行模式
旅行模式此前是為航空出行而設計的,現在正獲得對火車出行的支持。
實時字幕
正如5月份所宣布的那樣,visionOS 2 增加了實時字幕選項,該選項可應用於通過麥克風輸入的實時對話以及來自任何應用程序的音頻,包括 FaceTime 通話。
HealthKit 與 TableTopKit
HealthKit 曾在其他蘋果設備上使用,現已在 visionOS 2 中推出,其使健康和健身應用能從用戶 Apple Health 檔案中存儲和讀取數據。
新的 TabletopKit 使開發者能更輕鬆「快速構建以桌子為中心的共享和協作應用體驗,例如棋盤遊戲或製造工作站」。
企業 Raw 相機訪問
藉助 visionOS 2,企業可訪問 Vision Pro 的透視攝像頭來運行自定義電腦視覺模型。
蘋果明確表示,這些功能只能在「僅用於商業環境」的應用中使用這些功能,並且使用這些功能的應用只能作為專有的內部應用或使用 Apple Business Manager 為特定業務製作的自定義應用分發,而不能在 App Store 上分發。需要託管授權以及與自己的 Apple 開發者賬戶綁定的許可證文件。