在WWDC 2023上，蘋果發布了Vision Pro頭顯和全新的visionOS作業系統，並宣布開啟空間計算時代。在過去6年裡，我們每年都會追蹤蘋果ARKit的功能疊代與更新，今年雖然移動端ARKit未更新，但推出了一些針對空間計算的ARKit功能，相當有看點。
去年上線的RoomPlan雖然未在WWDC展示應用場景，但因為在MR場景極具潛力，必然針對visionOS進行更新。
總的來說，ARKit、RealityKit、RoomPlan等移動端功能，都將集成並適配全新的visionOS，從而為Vision Pro頭顯帶來與眾不同的體驗。要知道，蘋果為visionOS準備了40多節課程，也足見重要程度。
為了更好的了解Vision Pro和visionOS的特性，今天我們對vision OS開發入門、ARKit、RoomPlan等幾個課程進行總結，窺探蘋果Vision Pro的更多可能性。
visionOS基礎架構
據蘋果官網介紹，visionOS主要基於SwiftUI、RealityKit、ARKit幾大框架，開發工具則包括Xcode、Reality Composer Pro和Unity。其中大部分是此前就推出的，值得注意的是Reality Composer Pro是一個新的工具，特點是開發者提供了一個預覽和準備3D內容的工作流，好處是能幫助全面了解應用開發所需的所有3D模型，以及在場景中的組合方式，加快應用疊代。即使開發者只開發了部分場景，而沒有構建一個完整的應用，也能在Reality Composer Pro中快速預覽。
此外，開發者也可以通過MaterialX開放標準，在Reality Composer Pro中自定義材質，特點是無需代碼，使用節點就能快速製作並預覽。
visionOS用戶界面
1）窗口視圖
我們知道，蘋果的空間計算平台建立在開發者熟悉的ARKit基礎上，相比於移動端ARKit，特點是是將虛擬和現實深度融合，並結合手和眼等自然輸入方式。
在UI設計上也有很大不同，主要由窗口視圖、體積視圖和Space三大元素組成。其中窗口是一種2D界面，每個應用可以開啟一個或多個窗口，窗口可以像macOS窗口那樣支持頁面重排、大小調整、自由移動/固定。應用界面可包含傳統視圖和操控機制，同時也可以顯示3D模型，比如結合Model3D視圖，在2D界面中嵌入動態的3D內容。蘋果指出，Model3D與普通圖像類似，可直接在應用中加載，並顯示用RealityKit渲染的3D模型。
2）體積視圖
除了窗口視圖外，開發者可以使用體積視圖來顯示3D內容，有趣的是不同的應用之間可共享一個體積空間。體積視圖可在空間中重新定位，並支持從多角度查看。此外，體積視圖也是基於SwiftUI場景，基於RealityKit功能來渲染3D，因此對ARKit開發者來講比較熟悉。
體積視圖可看作是窗口的擴展，或是一種3D形態的窗口。相比於窗口，利用體積視圖展示3D模型的區別是可全方位展示3D模型，允許用戶從多角度查看。體積視圖專為Shared Space界面設計，因此顯示的3D模型都具有邊界（類似於邊界框）。
另外，開發者還可以在應用中添加RealityView視圖，相比於體積視圖，RealityView可在不同坐標顯示更多個3D模型。
3）Space模式
visionOS的Space模式主要有兩種，一種是不透明背景模式Full Space，另一種則是VST透視背景Shared Space。
在Full Space模式中，visionOS系統會在後台隱藏其他應用，只打開正在運行中的應用。即使在完全沉浸的VR模式中，ARKit應用也可以識別周圍場景，允許AR與之互動。
在Shared Space界面中，窗口和體積視圖以VST模式顯示，允許用戶在使用時也能看到周圍環境。如果用戶想要更沉浸的體驗，則可以開啟Full Space模式，在該模式下依然可以使用ARKit API的功能，比如在應用中引入複雜的骨骼追蹤等等。
通過旋轉數碼旋鈕，用戶可以調整背景透視的程度，讓UI在完全沉浸和完全透視之間自然過渡。同樣，開發者也設置、固定應用背景透視的程度，比如無透視、混合透視或可自由調節。
窗口視圖共享：SharePlay
visionOS可以像在macOS那樣，允許用戶共享任何窗口，包括AR快速查看內容。當人們共享Quick Look 3D模型時，visionOS會同步用戶的方向，以及AR比例、動畫和上下文資訊，允許SharePlay繪畫中每個人獲得相同的體驗，從而實現遠程可視化協作。
ARKit更新
我們知道，ARKit使用複雜的CV算法來理解周圍的場景，以及用戶的動作。相比於移動端ARKit，ARKit在空間計算平台的作用相當於一個成熟的系統服務，它深層次融入visionOS系統，為AR交互、VR遊戲提供了動力。在WWDC 2023期間，蘋果公布了ARKit兩大新功能，主要面向空間計算：
1，環境追蹤（World Tracking）
該功能允許開發者將AR內容錨定在物理場景中，ARKit會追蹤每個錨點的6DoF運動，並更新其位置，確保用戶佩戴頭顯四處移動時，AR圖像與周圍環境的相對位置保持固定。
WorldAnchor是一種可追蹤的錨點，開發者在空間中添加的任何WorldAnchor，都會在系統後台自動保存，每次設備重啟後，依然會顯示在固定的位置。此外，持續性的錨點位置基於對應的場景，比如你在臥室固定的AR錨點只能在臥室訪問，如果你移動到辦公室，系統則需要重新測繪空間地圖，由於是兩個不同的空間，臥室內的錨點也不會出現在辦公室中。
2，場景理解（Scene Understanding）
包含了一系列識別周圍環境的功能，比如：平面檢測（垂直和水平）、場景幾何、圖像追蹤。其中，平面檢測為ARKit尋找可放置錨點的水平、垂直表面（Plane Anchor）。識別到的表面可用來固定AR內容，或是優化物理模擬，允許AR與地板、牆壁產生自然交互。
場景幾何結構為開發者提供包含多邊形網格的錨點（Mesh Anchor），可看作是用一系列多邊形網格構成的物理場景模型，可用於預測空間的外觀。與平面檢測相似，場景幾何結構也可以促進AR錨點，以及高保真的物理模擬（比如用作支持物理手勢交互的碰撞器）。
而圖像追蹤，則可以檢測到真實場景中的2D圖像，並賦予一個基於圖像的錨點（Image Anchor），允許開發者在靜態圖像上放置AR內容。
3，其他更新
值得注意的是，ARKit新增了一項名為Particles的工具，該工具可快速構建雲、雨、火花等動態粒子特效，並支持在Reality Composer Pro中預覽。
蘋果還推出了新的ARKit API，結合了此前在iOS上學到的經驗，可以很好的滿足空間計算獨特的需求。ARKit API由三大要素組成：ARKitSession（功能組合）、DataProvider（場景、手勢、平面追蹤數據）、錨點。其中DataProvider提供驅動ARKitSession功能的數據。而錨點則意味著，蘋果空間計算平台的AR內容需要通過錨點固定在物理空間中，以達到一種持續性的LBS AR效果。蘋果解釋，錨點代表了AR在真實場景中的位置和方向，部分類型的錨點是可追蹤的。
由於Vision Pro頭顯搭載了多個攝影機和各類傳感器，保護用戶數據隱私至關重要，為此蘋果在系統中確保相機圖像幀等數據，不會被上傳至客戶空間（比如第三方App），而是發送到ARKit守護進程，以便後續算法安全處理。而算法生成的數據結果，還會經過仔細整理，才會發送給請求數據的客戶端（以用戶授權許可為前提）。
RoomPlan更新
RoomPlan是ARKit 6帶來的一項功能，特點是使用基於ARKit的機器學習模型來檢測牆壁、窗戶、門、缺口等空間元素，通過RoomCaptureView API，開發者可在應用中引入3D空間掃描功能，3D掃描空間後可生成USDZ格式的3D模型。
該工具新增功能如下：
1）自定義AR會話
在近期推送的iOS17系統中，蘋果推出了自定義ARSession功能，該功能可將RoomPlan掃描結果與ARKit場景幾何和平面檢測數據結合，增強混合現實交互。此外，利用ARKit的高質量圖像捕捉功能，可優化基於RoomPlan創建的3D建築模型外觀。同時，也可以將RoomPlan數據直接與現有的ARKit應用結合。
2）支持多房間（MultiRoom API）
此前，使用RoomPlan工具，開發者可通過一次掃描生成單個房間的3D模型。而通過MultiRoom API，你可以將房子裡不同房間的掃描圖像很好的合併，並導出一個統一的USDZ文件，從而解決了房間坐標系不匹配、手動縫合等問題。具體實現主要基於兩種方式，一個是連續的ARSession，另一個則是基於ARWorldMap（持續的AR公共坐標）的ARSession的重定位功能。
MultiRoom適合單層住宅，可掃描一到四間臥室、客廳、廚房和餐廳，建議掃描面積不超過186平方米。
為了幫助更多人快速上手RoomPlan，蘋果還推出了語音輔助模式，通過語音提示來指導用戶進行掃描。
3）可識別物體增多
此前，RoomPlan可識別的房間元素有限，而在升級後，它可以掃描更多類型的房間結構和家具，比如傾斜、彎曲、不均勻的牆壁（用多邊形來描述），或是洗碗機、烤箱、水槽等嵌入式廚房元素。此外，還可以分類家具的不同配置，比如單人沙發、L型沙發、方形沙發等等。
通常，RoomPlan模型主要由平面和對象來表示，而升級後，它還可以描述房間內的區域，包括客廳、臥室、廁所、廚房、餐廳。
RoomPlan還新增了一個新的結構：ModelProvider，可將類別和屬性的合集映射到模型URL中，在導出RoomPlan掃描數據時，可將3D模型中的每個對象與對應的URL關聯。參考：Apple
