經過三個月的測試工作，Apple 在 9 月正式為 Apple Vision Pro 推出了 visionOS 26 系統更新。
除了大家耳熟能詳的小組件、新版自影像以外，還有一項特性也獲得了不少人的關注，那就是對於來自 Insta360、GoPro 和佳能設備拍攝的 180 度、360 度和寬視場內容原生播放的支持。剛好我手裡有一台 Insta360 X5，便研究了一下在 visionOS 26 播放第三方沉浸式影片的相關細節，在此作一個簡單分享。
▍visionOS 中的影片類型
在開始之前，先簡單介紹一下 visionOS 目前支持播放的幾種影片類型。
2D 和 3D 影片
顧名思義，2D 影片與我們使用 iPhone、Mac 等平面設備觀看的影片並無二致，內容通過窗口播放，可以內嵌在網頁或者獨立的 app 中。
當我們在平面設備上觀看 2D 內容時，可以點擊最大化按鈕，讓影片以全屏形式占滿整個螢幕播放；在 Apple Vision Pro 中 2D 平面影片內容雖然無法「全屏」播放，但也有相應的「最大化」按鈕，Apple 將其稱為「擴展式播放」。
擴展式播放的 2D 影片內容會以獨立窗口的形式，在 Apple Vision Pro 的環境中占滿整個窗口播放；如果開發者為自己的 app 使用了 Apple 官方提供的 Reality Composer Pro 或 AVKit 開發工具，擴展式播放窗口還可以切換至「懸停狀態」停靠在 visionOS 空間中的指定位置，此時窗口位置、大小不可調整，環境會根據窗口播放內容實時模擬呈現窗口螢幕在環境中的動態光線反射效果，類似虛擬影院的感覺。
懸停播放
3D 影片的播放與 2D 影片類似，但可以提供類似在電影院觀看的窗口 3D 影片效果。為了達到這一效果，Apple 為開發者提供了多視圖編碼 (MV-HEVC) 格式，與傳統 VR 內容的左右或上下幀合併形式不同，多視圖編碼在影片工程文件的同一軌道里存儲了多個獨立視圖層，使左右眼幀的畫面具有相同解析度並共享時間軸，這樣也能保證最終影片文件能夠向下兼容普通 HEVC 格式播放。
對於開發者而言，影片片源需要分別提供時長和幀率完全一致的左右眼文件，且使用高位深格式和 HDR 色彩空間重新將文件編碼為 MV-HEVC，MV-HEVC 軌道會通過 vexu 擴展 (Video Extended Usage) 標明該軌道的左右眼視圖和默認視圖，以便播放器確定如何將每個視圖映射到用戶的左眼或右眼。
目前在 Apple Vision Pro 中，我們主要可以通過影片 app (外區) 或 Disney app 觀看眾多 3D 版本的熱門影視內容，獲得影院級的 3D 觀影體驗。
空間影片
空間影片是 Apple 在 visionOS 中提出的新概念，影片內容可以按照真實尺寸呈現在視野中，同時窗口邊緣會以淡出的形式與周圍環境形成自然過渡的效果。這種處理方式能夠讓畫面與環境之間不致於突然產生強烈的深度錯覺，同時提供身臨其境的觀看感受 。同樣地，空間影片也做到了向下兼容，能夠在 Apple Vision Pro 或 iPhone 等設備中以傳統 2D 畫面的形式播放。
空間影片
從技術角度來看，空間影片同樣採用了 MV‑HEVC 編碼格式，將左眼與右眼視圖分別存儲在多視圖圖層軌道中，並通過 QuickTime 容器的 vexu 擴展加入了描述左右視圖、默認視圖、視差等關鍵資訊 。此外，空間影片還含有額外的元數據，如實際拍攝距離等，這些數據會影響窗口深度和視角的呈現。
180°、360° 和寬視場影片
在 visionOS 26 中，Apple 將傳統的 180°、360° 和寬視場影片統稱為「沉浸式影片」，與前述的 2D、3D 和空間影片採用直線投影 (Rectilinear projection) 不同，在 Apple Vision Pro 這樣的空間計算設備中，渲染空間並不僅局限於我們觀看前方的平面區域，開發者也可以在虛擬環境中的觀看者周圍鋪滿像素，並且需要考慮鏡頭曲率或彎曲變換，因此需要採用非直線投影 (Nonrectilinear projection) 方式渲染影片內容。
直線投影
180° 影片通過「半等距柱狀投影」將正方形的畫面映射到半球區域中 ，內容會填滿觀看者前方的半球區域視野。360° 影片則採用「等距柱狀投影」，畫面為寬高比為 2:1 的矩形畫面，這樣可以使畫面在投射時水平軸能夠覆蓋 −180° 至 180° 的區域，垂直軸能夠覆蓋 −90° 至 90° 的區域，將觀看者完全包圍在沉浸空間中，也是 VR 行業通用的投影方式。
半等距柱狀投影
等距柱狀投影
寬視場影片是 visionOS 26 中新支持的非直線投影影片類型，採用「參數化投影」方式。寬視場影片會根據每個廣角或魚眼鏡頭的內部參數和畸變模型生成投影函數，再通過 visionOS 26 引入的 APMP 格式文件存儲的鏡頭焦距、光學中心、畸變矩陣等參數，由播放器矯正彎曲曲線後映射畫面，可在曲線上復原真實視角，同時消除畫面中的畸變和魚眼效果，讓直線看起來不再彎曲。
這三種非直線投影類型的 3D 影片同樣採用了 MV-HEVC 影片編碼技術，作為高效影片編碼技術 HEVC 的「立體」版本，MV-HEVC 能夠將左右眼的畫面像素分別編寫到不同的緩衝區中，並根據雙眼畫面的相似性僅編碼不一致的部分，這樣不僅能夠有效降低立體影片文件的體積大小，也有利於提高影片編碼渲染的效率。
Apple Project Media Profile
上述提到 visionOS 26 引入了新的 APMP 元數據規範，全稱為 Apple Projected Media Profile，包含 Projection Box、Lens Collection Box 和 View Packing Box，分別記錄投影類型、鏡頭內參 / 畸變模型以及視圖排列方式 。APMP 只負責描述「如何投影」以及「鏡頭參數是什麼」，並不規定影片編碼。現有的 180° / 360° 影片可通過工具注入 APMP 元數據後，在 visionOS 26 中獲得原生播放體驗。
APMP 文件通過 vexu 擴展存儲的元數據信號指明影片所採用的投影方式，以便播放器在渲染時正確還原影片效果，同時提供向下兼容性。可以說，APMP 為非直線投影影片提供了統一的描述和兼容層，使其既向下兼容已有的 180° / 360° 內容，也能向上支持新一代寬視場和雙眼立體拍攝影片內容。
也正是得益於此，用戶得以憑藉手中的消費級設備，就能在 visionOS 26 中原生播放自己拍攝的 180 度、360 度和寬視場內容。
在 Apple Vision Pro 中播放 Insta360 全景影片
在 visionOS 26 正式推出之後，我也嘗試用手裡的 Insta360 X5 全景相機拍攝了一些影片內容，並將他們導入至 Apple Vision Pro 中播放。Insta360 X5 配備了雙 1/1.28 英寸像素傳感器，支持 8K 30 fps、5.7K 30 fps、5.7K 60 fps 以及 4K 60 fps 的高規格影片拍攝，接下來我們先看看用它怎麼拍、再看看它拍得怎麼樣。
以 Insta360 X5 的普通錄像模式為例，這個模式下拍攝的單個影片會在存儲卡中分別生成後綴格式為 .insv 和 .lrv 的文件，其中前者為 Insta360 的專有文件格式，用於存儲高比特率的兩路魚眼影片數據以及陀螺儀 / 加速度計數據、曝光值、時間戳等各類傳感器資訊，是拍攝得到的主要文件內容；後者是 Insta360 相機為拍攝內容自動生成的低解析度代理文件 (Low-Resolution Video)，用於快速查看或在剪輯工具中預覽調用，以減少硬體負載和渲染壓力。
可想而知，Insta360 X5 拍攝得到的 .insv 影片文件並不能直接在 Apple Vision Pro 中預覽和播放，這時候就要用到 Insta360 Studio 這款軟體對文件進行導出處理 (其它支持品牌的相機也需要經過類似操作)。
對於 Insta360 Studio 的其它功能，這裡不作展開介紹，直接看導出菜單。打開 Insta360 Studio 選中相應影片並選擇導出後，我們需要在導出菜單中選擇「全景影片」，並勾選下方的「APMP」選項，勾選導出時 Insta360 Studio 會將成片按 APMP 投影媒體規範封裝與標記，讓其在 Apple Vision Pro 中能被識別成可原生播放的沉浸式影片，同時在不支持的設備上能夠回退為普通 2D 影片形式播放。
體驗與感受
如上所述，Insta360 X5 是一台支持 8K 30 fps、5.7K 30 fps、5.7K 60 fps 以及 4K 60 fps 等高規格影片拍攝的全景相機，用它拍攝能夠在 Apple Vision Pro 中沉浸式播放的影片，想想就很美好。
但結果卻不盡如人意。最開始我用 Insta360 X 拍攝完 5.7K 60 fps 和 4K 60 fps 的影片之後，不論是在 iPhone、Mac 還是 Apple Vision Pro 中播放平面影片時都沒有任何問題：畫面清晰度高，幀率表現也相當順滑。但在通過 Insta360 Studio 導出成符合 APMP 標準的影片文件之後，Apple Vision Pro 確實可以直接以沉浸式觀看形式播放了，但清晰度卻低得看不清任何細節。
我轉而用 Insta360 X5 拍了一些 8K 30 fps 的素材再次測試，此時 Apple Vision Pro 中的沉浸式畫面清晰度依然很低，但勉強到了將就能看的程度。
動圖經過壓縮
經過一番研究之後，我發現「問題」並不出在 Insta360 身上，而是出在顯示端即 Apple Vision Pro 上。如上所述，當我們在 Apple Vision Pro 觀看 360° 的沉浸式影片時，顯示區域實際上為一個球狀表面，即使通過 8K 的規格 (7680x3840，總像素約 3000 萬) 拍攝影片，這些像素會被分布在這個完整的球面上。
這與我們觀看平面影片不同，當在 iPhone 或 Mac 這樣的螢幕上觀看平面影片時，影片的所有像素均完整呈現在螢幕中，這時從傳統意義上看即使是更低清晰度的 2K 甚至是 1080P 影片，實際觀感也不至於太差。但在 Apple Vision Pro 這樣的 VR 設備中觀看沉浸式影片時，所有畫面像素會被投影在「包裹」觀看者的整個球狀平面上，而作為觀看者的我們實際上只能看到視場角以內的部分像素，這就導致了同一個影片分別在 VR 設備以沉浸式播放與在平面設備上播放時，視野內的有效像素密度有很大的差異。
根據網路上已有的測試結果來看，Apple Vision Pro 的水平視場角約為 100°、垂直視場角約為 90°，經過不準確的大致計算：(100/360)x(90/180)=0.139=1/7.2，實際上在 Apple Vision Pro 中觀看由 Insta360 X5 拍攝的 8K 規格影片時，我們僅能看到整個球面約 1/7 的區域，實際可見區域的有效解析度密度會大幅降低，因此導致了畫面清晰度不足的問題發生。
但是話說回來，即使是在畫面清晰度不足的情況下觀看，通過 Apple Vision Pro 看到過去某一時刻的情景重現，依然會有一種奇妙的感受，要比觀看空間影片的體驗更加有意思。
對了，還有一點需要注意的是，從 visionOS 中已有的官方沉浸式內容里不難看出，Apple 為了提供更好的觀看體驗也是下足了功夫：這些影片大部分都在畫面部分儘量避免機位的長時間大幅度運動，鏡頭移動也使用了專業的雲台、機械臂等設備以確保畫面平滑展開，能夠更大程度上降低觀看 VR 內容可能導致的暈眩等問題。
但是，我們自行拍攝的影片一般都是隨意的日常記錄，沒有事先準備好的分鏡策劃、也沒有專業的器材輔助，畫面抖動等情況在所難免，我在觀看這些自己拍攝的影片內容時，很快就產生了頭暈的症狀，在看官方內容時則沒有這個問題。
結語
像是 Insta360、GoPro 這樣的消費級設備能與 visionOS 26 聯動，讓這些曾經的回憶在虛擬現實中重現，這是一個令人期待的開始，很高興 Apple 與這些品牌們一起先邁出了第一步，即使它們的效果目前還沒有那麼好。說不定日後通過 AI 技術還原或者更強大的硬體設備，我們真的能夠在像 Apple Vision Pro 這樣的設備中，完全真實地還原彼時彼刻的此情此景也不一定。
話說回來，通過 Insta360 X5 這樣的全景相機，我們已經能夠將難忘的時刻以全景記錄的形式留存下來，並通過 iPhone 或 Mac 這樣的設備高清回看，這已然是一份足夠珍貴的數字存檔。當然也期待日後能有在 Insta360、GoPro 和佳能之外，更多品牌能夠給我們帶來更為多樣與生動的回憶呈現方式。
https://sspai.com/post/102896?utm_source=wechat&utm_medium=social
