近期大家也看了很多蘋果XR的消息，與其看各種爆料、不如從專利入手來看看蘋果XR頭顯可能會有哪些不同的玩法。於是，我們就從蘋果近年來有關AR/VR的數百篇專利中，選出可能會直接決定和影響XR產品體驗的部分匯總出來。當然，這些專利不會集中在一款產品上，我們也無法準確告訴你蘋果XR到底長什麼樣，但仍可透過專利窺探一二。
在整理近年來蘋果AR/VR專利時，主要發現以下幾個特點：
1）部分AR/VR專利來自此前收購的公司，比如PrimeSense、Metaio、NextVR、SMI、Spaces等等；
2）結構光、LiDAR測距、VST透視、數碼旋鈕、動態變焦等是蘋果的創新重點；
3）探索多種不同的光學方案，衍射光波導、視網膜投影等等；
4）後期多項專利描述一種多透鏡組的AR/VR顯示方案，預計將與頭顯的VST攝影機陣列搭配使用。
目錄
- 一，光學顯示
- 二，眼球追蹤
- 三，生物傳感器
- 四，交互技術
- 五，VST透視
- 六，空間音頻
- 七，定位系統
- 八，其它傳感器
- 九，外觀設計
- 十，UX設計
- 十一，應用場景
一，光學顯示
◎ LBS微鏡掃描方案 衍射光波導：編號US20190377181A1等
有多種不同的光路設計，甚至可能在相位光柵和波導之間插入反射偏振器，特點是可切換光束，改變反射光線、衍射光線的相對偏光。
◎視網膜掃描：編號US10681328B1
蘋果描述了一種AR/VR視網膜投影系統，原理是利用微鏡將像素逐個掃描到用戶的視網膜上，好處是支持動態變焦，AR/VR圖像中物體、表面可以顯示在正確的視覺深度上顯示。
◎可調光透鏡波導
在2018年時，蘋果曾探索基於LCoS 光波導的AR/VR顯示方案，光學引擎位於眼鏡框左右兩側，向用戶眼前的光波導注入圖像。除此之外，該方案的特點是搭載了可調焦透鏡。
而在另一項專利（US11221488B1）中，蘋果則指出調焦透鏡可採用一個或多個液晶透鏡，或是流體填充透鏡、Alvarez透鏡，特點是支持視力調節，緩解近視、遠視等視力問題。
◎全息光波導 Micro LED
編號US20180321432A1，蘋果在專利中描述了一種結合全息光學薄膜的光波導方案，採用Micro LED光源，特點是光線可根據觀看角度重定向，從而形成立體視覺觀感。
除了全息光波導外，蘋果在另一項2019年的專利中（編號US20190285897A1），曾提到一種基於反射全息組合器的AR光學方案，具有半反半透特性。
◎折反射式光學系統
編號US20190146198A1，指出了一種折反射式方案的AR/VR掛鉤難學系統，特點是由多層高透光透鏡（玻璃或塑料材質）組成，可能包含平凸鏡和平凹鏡，具有折射和反射特性。而採用摺疊光路設計的目的，是為了縮減頭顯光學模組的厚度。
◎流體調節透鏡
專利編號US20200096770A1，指出了一種可動態調節的AR/VR透鏡組，特點是在透鏡之間加入流體夾層，以實現動態調焦、屈光調節的效果。液體層由電子機械泵控制，透鏡之間的液體越多，距離就越遠，由於左右眼光學模組是獨立的，所以左右眼焦距可獨立控制。
◎微透鏡陣列方案（Lenticular Display）
在編號US20200103669A1、US20210072556A1、US11143865B1、US11187914B2、US20220035160A1、US20220146820A1等專利中，均提到了基於多個柱狀透鏡/微透鏡組成的陣列光學方案（以圓弧形排列），好處是比單孔徑透鏡更薄，有助於縮小頭顯體積，而且FOV大，支持動態視角切換，適配多攝影機陣列的VST透視模組。
此外還詳細描述了該光學方案的優化方式，比如採用louver薄膜來控制顯示屏光線發射角度，從而減少串擾，或是加入反射鏡來改變透視角度，將透視場景向用戶「視覺拉近」，以顯示更準確的場景深度/距離。
◎多層幾何相位透鏡方案
編號US20210048674A1專利中，蘋果提出了一種用於顯示立體感虛實融合畫面的光學方案，特點是採用多層透鏡結構，在不同的焦面顯示不同物體，並拼接為沉浸、立體的場景。這種方案可以很好的模擬人眼動態變焦效果，但對光學、眼球追蹤、軟體算法等方面有極高要求。
◎可變色鏡片
在2019年的一項專利（US11029521B2）中，蘋果提出了一種疊加光致變色層的AR鏡片方案，特點是在紫外線強光下可降低透光度，使AR圖像在戶外能更清晰顯示。其原理類似於常見的變色眼鏡，同時，變色機制可替代一些AR眼鏡採用的遮光罩。
◎色散補償光學方案：編號US20200117003A1
該方案旨在提升AR等近眼光學的光學效率和畫質，特點是使用多種全息材料作為光柵介質，每種全息材料具備不同的光柵矢量、頻率和方向，因此可以很好的消除色差。該方案可搭配偏鏡、投影元件來組成光學方案。
◎改善Micro LED螢幕質量
為了更好的控制Micro LED屏的生產質量，蘋果設計了特殊的測試設備和架構，宣稱可在Micro OLED與面板鍵合之前，捕捉亮度不達標的LED像素（比如利用顯示屏光學掃描），發現問題後可直接替換備用LED，從而更有效的修復。
Micro LED是比較前沿的顯示技術，除了用於手機、智能手錶外，未來也有望用於AR/VR頭顯中。
◎360°透視
在編號US20210092292A1的專利中，蘋果描述了一種搭載8顆攝影機的AR/VR頭顯方案，特點是在頭顯周圍（包括前蓋、頭帶）布局了8顆攝影機，用於捕捉和透視周圍360°環境，從而增強用戶的環境感知能力，即使是視覺盲區也能看見。
◎ 主屏 副屏設計
在2021年公布的一項專利中，蘋果設計了一種基於主屏 副屏的AR眼鏡方案，特點是主副屏可獨立運行，主螢幕解析度較高，用於顯示主要的AR功能，而副屏解析度較低，主要顯示一些簡單的提示資訊，比如倒計時、事件等等，而鏡框最外圍還有一圈LED指示燈，可提示AirTag就在附近。這種設計的好處是更合理使用有限的螢幕區域，同時降低算力和耗電。
而在編號US11450297B1的專利中，蘋果則設計了一塊主屏配兩塊副屏的注視點渲染方案，這三塊螢幕（可採用柔性或硬性面板）以符合頭部曲線的弧形排列，為了隱藏螢幕邊界，蘋果在透鏡上加入了一層獨立的漫射結構，以優化高解析度和低解析度螢幕的銜接。
二，眼球追蹤
眼球追蹤技術，是蘋果AR/VR專利中反覆提及的一個關鍵，主要用途包括：注視點渲染、降低功耗、動態調焦、生物監測、視力檢測、注視點輸入等等。此外，專利中還詳細描述了眼球追蹤的實現和優化方式，比如：
- 近紅外方案（可捕捉瞳孔放大、注視點）；
- 基於定向視網膜閃光的方案；
- 同軸照明方案（特定脈衝頻段光源與圖像傳感器在同一軸上，好處是可捕捉更明亮的瞳孔圖像）；
- 眼球追蹤延遲補償、效果優化。
以下是幾個比較有特色的：
◎ 編號US20200019238A1：人眼的眼跳是一種常見現象，通常每秒眼跳數次（succade），在眼跳出現的短暫時間裡，視覺敏感度也會短暫降低，從而引起不易察覺的短暫失明。正是利用這種特性，該系統可在用戶難以察覺的情況下調整顯示內容，從而達到降低功耗，降低燒屏風險的效果。
該方案需要結合眼球追蹤技術來實現，可能採用CV或IR傳感器方案。
◎編號US20190339770A1：專利中描述了一種基於注視點追蹤的機械變焦AR/VR方案，可跟隨用戶注視點變化而切換畫面焦距。而為了彌補變焦系統的延遲，該專利重點描述了一種注視點預測技術，可提前預測人眼運動軌跡（眼球掃視的落點），並對圖像進行預渲染，好處是可以讓焦點切換更加絲滑。
在2018年時，蘋果曾為注視點渲染方案申請專利，生成可實現8K解析度（中心視覺區域）。而在2019年，也有亮相蘋果專利提到注視點渲染方案（編號分別為US20190172399A1、US20190180672A1），特點是採用兩塊螢幕（高清主屏 低清副屏），解析度預計也可達到8K，螢幕ppi在1000到2000之間。
◎編號US20190133440A1：指出了一種通過識別主導眼，來提高和優化眼球追蹤準確性和穩定性的方案。主導眼又稱主視眼，在眼球追蹤中重點分析主導眼數據，可以更好地對齊眼球的光軸和視軸，帶來更好、更快的校準效果。
識別主導眼的另一個好處，是能幫用戶診斷與聚散度相關的眼病，如斜視或者弱視，並在此基礎上優化注視點渲染技術。而為了進一步優化眼球追蹤對廣泛人群的適配度，蘋果在編號US11644896B2的專利中提到，眼球追蹤系統可提取不同用戶的眼部特徵作為控制參數，並在此基礎上動態校準注視點。
◎編號WO2020068447：蘋果提出了一種基於眼球追蹤的AR/VR應用開啟方式，特點是結合了語音玩法，用戶只需要盯著目標應用標誌，說出「開啟」便可打開該應用，操控足夠自然、快捷。而在2021年公布的另一項專利中，蘋果則還提出了用注視點快速切換文本輸入框的方案，可以讓你在VR中更快的填表、錄入個人資訊。
在蘋果看來，眼球追蹤還可以動態優化第一人稱影片錄製，比如用注視點驅動相機拍攝的位置，將用戶注意的位置放在影片中心，並根據注視點變化快速運鏡（使用平滑算法來防抖）。這將很適合未來全天候的AR眼鏡。
◎編號US20200278539A1：為了節省眼球追蹤硬體的功耗，蘋果在專利中設計了一種基於事件相機的方案，特點是僅在識別到眼動時開啟，而不是持續開啟掃描。該專利的另一個特點，則是能根據使用者的生物資訊來調節光線強度，當用戶眨眼次數超常，或是識別到兒童用戶時，系統算法會降低照明光源的亮度，從而提升視覺舒適性。
而另一個省電的方案，則是結合低解析度和高解析度兩種模式的眼球追蹤，分別識別眼球相對運動和準確位置，並結合頭部傳感器來定位注視點。
◎編號US10354136B2：為了提高眼球追蹤準確性，減少漂移是一個關鍵。在該專利中，蘋果介紹了一種特殊透鏡系統，宣稱可減少眼球追蹤的漂移現象。該方案基於光線追蹤，可通過識別光線到達人眼並反射的數據，來對眼球建模等等。
一些眼球追蹤專利也來自蘋果在2017年收購的SMI（SensoMotoric）公司，比如US10437327B2，提出了一種通過二次成像捕捉注視點的方案，特點是第一次成像捕捉到清晰的眼球，用於定位瞳孔位置，而第二次成像清晰度較低，用來識別眼球發亮，兩次捕捉數據結合後，注視點預測數據可以更準確。
三，生物傳感器
在一些專利中，蘋果提出在AR/VR頭顯中加入生物傳感器，用於感知佩戴者的身體狀態，並相應改變顯示的內容。細節方面，頭顯可識別力度、溫度、濕度、位移、EEG、電容、EMG和心率等資訊，從而評估心理壓力、個人健康狀態，然後在AR/VR中推薦幫助放鬆的應用或內容，甚至還能主動提示就醫資訊。
而在2019年一項專利中，蘋果曾描述一種面部追蹤方案，特點是在AR/VR頭顯、眼鏡中加入多種生物傳感器，比如PPG（光電容積脈搏波描記法）、ECG（心電圖）、GSR（皮膚電信號）、壓力傳感器、eField、熱傳感器等等。它可以檢測咀嚼、眨眼、微小、皺眉等一系列複雜的面部動作，進而檢測用戶的健康狀態。
四，交互技術
1，隔空手勢
蘋果的一些3D手勢技術來自於2013年收購的PrimeSense，從一些相關專利中可以發現，發明者為前PrimeSense員工。比如在一項專利中，就介紹了一種3D手勢方案，特點是允許用戶用抓取、推送、釋放等手勢操作3D用戶界面，來玩遊戲或播放影片。
隔空手勢是蘋果AR/VR專利中常見且重要的技術，不僅可以用於AR/VR頭顯，還能在iPhone、iPad、Mac等設備上實現。
蘋果隔空手勢系統可採用多種方案，比如結構光、LiDAR、RGB、IR傳感器、超聲波換能器、VSWR傳感器等等。
比如在編號US20210011289A1專利中，蘋果描述了一種支持Inside-Out定位的AR/VR頭顯方案，特點是搭載RGB相機、ToF傳感器和IR LED模組，支持手勢追蹤、3D環境測距等多項功能。
2，體感/智能手套
蘋果曾為AR/VR手套申請多項專利，覆蓋了各種不同的技術方案，比如在手套的指尖末端加入磁傳感器，通過檢測磁場變化和干擾，來定位磁源和傳感器的相對位置，從而實現手勢定位。或是採用柔性力傳感器陣列、光導材料，來識別細微觸覺交互、握力動態變化等。
此外，還提出基於IMU定位的手套方案，特點是將IMU傳感器內置在手套的指關節部位，可準確檢測手掌、手指動作和位置，不受遮擋等因素困擾，因此可識別手指交叉動作。
在編號US11397486B2的專利中，蘋果還 提出了一種利用超聲波來識別手勢的VR手套，特點是可識別用戶手掌施加的壓力，以及手指厚度。
除了追蹤手勢外，蘋果還希望基於摩擦阻力、柔性貼片等技術，為AR/VR手套賦予體感反饋（編號US10481688B1、US20200257362A1），以模擬「觸摸」大海、海浪、樹、沙灘、方向盤等紋理的感受。
而在另一項2020年的專利中，蘋果則描述了一種基於織物材質的柔性體感手套方案，特點是織物部分可膨脹或收縮，以適配不同手型的用戶。
3，智能手環/手錶
在一項專利中，蘋果描述了一種用智能手錶來操控VR遊戲的方案，特點是基於皮膚傳感，可通過對比和分析靜脈圖像，來推測手部關節動作。
而在編號US20210303068A1等專利中，蘋果還提出在智能手錶上通過攝影機CV、UWB、EMG、RF、感測電路等方式，來識別雙手接觸動作的方案，允許你用一根手指在另一隻手掌上滑動，來模擬光標移動、拖動、打開或其他指令。
實際上，Apple Watch在2021年已經推出手勢識別功能（AssistiveTouch），可識別握拳、捏手指等動作，允許你用單手微動作來操控手錶界面。未來，這種交互方式也有望與AR/VR頭顯結合，直接提供自然的手勢交互。
4，智能戒指
目前，市面上AR/VR主要交互方式是手柄，其次是手勢。與此同時，谷歌、Meta、蘋果等也在探索用智能指環控制AR/VR的技術。尤其是在蘋果AR/VR相關專利中（US20190004604A1，US10444834B2等），經常出現對智能戒指的介紹，涉及各種不同的設計。
比如：U型指環（彈性/柔性材質，尺寸可調）、戒指、指套（追蹤五指運動），或是時髦的螺旋式、鉸鏈式等設計。特點是外形可擴展，且可多個一起使用，或與Apple Pencil等外設協同。
特點是採用無線設計，光學定位織物、搭載多個傳感器：觸控板、NFC通信、生物傳感器、SMI壓力傳感器、加速針等裝置，可識別皮膚接觸/捏合、敲擊等微手勢交互，支持6DoF定位，甚至能識別環境溫度、物理表面形狀和紋理，以及心率、血壓、血氧等生物信號。一些專利中還提到，智能指環可配備一些與Apple Watch接近的智能功能，比如數碼旋鈕、解鎖Mac電腦等等。
5，手寫筆交互
在一些專利中，蘋果曾提出用手寫筆（如Apple Pencil）在空間中進行3D創作，這與傳統基於觸屏的手寫筆方案有很大不同。
比如編號US20180018057A1，就指出了一種基於非電子表面輸入的手寫筆設計，特點是手寫筆內置定位傳感器，可識別在任何地方書寫的內容。
而在2020年的一項專利中，蘋果則描述了一種支持6DoF定位的手寫筆，特點是支持剪切力反饋，用戶握筆時可感受到模擬的表面、體積、內部紋理等物理體感特性。
在另一項專利中，蘋果還提出了一種簡易的手寫筆適配器，可為Apple Pencil帶來壓力感應功能（作用類似於VR手柄的扳機鍵），並允許用戶使用Pencil在空間中輸入資訊。此外，手寫筆還能作為控制器來玩遊戲（US20230042447A1），比如在AR/VR中做出敲擊、滾動、旋轉、輕彈和滑動等動作。
6，虛擬鍵盤
編號US10237509B1：為了幫助AR/VR用戶快速輸入文字，蘋果在專利中提出了一種虛擬鍵盤設計，概念是在物理鍵盤上疊加一層虛擬鍵盤，相比於攝影機直接透視按鍵，虛擬鍵盤視覺看起來更加清晰。輸入硬體方面，該方案兼容物理鍵盤，或是平板電腦的觸屏鍵盤、手勢追蹤手套。
編號US20200088999A1：這項專利中設想了一種基於投影的虛擬鍵盤方案，特點是在頭顯上搭載投影裝置，可將鍵盤投屏到桌面等物理平面上，並利用3D傳感器來識別用戶敲擊鍵盤的動作。值得注意的是，這項專利中提到的頭顯還支持其他外屏交互，比如在外殼上加入按鈕、觸控傳感器、觸控顯示屏，允許用戶不戴頭顯也能快速使用。
而在另一項專利（US10890952B2）中，蘋果也提到了類似的交互式表面投屏方案，特點是可將任何物理表面變成可操作性的菜單，比如在筆記本上疊加計算器功能，或是在手臂上疊加交互UI。
五，VST透視
蘋果的部分VST透視技術來自於在2017年收購的VRVANA公司，這在一些專利上也有所體現。VRVANA技術特點是可糾正光學透鏡的圖像失真，VST透視延遲僅幾毫秒。在2019年公布的一項專利中（發明者之一為VRVANA創始人Bertrand Nepvue），蘋果就描述了一種基於實時色度鍵控原理的MR方案，可將真實場景中人的背景替換為虛擬內容，類似於綠屏替換。
此外，蘋果在2019的另一項專利中指出（US10330935B2），可為頭顯配備高解析度和低解析度兩種透視攝影機，這種設計利用了VR的注視點渲染技術，通過降低用戶餘光部分的透視解析度，來優化計算任務、降低硬體成本。
專利還指出，AR/VR頭顯通過兩組RGB攝影機捕捉周圍立體環境，宣稱可模擬人眼視覺系統。
六，空間音頻
蘋果針對空間音頻也曾申請多項專利，比如一些基於HRTF（頭部相關傳輸函數）、幾何聲學等技術的方案，或是通過實時聲音射線追蹤來模擬室內聲場。此外，還探索了根據頭部定位資訊來預測雙聲道音頻的方案，特點是可根據用戶頭部運動來動態調整聲音的模擬距離和方向，改善VR RPG遊戲、恐怖電影等內容的體驗感。
而在US2022032965A1中，則描述了一種根據頭對軀幹方向來定位用戶朝向的方案，類似於AirPods的身體朝向模式。
在2021年的一項專利中，蘋果曾指出AR/VR頭顯可搭載多個麥克風陣列，支持定向音頻檢測，可計算出周圍環境中某個聲音的來源，並以視覺形式標註或提示。這樣的功能可以很好的補充人的聽力，幫助用戶識別超出正常感知範圍的聲音（類似的概念還可以用AR標記肉眼不可見的氣體、電磁信號等）。
而在2023年的一項專利（US2023014111A1）中，還指出可以使用空間濾波器，根據用戶所處的環境，為雙聲道音頻加入空間線索，讓空間音頻的實際體驗更加身臨其境。
七，定位系統
◎超聲波定位
目前，主流VR定位基於光學方案，比如紅外、CV等等。在編號US20190094955A1的專利中，蘋果提出了一種基於飛時測距原理的超聲波定位方案，宣稱可測量傳感器與牆壁、目標、障礙物之間的相對測距，為周圍環境生成3D地圖，並定位手柄、頭顯，以及檢測障礙物、識別表面。
◎3D測距/掃描
蘋果不止一次在專利中提到，AR/VR頭顯可搭載多個3D傳感器，包括：結構光傳感器、雙目3D圖像傳感器模組（由2個或以上攝影機組成）、LiDAR、3D無線電傳感器、紅外或CV相機等等，這些傳感器可用來定位空間，也可以識別障礙物。
八，其它傳感器
◎ 多傳感器陣列
在2021年，USPTO曾曝光一項來自蘋果的關鍵AR/VR專利（US20210165229A1），其中描述了一種分體式、搭載多攝影機和傳感器的AR/VR頭顯。為什麼說它重要呢？首先專利發明者都是蘋果的一些關鍵人物，比如HoloLens聯合發明者Avi Bar-Zeev，以及在蘋果工作了二十多年的Geoff Stahl。據前不久彭博社爆料稱，Stahl目前在負責xrOS作業系統，是蘋果AR/VR項目背後一個關鍵推手。
除此之外，在編號US20210294104A1的專利中，蘋果還設想AR/VR頭顯可以搭載更多傳感器，比如度攝影機、眼球追蹤模組、雷射雷達、指紋識別模組、手勢識別模組、超聲波傳感器、光學距離傳感器、視網膜掃描傳感器、溫度傳感器、EMG、氧傳感器、心率傳感器、血流量傳感器、電阻式傳感器、應變儀、加速計、磁性傳感器、電位器等。
◎ 霍爾傳感器（編號US10557724B1）
通常，AR/VR頭顯採用距離傳感器來感知佩戴狀態，檢測到用戶佩戴頭顯後，便會開啟系統，而檢測到用戶摘掉頭顯後，則進入待機狀態。相比於距離傳感器，霍爾傳感器更省電，蘋果希望在頭顯中採用多個霍爾傳感器和磁性機制，通過檢測設備的旋轉角度，來判斷佩戴狀態。實際上，蘋果藍牙耳機AirPods也採用了霍爾傳感器。
九，外觀設計
◎數碼旋鈕
蘋果在多項專利中（比如US20210089136A1），曾提到數碼旋鈕設計在AR/VR頭顯上的應用。實際上，數碼旋鈕是蘋果產品的一個經典交互方式，此前曾出現在Apple Watch、AirPods Max耳機中，而應用在AR/VR頭顯時，它將可以調整音量、螢幕亮度，甚至可以切換AR和VR模式。
有趣的是，在編號US20230162929A1的專利中，蘋果中指出數碼旋鈕可支持更複雜的操作，比如將多次旋轉動作組合，觸發組合指令，實現更豐富的交互。
◎柔性智能紡織材料
目前AR/VR主要在外殼上採用織物包裹，還未應用導電的織物設計。在編號US20190191557A1的專利中，蘋果提出了一種柔性智能織物方案，特點是內置凹槽導電線纜，可應用於臂帶、AR眼鏡等穿戴設備中。
◎隱藏攝影機
光學傳感器、相機是AR/VR頭顯必要的組件，主要用於感知周圍環境、定位或是手勢識別。如果全天候佩戴AR眼鏡，那麼眼鏡上的相機、傳感器可能要長時間運行，而這可能引起周邊其他人的反感。為了讓相機看起來更隱蔽，蘋果在專利（編號：US20190353836A1）中提出了一種紅外透光單面鏡塗層，原理類似於警局問詢室常用的單面鏡，該塗層能透過紅外光（不影響SLAM定位），從外部看不到內部的攝影機。
◎ 外殼大面積觸控
在編號US20210089150A1的專利中，蘋果提出了一種大面積支持觸控的AR/VR頭顯外殼設計，特點是配備傳感器、滑塊按鈕、旋鈕等多種操作方式，支持靈活的外部操控。
而在其他的專利中，蘋果還提到某種肉眼不易察覺的「隱形」按鈕和觸控滑塊方案，用於優化AR/VR頭顯的產品美學設計。
◎ AR頭顯盒子
蘋果在多項專利中曾提出插入式AR/VR頭顯盒子設計，特點是可將手機直接插入有透鏡的鏡架中，在用戶眼前顯示內容。鏡腿處還可配備觸控傳感器，用於操作AR/VR界面。在2022年的一項更新專利（US11258891B2）中，還加入了新特性：支持AR（VST模式）/VR模式切換。
相比與集成式AR/VR頭顯，頭顯盒子的優勢是成本更低，可以靈活利用現有的iPhone手機，甚至還能保護看手機的隱私。不過從一系列爆料來看，蘋果似乎暫時不會推出這樣的產品。
◎模塊化AR眼鏡
在2020年公布的一項專利中，蘋果構想了一種比較超前的AR眼鏡產品設計，特點是鏡片、鏡架等部分高度模塊化，可替換和拆卸，比如根據不同的需求和場景，更換不同的部件，比如高解析度顯示模組、長續航電池、更小巧的元件等等。值得注意的是，AR鏡框與鏡腿之間採用插入式榫卯結構，用戶無需額外的工具輔助，自己就能組裝完整的AR眼鏡。這種玩法類似於Apple Watch的可更換錶帶機制，允許用戶將產品個性化。
◎ 可配置、擴展的AR/VR音頻系統（編號US20200089008A1）
支持變形泡沫材質的耳罩，通過充氣和放氣來改變音頻模式，好處是可以在降噪和穿透模式之間切換。在VR場景中，可快速切換至沉浸式音頻（降噪模式），而在AR場景中，則改為開放式音頻，通過骨傳導原理播放聲音。
◎鏡片保護模式
在2019年12月公布的一項專利中，蘋果工程師設想了一種防止AR眼鏡在跌落時鏡片破碎的保護機制。該方案可通過傳感器檢測AR眼鏡的狀態，當時別到正在自由落地、被撞擊時，便會啟動光學系統的保護模式，即移動相關鏡片，並在透鏡間隔填充空氣或特殊液體，來形成緩衝，從而降低碰撞帶來的意外損失。
而在編號US20210302745A1的專利中，蘋果還提出了一種光學模組自檢系統，當識別到跌落、碰撞等情況時，會自動檢測內部組件錯位情況，並自動進行位置補償，以恢復預設值。
有趣的是，蘋果在另一項專利（US11340466B2）中，還提出了一種彈性鏡框設計，特點是鏡腿可變形，在受到撞擊時可起到緩衝作用，避免光波導等光學模組變形。
◎頭顯綁帶優化
編號US20190072772A1：通常，用戶在佩戴AR/VR頭顯之前，需要針對自己的頭型去調節綁帶，這需要一個過程，因此不能像手機那樣拿出來就能用。如果是多人共享AR/VR頭顯，那麼每個人都要調整一次綁帶，比較麻煩。
為了簡化頭顯佩戴流程，蘋果在專利中描述了一種機械綁帶系統，特點是可識別用戶頭部參數，並自動適應尺寸。值得注意的是，該系統還會根據手勢、頭顯內容來調節，比如通過用戶手的位置來輔助摘掉、穿戴動作，而在運行不需要用戶移動的內容（比如看電影），綁帶就會放鬆。
除此之外，蘋果還在一項專利中提出了一種可摺疊頭帶系統（US11320659B1），特點是將柔性綁帶與磁吸模塊結合，特點是容易收納，支持模塊化擴展（比如將攝影機、電池、揚聲器等元件吸附在頭帶上）。
十，UX設計
◎主動散熱系統
編號US20190075689A1：為了提升散熱效率，Quest 2已經採用風扇來主動散熱。相比之下，蘋果專利中描述的方案具有更好的通風性，特點是在頭顯上下兩面各配置兩個風扇，以實現上下對流風，為內部零件降溫。
此外，該風扇系統可根據渲染任務動態調節強度，還能對面部吹風，為皮膚降溫。
而在2022年的一項專利中，蘋果進一步提出了一種風扇噪音控制系統，特點是可識別散熱系統的噪音，並實時調節風扇速度來降噪，以避免干擾用戶與接打電話、Siri語音助手交流。有趣的是，還可以加大風扇音量，來提示用戶周圍有障礙物。
◎ 光學部件自我清潔
我們知道，AR/VR頭顯通常基於精密的光學結構，如果在透鏡、顯示屏之間的縫隙進入灰塵或碎片，很可能阻礙光源傳播，進而影響顯示效果。然而，光學元件通常不好拆開，人為清潔困難。因此，蘋果在2021年公布的一項專利中指出一種可自我清潔的光學方案，其概念足夠簡單，主要是檢測光學質量，當出現問題時，便通過抖動將灰塵顆粒抖開，並安全的手機到用戶視線範圍外。
◎面部適配系統
編號US20200081259A1：蘋果提出了一種模塊化的頭顯面部支撐系統，特點是採用長度可伸縮的材質、充氣式材料，以及彈性橡膠材料，好處是可以根據不同人的面部結構（額頭、兩頰、太陽穴）調整，即使因頭顯晃動而出現面罩錯位，也可以通過調整貼合度來提升舒適感。
◎跨設備認證解鎖
在一項名為「認證設備輔助用戶認證」（US10893412B2）專利中，蘋果指出了一種多設備就近認證的方案，允許用戶佩戴AR/VR頭顯直接解鎖自己的iPhone，從而省去反覆穿脫頭顯、解鎖手機的步驟。這種跨設備之間的聯動設計，在Apple Watch上已經採用，可允許你快速解鎖iPhone或Mac電腦。除了解鎖外，你還可以通過頭顯鎖定手機等設備，還可以設置二次驗證機制。
在另一項編號US20210105614A1的專利中，蘋果也提到了類似的多設備認證、解鎖系統，允許用戶使用AR/VR頭顯解鎖附近的蘋果設備。
◎ 增強融合顯示
編號US10347050B1，蘋果提出了一種利用AR扭曲圖像來增強顯示效果的方案，其特點是通過識別用戶的視覺盲點，來用AR的形式改變真實環境的視覺效果，讓原本用戶看不到的內容，也能以某種形式可見。該方案基於眼球追蹤技術，需要使用3D深度感知來捕捉周圍場景。
◎頭顯無線感應充電
在編號US20200081490A1的專利中，蘋果提出了一種適用AR/VR頭顯的感應充電架，特點是可直接將頭顯掛在上面展示，或是將電池分離，放在架子上充電。這種設計的好處是，可以美觀的收納/展示頭顯，同時還能在不使用時充電，用戶隨時拿起來即可使用。
◎ AirPlay隔空播放
在多項專利中，蘋果曾提出將AR/VR頭顯與電腦、筆記本電腦、電視聯動的方案，概念類似於現有的AirPlay功能，可以快速在頭顯中同步周圍其他設備的螢幕（來播放影片、加載文檔、郵箱等等）。
◎毫米波通訊系統
在2020年的一項專利中，蘋果提出了一種基於毫米波的多人交互方案，特點是通過毫米波基站和多個中繼基站，來實現與電子設備之間的大規模無線通訊，比如向多台AR/VR頭顯串流內容等等。
十一，應用場景
在一些專利中，蘋果深入探討了AR/VR的多種應用場景，比如沉浸式觀影、AR導航、AR影片通話系統等等。
◎ AR通話（專利編號20160344972）
基於相機捕捉、生成3D模型，用於實現沉浸式遠程AR通話。該方案可用於iPad、Apple TV等設備，特點是可將通話者、通話者手上拿著的物體捕捉，並以虛擬形式呈現在影片中。
還會結合外部攝影機，搭載RGB圖像傳感器、深度傳感器、IR傳感器等，可識別空中手勢，用於簡化菜單操控方式。
◎ 虛擬助手
特點是具備上下文感知能力，利用電腦生成字符或圖像，用於提示、導航、顯示額外的資訊，輔助用戶使用AR/VR。除了視覺輔助外，虛擬助手也支持語音交互。
◎ AR導航
編號US20170213393A1：蘋果AR/VR頭顯可能支持視覺導航，比如現實場景中的建築、興趣點上標記額外的資訊，或是用AR標記車內的音響等各種功能。此外，支持手勢交互。該專利來自Metaio的技術，除了AR導航方案外，Metaio還為AR環境識別（3D環境捕捉，以及天氣、時間、坐標等數據識別）申請專利。
而在2018年另一份專利中，蘋果還曾提出可從多角度查看的3D AR地圖方案。
◎ AR體育轉播
編號US20200175275A1：為體育比賽轉播添加可交互的AR內容，豐富觀看體驗。該方案的特點是，需要使用外部設備來檢測觀眾的興趣點，並在此基礎上顯示額外的資訊，比如當你看對籃球員的鞋子感興趣，系統就會在電視上顯示球鞋的資訊，還可以AR的形式展現球鞋模型，允許觀眾從多角度查看。
◎ 低延遲色度摳像
Zoom等影片軟體已經支持背景替換功能，而在VST混合現實頭顯中，背景替換也可以得到很好的應用，比如將眼前的人、物體與實際背景風格，並實時替換為虛擬背景。與常見的背景替換方案不同，蘋果專利方案更立體，可渲染3D背景，而非2D圖像。
◎ 與電腦協同
在一些專利中，蘋果提到了AR/VR在辦公場景的應用，比如搭配Mac電腦，利用虛擬屏來擴展電腦螢幕的顯示區域，或是將電腦螢幕內容顯示在頭顯中，以保護用戶隱私，防止窺屏。
◎ 手機等連接AR/VR頭顯（編號US20190065027A1）
描述了某種分體式觸控交互方案，即使用手機等具備觸控板、觸感按鍵和顯示屏的設備，來操控AR/VR頭顯顯示的內容。換句話說，將iPhone作為AR/VR頭顯的手柄，這可以看做是手勢、手柄之外的另一種交互方式，而且可以很好的融合蘋果全家桶設備。
◎ 360°影片編碼/解碼技術
專利編號20190004414，指出了一種自適應解析度和投影格式，特點是預設了多種編碼配置方案，可根據成像效果選擇是否插幀，從而提升360°和MR影片渲染質量。
這些專利只是冰山一角，我們無法給出蘋果XR設備的最終形態和功能。本文只是拋磚引玉，通過這些專利給大家一些線索和啟示。蘋果XR設備有待揭曉，期待在WWDC23讓我們一睹芳容。
