宅中地 - 每日更新
宅中地 - 每日更新

贊助商廣告

X

蘋果MR頭顯背後的秘密武器,ARKit演進歷程一覽

2023年05月25日 首頁 » 熱門科技

蘋果MR頭顯可以說是板上釘釘了,看了這麼多的預測,幾乎沒有從ARKit的角度來看蘋果頭顯的,因此本文我們將回顧ARKit近7年來的發展歷程。

實際上,ARKit 3.5開始支持LiDAR(首個搭載的設備是iPad Pro 2020)就是為AR/VR頭顯籌備的重要一步,因為LiDAR可以實現更快距離探測實現即時AR交互,虛擬物體定位更精準,也帶來了比如更逼真的遮擋效果提升沉浸感,還有更好的場景幾何理解能力,為結合現實環境的MR交互提供基礎。同時還有更重要的多物體AR交互能力,可以實現複雜AR場景。這些讓蘋果的AR體驗實現了房間級的AR交互(實際上,這個概念至今沒有多少媒體引用)。

去年發布的ARKit 6基本就印證了蘋果VST設備的策略,比如:支持4K解析度顯示、支持相機曝光調節、支持HDR錄製等。以相機曝光調節為例,結合「數碼旋鈕」可以實現在VR和AR無縫切換能力,這個功能也是近半年被爆出蘋果MR的一個重磅功能。其它功能也基本圍繞「影片透視」的能力展開,非常容易聯想到VST模式。

雖然說ARKit在iPhone和iPad並沒有激起波瀾,但將在蘋果AR/MR頭顯上發揮重要作用。而且因蘋果具備極強的軟硬體整合能力,這些AR能力至今都是業內一流。

 

蘋果MR頭顯背後的秘密武器,ARKit演進歷程一覽

 

從2017年開始,蘋果每年都會在WWDC活動上發布新版ARKit,截止去年已經更新疊代至ARKit 6,今年WWDC不出意外蘋果MR頭顯即將發布。
那麼在此之前,也許我們可以通過ARKit的技術演變,來看看蘋果的AR/VR策略,甚至猜猜未來哪些可能會體現在頭顯硬體上。

 

蘋果MR頭顯背後的秘密武器,ARKit演進歷程一覽

 

ARKit重要功能一覽

ARKit 1(iOS 11)

第一個版本的ARKit支持的功能不多,但在當時是開創性的,它用法簡單、性能優秀,允許開發者iPhone、iPad打造AR應用。ARKit 1使用視覺慣性里程計(VIO,一種融合相機和IMU數據實現SLAM的算法)來追蹤周圍物理場景,無需額外校準,就能可靠提取基於初始點的位置和方向變化。

 

蘋果MR頭顯背後的秘密武器,ARKit演進歷程一覽

 

此外還支持光照估計和渲染(由來優化AR外觀),以及場景理解功能,比如檢測水平面,並使用iPhone X的前置攝影機追蹤人臉。通過ARKit 1,開發者可以將虛擬家具放置在真實場景中,或是允許用戶在餐廳中踢AR足球。而面部追蹤功能,則讓Snapchat等AR濾鏡更容易實現。

ARKit 1在A9和A10處理器上運行,支持Metal、SceneKit、Unity、Unreal等3D渲染引擎。

ARKit 1.5(iOS 11.3)

此前,ARKit 1隻能識別桌面、椅子等水平表面,而ARKit 1.5則加入對牆體、房門等垂直表面的識別支持,允許開發者在垂直表面上固定AR內容。此外藉助電腦視覺技術,對圓形家具等不規則表面的檢測效果更準確,也能識別空間內的標誌、海報、插圖、二維碼等2D圖像,並調出對應的AR內容。

 

蘋果MR頭顯背後的秘密武器,ARKit演進歷程一覽

 

 

本次更新還改進了AR整體的質量,比如圖像解析度提升50%,支持自動對焦,更準確的房間測繪,讓AR內容看起來更真實。

ARKit 2(iOS 12)

在WWDC 2018上,推出ARKit 2,還推出了一個與皮克斯合作開發的AR格式:USDZ,以及AR快速預覽功能(AR Quick Look)。

 

蘋果MR頭顯背後的秘密武器,ARKit演進歷程一覽

 

ARKit 2性能升級部分:1,改進的人臉追蹤效果;2,更逼真的渲染處理能力;3,3D控制項檢測能力;4,對象持久保持的能力;5,可共享的多人AR能力(基於本地設備到設備的數據傳輸,非雲端。現場演示了樂高多人AR遊戲)。

 

蘋果MR頭顯背後的秘密武器,ARKit演進歷程一覽

 

 

據了解,皮克斯此前曾開發可擴展的開源3D說明文件格式:USD,而USDZ則是針對AR的文件格式,特點是採用嵌入式設計,可快速預,目的是為了簡化AR文件的訪問和共享流程,而通過嵌入到app或網頁中,可以很好的打通蘋果全家桶生態。

蘋果還推出了AR測量app《Measure》,可使用相機視覺預測物體尺寸、體積等數據,比如相框中相片的大小。

ARKit 3(iOS 13)

在WWDC 2019上,蘋果不僅推出ARKit 3,還發布兩個新的AR開發工具:RealityKit和Reality Composer,目的是補充ARKit,簡化3D場景創建,提高AR交互場景的開發速度和效率。

 

蘋果MR頭顯背後的秘密武器,ARKit演進歷程一覽

 

ARKit 3更新包括:同時使用前置和後置相機來定位、動作捕捉、人體遮擋、更快的參考圖像載入、自動識別圖像尺寸、視覺連貫性、更穩定的3D物體識別、多人面部追蹤、多人實時協作、識別高達100張圖像、HDR環境紋理、AR Coaching UI,以及AR快速預覽支持更多機型,並支持錄製影片、啟動Apple Pay、空間音頻等功能

 

蘋果MR頭顯背後的秘密武器,ARKit演進歷程一覽

 

 

RealityKit可以在真實場景中以AR形式展示3D控制項,從而快速實現AR場景融合。該工具主要有5大亮點:1,照片級渲染效果;2,支持環境和相機特效;3,支持動畫、物理、音頻等特效;4,整合ARKit;5,原生支持Swift API。

而Reality Composer則是一個3D場景創建工具,特點是通過拖拽、點擊等簡單操作,即可生成交互式AR場景。該工具內置大量3D內容資料庫,還可與Xcode和iOS應用配合使用,從而實現AR場景快速預覽、微調,大幅提升效率。

ARKit 3.5(iOS 13.4)

隨著搭載LiDAR傳感器的iPad Pro在2020年發售,蘋果也推出了ARKit 3.5,其中包含了多個功能:場景幾何(Scene Geometry)API、即時AR體驗,此外還改進了動作捕捉和人體遮擋功能。這些功能和特性基於LiDAR硬體來實現,因此僅支持搭載LiDAR的iPad或iPhone型號。

 

蘋果MR頭顯背後的秘密武器,ARKit演進歷程一覽

 

場景幾何API:可實時捕捉場景中的3D物體(地板、牆壁、天花板、窗戶、門、桌椅),並構建3D場景模型,提升整個場景的3D識別能力。

即時AR體驗:在開啟AR模式時,無需左右掃描場景即可快速、實時放置AR對象。

ARKit 4(iOS 14)

從ARKit 3.5開始,ARKit的新功能主要圍繞LiDAR等硬體技術展開,在此基礎上,ARKit 4小幅更新,主要帶來以下功能:深度API、位置錨定、AR影片紋理,同時面部追蹤支持更多設備。

 

蘋果MR頭顯背後的秘密武器,ARKit演進歷程一覽

 

 

深度API:通過LiDAR對每個像素的深度資訊進行分析,並與場景幾何的3D網格數據結合使用,讓虛擬物體與現實物體的融合更逼真、自然。同時,還可進一步提升AR測距應用的準確性;

 

蘋果MR頭顯背後的秘密武器,ARKit演進歷程一覽

 

 

位置錨定:基於Apple Maps數據,可將高解析度AR內容(LBS AR)持續固定在現實場景/位置,例如一個著名景區,通過位置錨定即可為AR虛擬物體加上經緯度、海拔等資訊,從而與地理位置永久性的融合。

此前,ARKit 2已經支持持久性AR,與位置錨定不同的是,持久性AR基於保存與加載地圖特性,利用了視覺定位,而沒有結合地圖GPS數據。

影片紋理:可將影片紋理添加到RealityKit場景中任意部分,讓物理對象、表面、人物看起來更生動。

面部追蹤擴展:支持使用A12 Bionic及更新晶片的設備,但在特定的設備上,面部識別功能依然受限,比如iPhone SE僅支持單用戶追蹤,而具備原深感相機TureDepth的設備可同時識別追蹤三個人臉資訊。

ARKit 5(iOS 15)

在WWDC 2021期間,蘋果低調更新了ARKit 5,同時也推出了RealityKit 2。

 

蘋果MR頭顯背後的秘密武器,ARKit演進歷程一覽

 

 

ARKit 5新功能主要有四點:1,位置錨定支持更多地區;2,人臉追蹤功能升級(支持更多A12晶片設備,在配備深感相機設備中,支持3人面部追蹤);3,改進運動追蹤;4,AR綁定App Clip Code二維碼。

而RealityKit 2新功能則包括:1,3D掃描(Object Capture API);2,自定義著色器;3,動態加載方式;4,系統模塊定製;5,虛擬角色控制器。

 

蘋果MR頭顯背後的秘密武器,ARKit演進歷程一覽

 

 

Object Capture API是RealityKit 2的一大亮點,該功能旨在統一、簡化3D掃描和建模的流程,同時更加充分利用LiDAR能力。據稱,該API可在幾分鐘內輸出USDZ格式的高質量3D模型,支持AR快速預覽,也可以導入Reality Composer等其他工具。

ARKit 6(iOS 16)

在WWDC 2022期間,蘋果依舊低調更新ARKit 6,本次更新的重磅功能包括:4K解析度,HDR錄製,實時調節相機曝光、白平衡等參數,這些功能對VST透視AR體驗相當重要,未來能否應用於蘋果MR頭顯則令人期待。此外,還加入了前攝 後攝融合玩法,可通過前攝捕捉人臉,然後基於後攝拍攝背景,實現一些另類的玩法和交互。

現有的功能也得到優化:改進了運動追蹤,現支持識別左右耳朵,優化了姿態檢測功能,可以自動估算好拍攝場景中物體的大小,並實現穩定的追蹤效果,提高3D物體檢測的魯棒性。

ARKit 6依然只是小幅更新,一方面是因為該技術本身已經領先競爭對手,另一方面,按照蘋果的設計思路,軟體方面新功能大概率需更強大的硬體做支撐。

 

蘋果MR頭顯背後的秘密武器,ARKit演進歷程一覽

 

 

4K解析度、HDR錄製可為影片拍攝和分享、電影製作等場景帶來價值,與此同時,也可以實現更好的VST混合現實效果。以往在談到移動AR時,更多關注的是3D AR內容的清晰度、逼真度,以及與物理場景的自然交互/融合。而實際上,移動ARden影片背景清晰度也同樣重要,對於VST頭顯來講更是如此,清晰的影片透視可減少長時間體驗的視覺疲勞。此外,ARKit 6帶來的實時調節相機曝光、白平衡、對焦功能,對於沉浸式AR體驗也很重要,比如可以把現實場景調暗等等操作。

甚至,如果還可以設置不同的焦點切換(這一點暫時沒有明確),還能基於此實現引導注意力轉移等玩法,對MR遊戲的虛實融合類交互幫助很大,想像空間很大。

 

蘋果MR頭顯背後的秘密武器,ARKit演進歷程一覽

 

蘋果還發布了新的AR工具:RoomPlan API,特點是基於ARKit和Swift API,硬體基於LiDAR設備,可通過掃描房屋場景進行3D規劃,適用於房地產、建築、室內設計、電子商務、酒店管理等行業。掃描後可導出USD或USDZ格式文件,文件中資訊包括:房間中識別到的組件尺寸,家具類型等,並可在C4D、AutoCAD、Shapr3D等進一步編輯。

至此,蘋果AR生態由5大套件組成:ARKit、RealityKit、RoomPlan、AR創作工具(Reality Composer、Reality Converter、Xcode和USDZ工具)和AR Quick Look。

在LBS AR、VPS領域,蘋果也有布局,但全新設計的蘋果地圖在全球覆蓋率上不如谷歌地圖。比如此前蘋果曾推出類似谷歌街景的Look Around功能,可實現基於VPS原理的AR導航等功能,但AR導航僅支持十幾個城市。

此外,蘋果在WWDC 2022上還推出了MapKit,允許開發者在AR應用中調用原生地圖能力,推動LBS AR應用。

從ARKit的一次次更新中,一個重點是打通3D內容格式(USDZ),另一方面則是利用LiDAR模組優化AR性能。如無意外,蘋果未來的AR/VR頭顯也將支持大量的LiDAR功能和應用。比如可以預見的是,圖像識別、文字語言翻譯、單位轉換、價格識別等基於攝影機的玩法,未來很可能會作為MR/AR頭戴設備的基礎功能。

由此可見,ARKit打磨6-7年時間,蘋果藉助現有硬體已經支持相機動態調焦,以及曝光、白平衡等參數調節。而且,在相機、影片錄製上有明顯優勢,顯然蘋果的VST方案上限可能會很高,就像是早年間的安卓手機和iPhone拍照的差別。
接下來,蘋果要做的就是AR/VR頭顯端的內容生態,這也直接影響著用戶對這款產品的關注程度。

宅中地 - Facebook 分享 宅中地 - Twitter 分享 宅中地 - Whatsapp 分享 宅中地 - Line 分享
相關內容
Copyright ©2025 | 服務條款 | DMCA | 聯絡我們
宅中地 - 每日更新