儘管 Meta 尚未正式開放其 Quest 頭顯內置攝像頭的第三方開發權限,但近期 XRWorkout 聯合創始人兼首席開發者 Michael Gschwandtner 提出了一種權宜之計,即通過利用 Quest 的投屏功能結合 WebView 加載特定網址來間接實現攝像頭內容的訪問。然而,這一方法不僅要求用戶繁瑣地登錄 Meta 賬戶並手動啟動投屏,還限制了用戶體驗的流暢性。
在此背景下,另一位 VR 開發者 Julian Triveri 發現了一種更為高效且無需 WebView 或投屏介入的新途徑,簡化了流程並消除了登錄和操作的複雜性。
Triveri 運用了 Android 媒體投影 API,這一在 Quest 頭顯上可用的技術,原本用於螢幕捕捉,但被他創造性地應用於直接獲取攝像頭數據。儘管該 API 提供的 1024x1024 解析度及約 82 度的中心視角相較於投屏模式略有不足,但對於運行複雜的電腦視覺模型而言已足夠使用。
用戶授權是這一方法實施的前提,但一旦獲得許可,應用程序便能無縫接入並處理用戶眼前的實時畫面。Triveri 在 GitHub 上分享了這一技術的開源演示代碼,還展示了其在實際應用中的潛力,如通過該技術實現 AprilTag 追蹤功能。
值得注意的是,由於技術限制,當 Quest 頭顯處於錄屏或投屏狀態時,此方法將無法使用,因此 Triveri 採用了 PC 端錄製作為替代方案。此外,捕獲的畫面中可能包含虛擬元素與界面資訊,這可能對某些電腦視覺任務的精度造成一定影響。
Triveri 的這一發現無疑為 Quest 應用程序訪問攝像頭功能開闢了新徑,同時也引發了業界對於 Meta 未來政策走向的猜測。Meta CTO 博斯沃思在近期採訪中的表態,透露出公司正積極考慮賦予開發者直接訪問透視攝像頭的權限,並承諾將持續關注此議題,為開發者社區帶來積極信號。
相比之下,蘋果在攝像頭訪問權限上採取了更為保守的策略,目前僅向企業用戶開放 Vision Pro 頭顯的原始攝像頭數據訪問,且嚴格限制於內部非公開應用。