蘋果在其 Vision Pro 項目上展現了非凡的創新力,據統計,已為該設備申請了超過 5000 項專利,美國專利局幾乎每周都會公布數十項與之相關的專利資訊。近日蘋果兩項專利公布,一項關注於在不同光照條件下管理手部摳圖的技術,另一項則涉及用戶特定手部網格與紋理的獲取與渲染。

第一項專利是基於光照條件的手部摳圖管理。這項技術能夠智能地根據圖像數據中的亮度情況,決定是否需要執行手部摳圖。當圖像數據中的亮度達到某一設定閾值時,系統會自動提取手部,並將其與虛擬內容進行混合,從而創造出逼真的視覺效果。
然而,如果亮度過高,達到禁用閾值,系統則會選擇不執行摳圖,而是直接將原始圖像數據與虛擬內容結合,以避免因光線過強而導致的摳圖失真。在此情況下,最終圖像將採用另一種方式來表示手部位置,確保視覺效果的連貫性。
第二項專利則聚焦於用戶特定的手部網格與紋理的獲取。通過註冊過程,系統能夠捕獲用戶手部的代表性視圖,進而確定特定於用戶的幾何形狀和紋理。這些個性化的數據將被用於生成用戶特定的手部網格和紋理,從而在後續的手部跟蹤和渲染過程中,提供更加真實、自然的手部虛擬表示。

專利圖 8 和圖 9 分別展示了包含渲染的手部網格和虛擬內容的合成圖像視圖,以及包含手部虛擬表示和虛擬內容的合成圖像視圖,直觀地展示了這一技術的實際效果。
此外,專利圖 7B 還詳細描繪了使用手部網格將攝影機捕捉的圖像數據與虛擬內容混合的示例流程圖,揭示了這一技術背後的複雜邏輯和精細操作。