宅中地 - 每日更新
宅中地 - 每日更新

贊助商廣告

X

佳能VR通話體驗:低門檻臨場通訊方案,但延遲、建模問題明顯

2023年04月20日 首頁 » 熱門科技

此前,佳能曾在CES 2022上展示了一種沉浸式、交互式的VR通話方案:Kokomo,該方案的特點是兼容VR頭顯和手機,允許VR用戶和非VR用戶在3D場景或VST模式中通話。近期,該方案推出了搶先預覽版本,部分外媒對其進行體驗,並分享了實際體驗感。

 

佳能VR通話體驗:低門檻臨場通訊方案,但延遲、建模問題明顯

 

據了解,Kokomo的原理聽起來很簡單,只需要一部手機和一台VR頭顯,比如Quest 2。不過,它具體是如何操作的呢?原來,該方案允許VR用戶使用寫實的3D Avatar與其他VR用戶進行通話,整個過程如下:

首先用手機端app掃描人臉,並生成寫實的3D人像模型,該模型將代替VR用戶被頭顯遮住的面部。接著,你需要輸入身高,以調整3D虛擬形象的尺寸。

3D形象生成後,Kokomo允許你選擇沙漠等虛擬場景,然後便會在場景中疊加你的3D形象。不過由於3D圖像分割、建模等技術局限,Kokomo中顯示的3D人像並不完美,大部分時間有明顯的圖像缺失,模擬頭顯下面部的效果也不佳(只有20%時間有效)。

在進行通話時,VR用戶需要將手機放在面前幾步遠的位置(大概腰的高度),並戴上VR頭顯。VR中會顯示其他VR用戶的虛擬化身,而這些虛擬化身的動作,則是由手機攝影機來實時捕捉。

儘管這種設置看起來比較複雜,但實際上比以往需要使用專業動捕、容積攝影工作室的方案成本更低,更容易使用。如果未來Kokomo的實時建模效果能繼續提升,將有望成為一種很好的低門檻遠程呈現(telepresence)方案。當然,實時傳輸3D內容在延遲等方面依然存在問題,短期內可能難以解決。體驗者表示:在測試過程中,與我通話的虛擬化身刷新率可能只有3-4fps,通話體驗並不順暢,打破了沉浸感。

Kokomo的另一個問題是,儘管加入了預先3D建模流程,但在通話中卻僅以2D形式顯示虛擬化身,這可能是出於對算力、數據傳輸限制的考慮。

因此,現階段佳能不打算對Kokomo服務收費,而是希望從早期用戶使用中獲得反饋,進一步完善產品。

宅中地 - Facebook 分享 宅中地 - Twitter 分享 宅中地 - Whatsapp 分享 宅中地 - Line 分享
相關內容
Copyright ©2025 | 服務條款 | DMCA | 聯絡我們
宅中地 - 每日更新