Esther | 編輯
和2D顯示屏、手機螢幕相比，VR圖像為什麼看起來更加沉浸、立體呢？一方面是透鏡將左右眼圖像結合，形成3D視覺效果，而另一方面則歸功於螢幕畫面與頭部追蹤的同步作用。
簡單來講，就是VR會根據用戶頭部的位置和朝向來改變其眼前的畫面，每一幀畫面對應了用戶觀看眼前場景的不同視角，從而模擬人眼3D視覺效果，營造一種立體、沉浸的感覺。
換句話說，假如你看傳統電腦顯示屏，不管從哪個角度看它，螢幕上的圖像觀感都是靜止的。當然，我們也可以通過動態渲染和模擬，來營造一種裸眼3D的感覺，比如任天堂3DS就通過雙攝影機，來捕捉人眼雙目視差，從而形成3D觀感。近期，電商平台Shopify的「空間商務項目」團隊就研發了一種類似的技術，該技術名為WonkaVision，特點是用2D顯示器實現裸眼3D視覺效果，且成本低，通過電腦攝影機來追蹤用戶頭部，從而將電腦螢幕的靜止畫面變得立體。
據了解，WonkaVision靈感來自於谷歌工程總監Johnny Lee在15年前的一個發明，當時Lee經過改裝，將任天堂Wii控制器變成了紅外頭部追蹤裝置，用來定位穿戴在用戶頭上的傳感器，並利用捕捉到的頭部資訊，將2D螢幕變成了跟隨頭部變化的裸眼3D效果（宣稱是「VR效果」）。儘管Lee的改裝發明獲得網友普遍好評，給人留下了深刻的印象，但它幾乎從未被商用。據悉，Lee此前曾參與過微軟Kinect項目，也曾是Google Tango的負責人，而現在則在谷歌從事AR設備和體驗管理。
改進的裸眼3D方案
為了改進Lee的設計，Shopify想用電腦攝影機來取代Wii控制器，並將裸眼3D程序在瀏覽器中運行。Shopify表示： 如果使用電腦攝影機就能實現Lee的方案，那麼它將被更多人使用，甚至可能帶來全新的網路交互體驗 。未來可以和電商平台很好的結合，比如打造虛擬界面、立體的商品預覽等等，如將品牌網站打造成立體的虛擬店面，允許消費者查看店面中的商品，就像是在線下逛商場的感覺。
值得注意的是，WonkaVision並非通過紅外信號定位頭部，而是通過攝影機來追蹤用戶的眼球。通常電腦攝影機為單目方案，於是項目組採用谷歌MediaPipe Iris眼球追蹤模型，它使用單個RGB攝影機就能定位人眼的位置，以及瞳孔的特徵點，無需藉助專門的硬體。 基於此，WonkaVision可預測出人眼和攝影機之間的相對位置，相對誤差小於10% 。
不過由於MediaPipe Iris並沒有開源的JavaScript，所以不能在網頁端運行。於是，Shopify改用MediaPipe Face Mesh，來測量攝影機與人眼之間的距離，經驗證其準確性對WonkaVision足夠用。以下是它的流程：
MediaPipe Face Mesh檢測瞳孔周圍四個點（上下左右）；
結合四個點距離，以及瞳孔平均寬度（11.7毫米），來預測用戶瞳孔參數；
結合瞳孔參數和攝影機參數，通過簡單的針孔相機模型方程，來計算出人眼在空間中的深度/距離，從而推算出其X、Y坐標。
通過檢測黑白棋盤四角，來計算攝影機參數
利用DIY方式驗證瞳孔距離預測的準確度
將螢幕變成虛擬窗口
通過WonkaVision，Shopify希望那個將2D顯示屏變成一個「窗口」，就像是當你透過窗戶查看外面立體景色那樣，螢幕顯示的畫面會跟隨你的視角、距離而變化，看起來就像窗外的景色。
在解決眼球追蹤功能後，Shopify團隊在遊戲引擎中建立了一個3D場景，並將該場景與螢幕邊緣對齊，將攝影機的位置作為起始點。也就是說，該場景顯示在螢幕上的每一幀，都是根據人眼和螢幕/攝影機的距離來改變。
為什麼要將虛擬場景和物理螢幕對齊呢？Shopify解釋，為了讓螢幕有窗戶的效果，則需要假設螢幕邊框存在於虛擬世界中。與此同時，還在人眼（右眼）的位置設置了一個虛擬相機，這樣虛擬相機就能捕捉到，在人眼位置看3D場景的效果（看起來具有遠近深度）。
同軸和離軸透視
在這個方案中，Shopify還探索了3D成像的同軸、離軸透視問題。
如果WonkaVision的虛擬相機使用軸上透視投影方案，那麼視椎體看起來像是形狀不變的金字塔，它的問題是窗框外邊的虛擬場景也會透出來。那麼如果 使用離軸透視投影矩陣，虛擬相機的視椎體則看起來像是不對稱的金字塔，底部固定在虛擬窗口上，從正面看起來視覺效果理想 ，虛擬場景的內容會根據視角和距離而變化，窗口邊緣外的虛擬內容不可見。
另外，WonkaVision的虛擬相機位於右眼，而非雙眼中間。這是因為它追蹤雙眼位置來渲染3D效果，而非定位整個頭部。但它有一個局限，就是只能將虛擬相機放在一隻眼睛的位置，觀看時需要閉上另一隻眼睛。而如果將虛擬攝影機放在雙眼中間，則無法準確計算雙目視差，導致深度錯覺感消失。Shopify表示： 虛擬攝影機放在雙眼中間時，依然能生成有趣的效果，但立體感不夠理想 。
實際上，VR頭顯就基於類似原理。VR會將同一個場景渲染兩次，分別對應左右眼，並分別顯示在螢幕左側或右側（或是左右兩塊螢幕）。而對於WonkaVision來講，由於只有一塊螢幕，因此便僅從一隻眼的角度來進行渲染。
最終原型
經過驗證，WonkaVision視覺效果自然，看起來就像從螢幕中衝出來一樣。未來，除了虛擬商品、店面展示外，WonkaVision也可以為動畫、遊戲等內容帶來有趣的3D視覺體驗，比如用肉眼感知殭屍從螢幕裡面走出來的感覺。
不過與Lee的方案類似，WonkaVision也存在一些局限，導致其難以被廣泛應用。Shopify指出， 雖然解決了硬體成本問題，但攝影機參數很難計算，而且螢幕的尺寸各不相同，因此難以適配。此外，它還有一些局限，比如需要閉上一隻眼才有好的效果，這無疑為用戶體驗帶來了門檻 。
儘管WonkaVision可以在網頁端運行，但它依然不適合廣泛使用，因為目前僅適用於一種螢幕尺寸，和一種固定的攝影機參數。除非能夠輕鬆獲得任何攝影機參數，以及螢幕尺寸，否則這種3D模擬方案將很難成為主流。
參考：
https://shopify.github.io/spatial-commerce-projects/WonkaVision/
每天五分鐘，輕鬆了解前沿科技。
——
