此前，NVIDIA公布了一項與斯坦福大學合作研發的全息VR顯示方案，該方案的特點採用了純相位SLM元件和全息光波導技術，可將光學模組做到僅2.5毫米厚，並進一步縮短光路，可打造出支持3D顯示的超薄VR頭顯。該方案的研發者之一、斯坦福大學博士後研究學者Yifan Peng，和另一組科研人員又發表了新的VR研究，而這一次的研究重點是解決VR頭顯的動態變焦問題。
VST透視
我們知道，在使用HoloLens 2 AR頭顯時你很難用手與AR實現自然互動，這是因為它將AR固定在2米外的焦點平面上，如果按照物理規律，使用者的手臂本來應該碰不到AR，但實際上AR幾乎永遠疊加在物理場景之上，總是看起來可以比你的手離你更近。
這就容易產生一種視覺焦點不匹配的問題，AR並不能體現距離和遮擋之間的物理關係，所以看起來不夠自然，反而有點失真。而人眼看自然環境時，聚焦的位置一直是隨著眼球運動而變化的。實際上，動態變焦問題一直困擾著AR，由於光學方案、體積等局限，目前市面上還沒有一款AR頭顯能夠在無限的距離上動態變焦。相比之下，基於影片透視的AR/VR頭顯似乎更有可能解決這一問題，比如可以通過液晶透鏡來實現變焦，或是通過算法來模擬變焦效果。
Meta將發布的Project Cambria VR頭顯將支持高質量的RGB影片透視功能，意味著未來影片透視AR也將是Meta探索的一大方向。那麼要提升影片透視AR的視覺效果，除了高清、RGB顯示外，也難免要解決動態變焦的問題。Meta很可能會為Cambria配備液晶透鏡來實現變焦。
斯坦福新研究方案
在本項研究中，科研人員表示：相比於光學透視，影片透視AR的優勢在於視場角更大、支持物理遮擋、更優秀的色彩和對比度表現等等。為了進一步提升影片透視AR的效果，便研發了一套變焦方案，可實現高質量、連續的變焦。
據悉，該方案利用「焦點提示」來模擬變焦效果，從影片演示來看，其質量相當出色，AR圖像可以從遠景來到近景，並停留在你手上，視覺效果足夠自然。
硬體方面，該VR頭顯原型配備了兩組螢幕、兩組可電力調節的液晶透鏡（供應商為Optitune優普鑫），透鏡分別用於攝影機調焦、顯示圖像調焦。而螢幕則包含4塊2.9英寸LCD面板，單塊解析度為1440x1440。眼球追蹤模組則採用200Hz刷新率方案，供應商為Pupil Labs。雙層LCD的變焦設計好處是對眼球追蹤誤差容忍度更高，效果比單層變焦螢幕更好。
此外，還配備了6DoF定位器、手勢追蹤模塊、攝影機、可變焦透鏡、眼球追蹤模塊，值得注意的是該VR頭顯採用了兩套可變焦透鏡，分別位於顯示屏內側和外側。其透視模組包含了現成攝影機、定焦鏡頭和聚焦可調透鏡。可變焦透鏡可將LCD圖像顯示在使用者的輻輳距離，以實現焦點匹配。
為了彌補AR圖像在運動過程中的焦距變化，該方案還能根據此前捕捉到的圖像，合成焦距堆棧。將AR圖像與運動的物體疊加時，可能會產生鬼影等視覺瑕疵，在移動物體的邊緣鬼影更加明顯。為了改善這一問題，科研人員調整了每幀像素，以確保移動物體的像素在前一幀和後一幀圖像中是連貫對齊的。
彌補眼球追蹤誤差
基於該VR原型，還設計了一種叫「注視跟隨多層顯示」方案，優勢是結合了變焦和分層顯示器的優勢，在眼球追蹤精度和準確性有限的情況下，依然能為大規模AR場景渲染高質量變焦。除了變焦外，還支持注視點渲染。
此外，可實現高解析度和緊湊外觀設計，而且可根據眼球追蹤捕捉到的視覺焦距，來調整顯示層的焦距。
與傳統可變焦顯示屏相比，注視跟隨多層顯示方案可允許更多眼球追蹤誤差，聚焦效果更準確。為了加速多層顯示方案的計算效率，科研人員還構建了一個MR焦距堆棧架構，可驅動多層顯示方案實時捕捉和渲染，以捕捉、渲染和顯示具有焦點信號AR，並在顯示面板之間任何距離對焦。這是一個完整的端對端捕捉、渲染和顯示流程，硬體方面可採用市售的元件和計算技術。
科研人員表示：即使現有的眼球追蹤效果有限，也能實現足夠好的變焦效果。為了彌補眼球追蹤系統的誤差，還引入了基於眼球追蹤的多層VST顯示模組，可捕捉焦點堆棧，來調節多層顯示屏之間的距離。焦點堆棧可創建高質量焦點線索，同時其數據的密集度遠低於完整的光場，且簡化了VST影片捕捉，可使用時間多路復用，因此計算量足夠小，在單個GPU上就能運行。
利用液晶透鏡捕捉到的模糊來補償焦點堆棧中的圖像運動，好處是可避免偽影，響應速度更快。多焦距顯示屏的位置可自適應調整，好處是可支持更多焦距，對眼球追蹤誤差容忍度高。
在測試過程中，科研人員為單眼各配備一個GPU，可實現1024x602解析度，30毫秒更新率。每個堆棧包含7層圖像。可補償1°眼球追蹤誤差。顯示面板數量可拓展，2、3個足夠用。未來，可以更換響應速度更快的顯示屏、具有HDR和高解析度的相機，來提升VST透視效果。參考：Yifan Peng
