Esther | 編輯
如何利用2D圖像直接生成3D？在3D遊戲盛行、AR/VR和元宇宙受關注的當下，這似乎是一個亟待解決的問題。不管是對於3D平台，還是3D內容開發者，都難免面臨著缺少內容資源的困擾。
除了手動3D建模外，遊戲工作室通常也會採用攝影測量法來生成物理場景的3D數據，但這個過程同樣複雜繁瑣，不僅依賴人工設置拍攝方案，掃描後期的合成部分還需要烘焙、紋理參數化等多個手動調整步驟。而且硬體成本高、渲染管道複雜等等。因此，如果可以將現有的大量2D圖像自動轉化或合成為3D，那麼將有望縮減大量的人工3D建模時間。
為了解決這一問題，谷歌這些年來一直在探索NeRF方案，也就是神經輻射場的3D合成技術。對於谷歌來講，構建未來的3D地圖、AR導航等應用，將需要大量3D物理場景數據，而通過NeRF模型，似乎可以直接將2D網圖、自動駕駛汽車傳感數據轉化成3D環境模式。除此之外，谷歌在NeRF基礎上還研發了mip-NeRF 360技術，可根據多張2D照片合成支持360°查看的場景內部結構和3D物體。
儘管如此，NeRF方案中的幾何、材料和照明數據通常與神經網路糾纏，無法直接支持場景編輯。而且還需要使用Marching Cubes等工具，從神經網路中提取幾何圖像，才能在傳統圖形引擎中應用。這可能會導致較差的表面質量，尤其是在三角形數量較少的情況下。即使神經算法模型可以分割形狀、材質和照明資訊，目前其效果還不夠理想，3D重建的質量較差。
因此，為了自動生成可直接導入圖形引擎的3D模型，NVIDIA在今年的IEEE CVPR會議上公布了一項新的方案：3D MoMa。與市面上其他3D合成方案不同，3D MoMa可生成三角網格組成的3D模型，並可直接導入圖形引擎。這項方案的重點是，可直接導入支持三角形建模的3D建模引擎、遊戲引擎、電影渲染器，可以在手機、瀏覽器上運行。3D MoMa生成的3D模型自帶三角形網格，這也是3D開發通用的語言，而將3D模型生成自動化，將有望加速藝術、遊戲、影視等內容創作。
這意味著，不需要人工建模，就可以直接將2D圖片轉化成3D模型，並用來開發3D遊戲、AR/VR等內容。利用3D MoMa，建築師、設計師、藝術家、遊戲開發者可快速創作3D對象，並修改比例、更改模型的材質，甚至可以修改照明效果。
我們知道，多邊形（Polygon）是3D建模的一種方式，除此之外還有曲面建模、參數化建模、逆向建模等方式。逆向建模是一種不同的建模思路，其中還分為點雲逆向建模、照片逆向建模、三維掃描逆向建模等技術。無論使用哪種逆向建模方案，結果通常都是轉化為多邊形或三角面的數字模型。
點雲建模、三維掃描我們比較熟悉，比如用雷射雷達、無人機等攝影機方案捕捉3D場景的點雲數據，或是用手機進行3D掃描和建模等等。照片逆向建模方面，除了NVIDIA的3D MoMa外，谷歌採取了不同的方式，即利用神經輻射場NeRF模型來進行3D合成渲染，通過體積紋理來提取紋理數據，並利用可微分的切面和環境照明。
3D MoMa正是基於逆向渲染流程，可從2D圖片中提取3D資訊、材質和照明數據。而逆向渲染指的是，從一系列靜態圖片中獲取物體的形狀和材質資訊，以及場景中的光照資訊、相機參數，然後重建併合成3D物體模型或3D場景。NVIDIA表示：長期以來，逆向渲染被看作是統一電腦視覺和電腦圖形學的「聖杯」。
和基於神經網路的多視圖重建方法不同，3D MoMa合成的三角形網格的紋理和環境照明可根據空間位置而動態變化，無需修改就能直接在傳統圖形引擎中應用。3D MoMa生成的模型可用於高級場景編輯、材質分解和高質量視圖插值。3D MoMa將逆向渲染任務的每一部分指定為由GPU加速的可微分元素，然後利用AI算法和NVIDIA GPU的原始算力來合成3D模型。
除了逆向渲染方式，3D MoMa還有一個關鍵點是可學習表面網格的拓撲結構和頂點位置，因此合成的3D幾何模型更加準確。此外，3D MoMa還可以合成支持空間變化的材料，或是HDR環境照明。細節方面，3D MoMa採用基於圖像的照明模型，場景中的環境光由高解析度立方體貼圖合成。
NVIDIA表示：自動化3D建模的努力可以節省大量的生產成本或允許更快、更多樣化的內容創建。接下來，將繼續優化3D MoMa的著色模型，包括考慮全局照明、陰影等元素，從而提升二次照明渲染的效果。
參考：
https://blogs.nvidia.com/blog/2022/06/21/inverse-rendering-3d-research-cvpr/
每天五分鐘，輕鬆了解前沿科技。
——
