近日，新加坡國立大學和其他研究小組宣布推出了 HOSNeRF，這是一種新的渲染技術，可以使用單個 2D 攝像機創建高清 3D 圖像。
來自新加坡國立大學和其他機構的一個研究小組宣布了一項新的渲染技術，名為「人-物-場景神經輻射場（HOSNeRF）」，可以在任何時間點從單個影片創建 360° 圖像，即使是沒有用360°攝影機拍攝的影片也可以比傳統方法更清晰地渲染人體動作。
HOSNeRF 基於一種稱為神經輻射場（NeRF）的技術。而 NeRF 是一種使用深度學習在多個角度拍攝的 2D 圖像中創建 3D 圖像的方法。自 2020 年引入 NeRF 以來，從 2D 影片生成 3D 圖像的技術開發一直在進行中，其中之一就是 HOSNeRF。
與具有固定構圖的圖像不同，影片在主體（例如人類和網球拍）之間創建複雜的交互（例如打網球）。此外，人類不會一直攜帶球拍，有時他們會放下球拍或攜帶袋子，很難準確渲染這種人與物體的交互和物體轉移，這被認為是影片自由視角渲染的一個挑戰。
為了解決這些問題，HOSNeRF 引入了一種表達人體骨骼和物體骨骼的機制，以及一種處理物體狀態變化的機制。在涉及物體與環境交互的影片中，成功地實現了高精度的自由視點渲染。
查看研究團隊創建的比較圖像，可以看出物體的排列、模糊和虛化現象比其他方法更少。
在他們的論文中，研究小組還指出，HOSNeRF 是一種專注於「人和物體」的動態建模方法，目前缺乏動態表示「背景」的能力，未來進一步的研究可能會開發一種忠實的背景渲染方法。
