SV3D可通過輸入單一對象形象,輸出該對象的新穎的多視圖再利用這些視圖生成3D影片。
Stability AI發布新模型Stable Video 3D(SV3D),可以通過單張照片生成出360°環繞視角的軌道影片(orbital videos),以及在指定的攝像機路徑上創建3D影片,影片的品質與視角一致性都有大幅提升。Stable Video 3D現在可以通過Stability AI會員資格用於商業目的。對於非商業用途,則可以在Hugging Face上下載模型權重並參考其研究論文。
SV3D是基於Stable Video Diffusion的生成模型,包含2的變體,SV3D_u及SV3D_p。
官方表示,與先前的Stable Zero123相比,SV3D不僅提供多視角及提高品質,同時也優於其他開源替代方案,如Zero123-XL。
不同於先前常常受限於視角和輸出不一致性的方法,SV3D的新視角合成(novel view synthesis, NVS)能夠以熟練的泛化能力,從任何角度提供一致的視角,不僅增強姿勢控制性,還能確保物體在多個視角下的外觀一致性,進一步提高真實和準確3D生成的關鍵方面。
使用SV3D獲得的3D網格結果,與EscherNet和Stable Zero123生成的輸出進行比較。
另外,為了改善直接重新視角生成的3D網格的品質,Stability AI設計了一種新的遮罩分數蒸餾抽樣損失函數(Masked Score Distillation Sampling Loss),以進一步提高在預測視圖中不可見區域的3D品質;還採用解耦光照優化(Disentangled Illumination Optimization)減少固定照明的問題。
Stability AI會員可使用SV3D進行商業用途,而非會員則可以在開源社交媒體平台Hugging Face上下載模型權重,及查看公開的研究論文。
數據源:Stability AI