AI生成影片正在熱烈的研究和應用中，文生影片、圖像生影片帶來的新鮮感和動態感，受到大家廣泛關注。通過生成式AI影片工具，你說一段描述，自動生成相應的影片。你還可以選擇一張圖片，也能實現將靜止圖像轉化為動態影片，讓文字和圖片瞬間活起來。
今天來介紹一款Stability AI 發布的基於人工智慧的影片生成工具Stable Video Diffusion，它可以根據用戶提供的文本描述或圖片，自動生成高質量的影片內容。
Stable Video Diffusion 是 Stability AI 發布的基於圖像模型 Stable Diffusion 生成影片的基礎模型。它是一個先進的生成式 AI 影片模型。Stable Video Diffusion 可以適應各種下游任務，包括從單一圖像進行多視角合成和在多視角數據集上進行微調。Stable Video Diffusion 是 Stability AI 多樣化開源模型系列的一部分，涵蓋圖像、語言、音頻、3D和代碼。
目前Stable Video Diffusion 的代碼已在 Stability AI 的 GitHub 倉庫中提供。運行模型所需的權重可以通過他們的 Hugging Face 頁面訪問。我們從技術原理、產品特點以及使用體驗來說明一下Stable Video Diffusion的發展現狀。
從技術原理上講，Stable Video Diffusion提出了將潛在影片擴散模型擴展到大型數據集的穩定影片擴散模型，這是一種用於高解析度、最先進的文本到影片和圖像到影片生成的潛在影片擴散模型。通過插入時間層並在小型高質量影片數據集上對其進行微調，為2D圖像合成訓練的潛在擴散模型已轉換為生成影片模型。基於該模型Stable Video Diffusion目前確定並評估了影片LDM成功訓練的三個不同階段：文本到圖像預訓練、影片預訓練和高質量影片微調。
從產品特點看，除了文本到影片和圖像到影片的生成，還支持多幀生成。Stable Video Diffusion提供了兩種圖像到影片的模型形式，支持14或25幀的影片生成，解析度高達576 x 1024。用戶可以根據自己的需求選擇適合的幀率，從而決定影片的流暢度。高解析度保證了影片的清晰度，讓細節得以呈現。同時其提供的幀插值技術可以在幀數較少的情況下，使影片看起來更加平滑。Stable Video Diffusion還支持3D場景生成，目前該功能同時容納了單個圖像和軌道視圖，允許沿著指定的相機路徑創建3D影片。能夠生成更具空間感的影片。Stable Video Diffusion提供了更精細的攝像機控制功能。通過LoRA控制攝像機，用戶可以精確控制攝像機的位置和角度，從而實現更加精細的影片創作。
如何使用呢？首先訪問Stable Video Diffusion的官方網站，下載本地一鍵整合包。按照安裝嚮導的指示完成安裝過程。安裝完成後，打開本地一鍵整合包。在界面中選擇「文本到影片」或「圖像到影片」功能，根據您的需求進行選擇。我們以圖片轉影片為例，選擇一張靜態圖片作為輸入。圖片的質量高生成的影片視覺效果更好。然後設置影片參數包括影片的幀率、解析度等參數。Stable Video Diffusion支持14或25幀的生成，解析度為576 x 1024。點擊「生成」按鈕，等待一些時間生成影片。生成完成後，選擇「導出」選項，將影片保存到您指定的文件夾中。生成時間各不相同，但在 V100 GPU 上通常約為 2 分鐘。
使用體驗來看，Stable Video Diffusion作為AI影片生成工具，其特點包括本地一鍵整合包的使用，簡化了工具使用流程，提高了影片創作效率，其生成的影片也較為高質量。但是目前看也有局限性，首先從模型來看，影片擴散模型的採樣速度通常很慢，並且對VRAM的要求很高。儘管潛在方法提供了效率優勢，但一次生成多個關鍵幀在訓練和推理過程中都是昂貴的。
其次長影片合成方面存在一些根本性的缺點，生成的影片相當短，不到四秒，無法實現完美的逼真度。還可能會生成沒有運動的影片，或者相機平移速度非常慢。通常可能無法正確生成人臉和人物。對文本的理解也有缺憾。
