今年無疑是生成式AI最火爆的一年，文字對話有ChatGPT、Gemini等，圖片生成有midjourney、DALL-E等，在這之後不少廠商將目光投入到了生成式AI的最後一個關卡——影片生成。如今看來，這一領域也出現了突破，那就是這款名為VideoPoet的大語言模型。
據了解，這款名為VideoPoet的大語言模型之所以被認為是從0生成影片的革命性影片生成工具，主要就在於它不僅可以以文生影片、以圖像生成影片，還能根據需要進行風格遷移也就是將一種風格的影片轉換到另外一種風格，根據文本指令的提示進行交互式影片編輯，可能會給影片剪輯工作帶來非常大的變革。
不僅如此，VideoPoet還能生成音頻，並能通過調節影片的最後一秒預測並生成之後的一秒，並且能夠通過重複這一過程來生成任意時長的影片，至於擴展影片就更不在話下，而這在影片修復、影片影片擴展方面有著非常重要的意義。
更令人眼前一亮的是，為了展示 VideoPoet 的功能，谷歌還製作了一部由 VideoPoet 生成的多個短片組成的小短片。劇本由接入了Gemini的Bard編寫，整體式一個關於一隻旅行浣熊的短篇故事，並附有逐個場景的分解和附帶的提示列表。然後，谷歌為每個提示生成影片剪輯，並將所有生成的剪輯拼接在一起以生成下面的最終影片。
VideoPoet生成影片的部分截圖
相關研究團隊將VideoPoet與其他影片生成模型進行了對比，用各種參數來評估VideoPoet在文本生成影片方面的表現，受訪者認為VideoPoet中約24%-35%的示例比競爭模型更好，而競爭模型的這一比例為8%-11%。由於VideoPoet生成影片的動作更有趣，評分者對VideoPoet提供示例41-54%表示了喜歡，而其他模型的這一比例則只有11%-21%。
不難看出，VideoPoet不僅性能不錯，還在影片製作、剪輯、修復等多個方面具有非常實際的作用，或許會成為補全生成式AI的最後一環。
不過如果以後在影片平台上看到的都是AI生成的影片，恐怕還是有點驚悚。
