最近 AI 影片領域異常熱鬧,Adobe 也剛剛加入了這場混戰。贊助商廣告在今年的 Adobe Max 大會上,Adobe 正式推出了自己的 AI 影片模型——Firefly Video Model,進軍生成式人工智慧領域。Adobe 的首席產品營銷經理 Meagan Keane 表示,Firefly Video Model 的推出旨在簡化加速影片創作,並且增加影片的故事講述能力。概括來講,這個模型包含三個有趣且實用的功能:Generative Extend(生成拓展)Text-to-Video(文生影片)Image-to-Video(圖生影片)其中,Generative Extend 已經被集成至 Adobe 所開發的專業影片編輯軟體 Premiere Pro 當中;Text-to-Video 和 Image-to-Video 則剛剛在 Firefly Web app 中推出 beta 版本。關注 AI 第一新媒體,率先獲取 AI 前沿資訊和洞察顧名思義,如果你拍攝的影片片段太短或缺失某些部分,Generative Extend 可以幫你在影片片段的開頭或結尾進行「生成式擴展」。也就是說,假如所需的鏡頭不可用,或者某個鏡頭的剪輯時機過早或過晚,剪輯師只需要拖動該影片片段的開頭或結尾,Generative Extend 就可以自動填充生成式內容,以保持影片的連貫、平滑。Generative Extend 的生成式影片擴展功能演示(影片來自 Adobe,下同)這意味著如果影片創作者在拍攝過程中得到了一個「廢鏡頭」,他可能不再需要回到原場地重新拍攝,而是利用 Generative Extend 直接對原片段進行擴展和修復。一定程度上講,這確實有助於提高影片創作效率——當然,是在 Generative Extend 所延伸的片段質量過硬的情況下。遺憾的是,該功能目前的最大解析度限制為1080p,且片段最長只能擴展兩秒鐘。因此,Generative Extend 只適合對影片片段進行微小的調整,即它只能幫助用戶修復某些細節,卻不能代替創作者本身,進行大篇幅的創作。Generative Extend 還可以幫助用戶拍攝過程中進行調整,糾正在拍攝過程中視線偏移或其他意外產生的移動。贊助商廣告除了影片之外,Generative Extend 還可以用於音頻的平滑編輯。它可以將影片中的環境背景音效擴展長達十秒鐘時間,但無法對對話或音樂進行拓展。Generative Extend 的音頻擴展功能示意如果你想在影片創作過程中省點力氣,你可以使用 Text-to-Video 功能直接生成。同它的「老前輩」Runway 和 OpenAI 的 Sora 一樣,用戶只需要輸入他們想要生成的影片的文本描述,它就可以模擬「真實電影」、「3D動畫」和「定格動畫」等各種風格生成相應的影片片段。以下是一些使用 Text-to-Video 功能生成影片片段,感受一下:提示文本:電影無人機飛越廣闊的紅色火星景觀,它從我們腳下飛馳而過,當太陽升起時,地平線是紅色的。在鏡頭的結尾,太陽從地平線上升起。提示文本:電影特寫和夜晚街道中央一位老人的肖像細節。燈光氣氛沉悶,充滿戲劇性。顏色等級為藍色陰影和橙色高光。這個男人有極其逼真的細節皮膚紋理和明顯的毛孔。動作微妙而柔和。相機不動。膠片顆粒。老式變形鏡頭。提示文本:在墨西哥一個美麗、柔和的天井內拍攝的視角。水清澈湛藍,在傍晚的陽光下閃閃發光。顏色是溫暖和神奇的魔幻風格。高品質,電影感。除了逼真的,電影般的視覺影像,Text-to-Video 還支持生成一些「抽象」的畫面。例如,它可以被用來生成包括火焰、水、漏光和煙霧等元素的影片,並覆蓋疊加到現有的影片上,來增加現有內容的視覺深度和趣味性。提示文本:黑色背景上的電影漏光,有機質感,逼真。上述影片與現有影片合成後生成的影片片段值得一提的是,用 Text-to-Video 生成的影片片段還可以使用一系列「相機控制」進行進一步細化處理,這些控制能夠模擬真實的相機角度、運動和拍攝距離等。相機控制選項(圖片來源:Adobe)Image-to-Video 功能則更進一步,允許用戶在影片創作過程中添加「參考圖像」,以生成更加貼近用戶想像的影片。影片創作者可以從一張圖像和照片出發,利用 Image-to-Video 功能直接製作「B-roll」(電影和影片製作術語,指的是除了主要拍攝內容(A-roll)之外的輔助影片素材)。用戶還可以通過上傳影片的單幀,並由 Image-to-Video 自動補充缺失幀,以此來創建完整的特寫鏡頭。「眾所周知,影片不能P,所以一定是真的。」然而,Image-to-Video 的「賽博重拍」功能,直接讓這句話變成過去式。它宛如一隻「上帝之手」,可以讓用戶對影片內容(影片中的人物動作等)直接進行操作和修改。來看下面的例子:原影片片段修改後的影片片段,提示文本:一隻戴著手套的宇航員的手進入畫面,並拔掉了其中一根黃色電纜,具有電影感。目前,Text-to-Video 和 Image-to-Video 功能生成影片片段的最大長度僅為五秒鐘,質量最高為 720p 和每秒 24 幀。影片生成時間大約為 90 秒,Adobe 正在開發「渦輪模式」來縮短這一時間。影片生成質量的不足表明,用戶還無法用 Firefly Video Model 生成一部完整的電影,暫時只能作為創作輔助工具來使用。Adobe 強調,Firefly Video Model 只會在許可內容(如 Adobe Stock)和公共領域內容上對該模型進行訓練,而不會在客戶提供的內容上進行。此外,使用 Firefly Video Model 創建或編輯的影片可以內嵌內容憑證,旨在為創作者和內容出處提供歸屬證明,有助於聲明 AI 使用情況和所有權權益,以保證「商業安全」。文 | 范津瑞 原文地址 : https://www.animattoys.com/detail/xgjHa6qM/叫板SoraAdobe推出AI影片神器一句話P影片