Adobe公司的Premiere Pro自1991年末Mac版「Premiere」的驚艷首秀以來,長期是世界上最受歡迎的影片剪輯軟體之一,如今已經被全球各地的影視剪輯師及獨立影視製作人所採用。而隨著生成式AI技術的迅速崛起,Premiere即將迎來其誕生33年以來從未有過的重大改造。
日前,Adobe公司宣布將更新Premiere Pro,向其中添加來自新興第三方AI影片生成器模型的插件,具體包括OpenAI的Sora以及競爭對手Runway ML Gen-2和Pika 1.0。
此舉不僅將把這些AI工具推向更多潛在用戶,如果事實證明此番AI集成確實能夠在Adobe 3300萬Creative Cloud付費用戶——哪怕只是一部分——所認可並接納,也完全有可能給影片製作領域帶來前所未有的電腦化浪潮與革命性轉型。
憑藉這些新增功能,Premiere Pro用戶將能夠剪輯並處理傳統攝像機捕捉到的實景影片,並將其與AI素材加以混合。設想一下,我們可以拍攝某位演員逃離怪物的場景影片,再用AI技術生成怪物本體——完全無需任何道具或服裝,兩段素材可以在同一編輯器內處理並整合進單一影片文件之內。而製作流程更為成熟的動畫繪製(純電腦動畫加手繪幀)也是如此,動畫內容同樣可以輕鬆與Premiere Pro提供的AI素材混合併生成單一文件。
正如Adobe公司在其官方網站的新聞稿中所指出:「早期探索表明,專業影片剪輯人員有望利用集成在Premiere Pro中的OpenAI與Runway影片生成模型輸出豐富內容,並將其添加至自己的影視項目當中。我們還發現,Pika Labs能夠與Generative Extend工具結合使用,在鏡頭結束後再添加幾秒鐘的延續畫面。」
此番嘗試背後是一個有趣的理念,Adobe公司解釋稱:「展望未來,我們相信將有成千上萬種專業模型不斷湧現,每種模型都將在相應的小眾市場中表現出色。Adobe公司數十年的AI應用經驗表明,只有將AI生成內容順暢納入日常工作流程,這項技術才能真正發揮出最大價值。對於大多數Adobe客戶而言,生成式AI將成為探索創意的新起點與靈感來源。」
Adobe還發布了一段預覽影片,展示了添加第三方AI影片生成器之後的影片剪輯工作流程。
目前尚無時間表或具體發布細節……
Adobe方面尚未確定何時將這些第三方AI影片生成器整合至Premiere Pro當中,而且具體細節似乎也沒有最終敲定,畢竟多數第三方工具還涉及付費訂閱問題。當前公布的早期預覽影片也很少,Sora這邊甚至沒有任何素材公開。
此外,Adobe還提到自家內部生成式AI產品(Firefly及Generative Fill等),強調其模型是根據Adobe擁有或已獲得許可/有權使用的數據進行訓練的,包括Adobe Stock圖像貢獻者內容。
這與Adobe的AI賠償承諾遙相呼應,該項政策著力將Adobe定位為值得信賴的AI工具與產品供應商,幫助企業客戶消除由潛在法律糾紛、問題以及部分藝術家及創作者針對Adobe的普遍批評所引發的AI應用擔憂。
據推測,Adobe Premiere Pro中使用的第三方工具恐怕得不到賠償承諾的保護,但Adobe在此次新聞稿中確實聲明稱:「Adobe承諾提供內容憑證——包括為用於製作在線內容的自由開源技術添加標籤,明確標記由AI應用生成的資產。這樣用戶可以觀察到內容的製作過程,以及Adobe平台在使用哪些AI模型創建影視內容。」
此外,就在上星期,彭博社報道稱Adobe曾利用競爭對手AI藝術生成器Midjourney的圖像對自家Firefly進行訓練。Midjourney本身基於開源AI模型Stable Diffusion,其在訓練過程中使用的是來自眾多來源的公開抓取及受版權保護的網路數據。
截至目前,Firefly仍僅適用於影片生成
與此同時,Adobe公司日前還公布了Firefly文本到圖像版本的生成器模型,據稱將在「今年晚些時候」登陸Premiere Pro,從而在該軟體中建立起一套全新的「生成式AI工作流程」與功能組合。
其中包括「生成式擴展」,可以讓影片剪輯與電影製作人「無縫添加新幀以擴展片段時長」,而無需補拍任何新鏡頭——這很可能會成為一項實用意義巨大的省錢妙招。Adobe還指出,這項技術還有助於實現更平滑的過渡效果,拉長收尾過於倉促的影視片段,包括在某個特定時刻 或動作上停留更長時間。
Firefly for Video還將幫助Premiere Pro用戶實現更加智能的「對象檢測與刪除」功能,其本質就是突出顯示影片中的特定對象(包括道具、角色、服裝、風景等),由AI模型跨不同畫面幀對其進行持續跟蹤。以此為基礎,用戶還可以使用生成式AI將這些對象編輯為新對象,藉此快速更改角色的服裝或道具,甚至跨多個影片片段及攝像機角度完全刪除該對象。
最後,Firefly for Video還將附帶文本到影片圖像生成器,其效果號稱可以與Sora、Runway、Pika及Stable Video Diffusion相媲美。但在親自上手體驗之前,很難說該模型在還原用戶文本提示詞的質量和準確性上,到底能不能跟那些更加成熟的AI影片生成器比肩。
電影製作人及創意人士表示熱烈歡迎
儘管目前只開放了預覽版本,但Adobe針對Premiere Pro打造的新一代AI集成功能已經在電影製作人和社交媒體創意人士當中獲得了熱烈響應,特別是那些已經嘗試過利用AI技術製作影片的群體。
創意工作室Secret Level電影製片人兼創始人Jason Zada在LinkedIn上的評論中寫道:「如果這項技術切實有效,那麼AI將幫助每一位從業者提升工作效率。」
電影導演Kevin K. Shah也在同一條帖子中回復稱:「這對我的真人電影拍攝工作很有幫助。」
AI行業意見領袖、谷歌地圖AR/VR團隊前成員Bilawal Sidhu也在X上發帖指出,將第三方AI影片模型引入Premiere Pro的提議:「對於創意人士們來說無疑值得期待,因為AI生成模型已經在產出各種令人驚嘆的內容,絕對有必要將這種新能力添加到影片編輯工具當中。」