AI 影片最近的玩法特別多，頗有上半年 AI 生圖火起來的那種感覺。
之前火過一遍的 AI 探班影片，隨著模型能力的提升，現在又開始變成了社交媒體上的熱門玩法。
不過徹底摒棄了以往複雜的工作流，有更好用的模型，甚至是簡單幾句提示詞就能復刻，影片裡的同款真實感。
影片生成模型的優化，不斷地在降低，對我們人類提示詞工程的依賴，同時還帶來了更穩定的一致性保持。
豆包最近更新了新一代的音影片生成模型，豆包 Seedance 1.5 Pro，在音影片的生成上也有了明顯的改善。現在它生成的影片，支持中文、英文、日文、韓語、西班牙語等語種的不同聲韻，同時針對中文場景，還能生成四川話、粵語等方言。
不僅能說，而且還能模仿不同語言的口音。有聲影片是 Seedance 1.5 Pro 的一大突破，在影片生成本身，結合音頻的音畫同步，以及電影級的運鏡兩項優化，讓 AI 影片看起來更真實、更細緻。
目前該模型已上線豆包 APP，只需要打開豆包，點擊「照片動起來」，選擇 1.5 Pro 模型，就能體驗到 AI 生影片的快樂。此外，在火山引擎體驗中心、即夢 AI 也可以體驗。
我們也提前測試了一波，Seedance 1.5 Pro 完全可以說，是現在手邊能拿起來直接用，能同時融合聲音，表現最好的影片生成模型。
聽聽「臣妾做不到啊」的原音重現
《動物方城市 2 》上映之前，網友們對配音演員的選擇，有很大的爭議。現在 Seedance 1.5 Pro 的語音生成有多牛，我們可以看看之前網上很火的甄嬛傳和讓子彈飛，兩個影片的配音，讓它來完成是什麼樣。
從網上找了一張影視劇的截圖，然後丟給豆包，我們甚至什麼提示詞都沒有輸入，它就能做到自動識別影片畫面，生成一段有感情的台詞戲。
該影片屬於AI生成
該影片屬於AI生成
在豆包 App 內，使用「照片動起來」，上傳首幀，生成影片
皇后和張麻子都演得太像了，這和幾個月前的影片生成模型，完全不是一個 Level。 以前那些 AI 影片，口型對不上，或者聲音有機械感的問題，現在都解決了。
但普通話對它來說都是基本操作，方言的表現才是 Seedance 1.5 Pro 打敗那些國外模型的獨門秘籍。就像 Sora 2 和 Google Veo 3.1 雖然在畫面生成上被認為是行業領先，但如果把上面這兩張首幀圖片丟給它們。Sora 和 Veo 3 都理解不了甄嬛傳的經典台詞，和張麻子這流利的四川話口音。
全運會剛結束，如果你也在廣州，一定忘不了「活力大灣區，魅力新廣州」這句魔性的口號。我們生成了一張站在廣州塔前面的照片，然後在豆包「照片動起來」裡面輸入提示詞。
畫面里的這個男生正在面向鏡頭，向大家介紹他身後的廣州塔，他用粵語說「活力大灣區，魅力新廣州，我身後面嗰個就系廣州塔喇！」
該影片屬於AI生成
這個粵語水平怎麼樣，比多鄰國裡面的早茶四件套，蝦餃、腸粉、燒賣、豉汁排骨，聽著是不是要舒服一點。
而且，Seedance 1.5 Pro 有一個好處是「視聽一致性」，意思是它能根據畫面的內容，理解影片想要表達的故事，來自動生成對應的配音。
舉個例子，當我們上傳了一張明顯是外國人的圖片時，我們不輸入任何提示詞，它會自動使用英文來配音，並且讓畫面里的角色，說合適的台詞。
即便是在中餐廳麵館里吃麵的威爾·史密斯，Seedance 1.5 Pro 還是讓他自動用英文來說話，而且這個吃麵姿勢也完全對了。
同樣地，我們用它復刻了 AI 片場探班的影片，直接上傳一張圖片給豆包，不輸入任何提示詞，它會自動用中文來生成影片，還配上了台詞，「哇，跟阿凡達合影啦！」
當我們重新生成時，Seedance 1.5 Pro 還把照片裡的男生識別成韓國人，然後生成了一段講韓語的影片。不過，說實話，他確實是有點韓國歐巴的感覺。
豆包影片生成還有一點特別好，是我們可以直接把生成的影片，下載為動圖保存在手機。配合現在模型更強大的多模態理解能力，以及能生成更真實的畫面，手機里那些靜態的圖片，讓它們「真實地」動起來，然後發到微信朋友圈，可能真的會有人看不出來。
敘事是 Seedance 1.5 Pro 更新的一個關鍵詞，它的意思是這些 AI 影片不只是單純的生成，而是有了一定的故事感，能夠對要表達的內容進行理解，讓 AI 生成的影片，更像是一個有血肉的作品。
一個好的影片作品，燈光色彩、音效要出色。技術性的工作也少不了，運鏡就是在音畫之外，不可忽視的鏡頭語言。
Seedance 1.5 Pro 在這次更新里，在長鏡頭跟隨、希區柯克變焦這些電影級運鏡都有了大幅度的提升。
像是之前我們做的子彈時間，現在上傳一張圖片到豆包，調整一下提示詞，子彈時間特效也自由了。
該圖片疑似AI生成
提示詞：子彈時間效果。時間完全凍結。舞者懸浮在半空中，對抗重力。[定格畫面]：舞者、她的頭髮和她的藍色裙子絕對靜止，就像時間凍結中的 3D 雕像。攝像機圍繞懸浮的舞者水平軌道運行。背景建築物改變透視（視差），而舞者保持鎖定在中心。頭髮保持僵硬並指向上方，沒有飄動。裙子布料是固體的並凍結保持不動。 電影級照明，高質量。
我們把同樣的照片交給 Veo 3.1 處理時，它生成的子彈時間也很難做到保持角色一動不動。因為對大多數影片生成模型來說，識別到頭髮，就一定要飄動；看到裙邊也要擺動；所以精準的運鏡控制和調度，也是區分不同模型的一項重要能力。
還有這個前段時間很火的 AI 巨人照，現在我們也可以用超酷炫的無人機俯衝和穿越運鏡，來凸顯影片裡的巨人。
該圖片疑似AI生成
提示詞：電影級 FPV 無人機鏡頭，極致動態運鏡：從高空鳥瞰開始，無人機急速俯衝向一位坐在城市街道中央的巨人，紅磚建築環繞兩側。巨人保持完全靜止的姿勢，身體、頭部、四肢均不移動，如同雕塑般定格。無人機以特技飛行動作環繞巨人靜止的身體——盤旋繞腿、從手臂下穿越、沿軀幹螺旋上升，然後拉遠展現巨人與微小車輛（紅色雙層巴士、黑色計程車）和行人的尺寸對比。超寫實合成。比例 16:9，時長 5s，模型 1.5 Pro。
從參考圖轉影片，能更好的控制影片的輸出效果。但 Seedance 1.5 Pro 的文生影片能力也毫不遜色。
根據字節公開的 Seedance 1.5 pro，在內部基準測試 SeedVideoBench-1.5 的模型表現結果，顯示無論是 T2V 文生影片，還是 I2V 首幀轉影片，和可靈 2.6、Google Veo 3.1 等模型對比，Seedance 1.5 Pro 的表現都有一定優勢。
尤其是在音頻生成和音畫同步上，Seedance 1.5 Pro 幾乎是碾壓性的存在。
我們嘗試讓動物方城市朱迪和哪吒一起，一個普通話，一個四川話，演了一出 10s 的小劇場。
提示詞：[0s-4s] 朱迪指著哪吒說（普通話，語速快，嚴肅）： 「那個小孩！站住！雙手抱頭！根據《動物城交通法》，你剛才風火輪超速了！」 • [5s-10s] 哪吒（四川話，翻白眼，語速慢，拖長音）： 「哎呀，莫挨老子！我是踩的風火輪，又沒燒你的油。瓜娃子，管得寬！」
這個影片的風格和內容，和我們平時看的動畫片風格真的很類似。當義正辭嚴的兔朱迪警官，抓到哪吒的時候，那嚴肅的表情和語氣；還有哪吒用四川話說台詞，也能對上嘴型。
APPSO 今年前前後後也測試了有十多款 AI 影片生成的模型，我們在使用的過程中，發現很多以前的測試案例，放到現在已經是 Out 了。
一開始是魯迅來了，都得讓他說兩句英文；能生成一個 5s 流暢播放的影片，就謝天謝地。現在的模型，不僅支持中、英、日、韓等多語種，廣東話、四川話這些特色方言都能同步生成。
恍然間，AI 影片的進化，已經從按年計算變成了按月計算。昨天的突破，今天就是及格線。
Seedance 1.5 Pro 這次更新，可能又會變成新的及格線。但至少現在我們看到了，有了音畫同步後更有感染力的影片；多語種和方言的支持，也讓 AI 影片更有「生活味」；專業的電影級運鏡和智能理解能力，讓一些高難度的複雜場景，也有機會通過 AI 生成。
當技術能夠理解畫面背後的故事，自動匹配合適的語言和情緒，我們距離想像力和創作自由的時代，又近了一大步。
實現這一切需要什麼？ 一張圖片或者一句提示詞。
打開豆包 APP，上傳/輸入，生成，就這麼簡單。每張照片都是待激活的故事，每次上傳都是創作的開始。
步驟越少，門檻越低，創作者越多，用 AI 影片實現創意就該是這樣。
