這項由杜克大學的黃倫、普林斯頓大學的Guillermo Sapiro教授，以及字節跳動智能創作團隊的謝優、徐鴻毅、古天佩、張晨旭、宋國憲、李澤楠、趙曉晨、駱琳傑等研究者共同完成的研究於2025年11月發表，論文編號為arXiv:2511.17986v1。有興趣深入了解的讀者可以通過該編號查詢完整論文。
想像你正在看一部電影，導演在拍攝前會仔細規劃每個鏡頭的構圖、演員的動作、物品的位置變化。但如今最先進的AI影片生成系統卻像是沒有導演的攝製組——它們能拍出畫面精美的影片，但經常出現演員拿錯道具、動作順序顛倒、甚至憑空變出新物品的"穿幫"鏡頭。
現在的AI影片生成技術雖然能製作出視覺效果驚艷的內容，但它們有一個致命弱點：缺乏高層次的語義理解和長期規劃能力。當你要求AI生成一個"女人從地上站起來，環顧四周，然後伸展身體"的影片時，AI往往會在某個環節"跑偏"——比如女人突然消失了，或者出現了兩個女人，又或者動作順序完全錯亂。
這就像讓一個只會臨摹但不懂劇本的畫師來製作動畫片。畫師能畫出每一幀都很美的畫面，但整個故事卻支離破碎、邏輯混亂。問題的根源在於現有的AI系統試圖同時處理兩個完全不同的任務：理解用戶想要什麼（語義規劃），以及如何將想法轉化為逼真畫面（視覺合成）。這種"一心二用"導致了頻繁的失誤。
研究團隊提出了一個革命性的解決方案：Plan-X框架。這套系統的核心思想是將"構思劇本"和"拍攝製作"徹底分開，讓專業的工具做專業的事。具體來說，他們設計了一個名為"語義規劃器"的AI大腦，它的唯一職責就是理解用戶指令並制定詳細的執行計劃，然後將這個計劃傳遞給專門負責視覺製作的AI系統。
這種分工就像現代電影製作流程：編劇負責構思故事情節，導演負責制定拍攝計劃，攝影團隊負責具體拍攝。每個環節都有專業人員處理，最終效果自然比一個人包攬所有工作要好得多。
一、讓AI學會"讀懂人話"：語義規劃器的工作原理
語義規劃器本質上是一個經過特殊訓練的多模態語言模型，它能夠同時理解文字描述和圖像內容。當用戶輸入指令時，這個AI助手會像一個經驗豐富的導演一樣，仔細分析每個細節：場景中有什麼物體，用戶希望發生什麼動作，這些動作應該按什麼順序執行。
為了讓語義規劃器能夠與影片生成系統"對話"，研究團隊開發了一套特殊的"視覺語言"——文本對齊視覺標記（TA-Tok）。這套標記系統就像是介於文字和圖像之間的"翻譯器"，能夠將抽象的語義概念轉換為視覺系統能夠理解的具體指令。
比如當用戶說"手伸向桌上的護照並把它放到唱片上"時，語義規劃器不會簡單地將這句話原樣傳遞給影片生成器。相反，它會分析理解：首先，場景中應該有一隻手、一本護照、一張桌子和一張唱片；然後，手需要從某個位置移動到護照位置；接著，手要抓取護照；最後，手連同護照一起移動到唱片位置並放下。
語義規劃器會將這個詳細的執行計劃轉換為一系列時空語義標記，每個標記都對應影片中的一個關鍵幀。這些標記就像電影分鏡頭腳本一樣，詳細描述了每個時間點應該出現的畫面內容。
整個過程採用自回歸生成方式，也就是說規劃器會一步步地生成計劃，每生成一個步驟都會考慮前面已經規劃的內容，確保整個執行序列邏輯連貫。這種方式讓AI能夠處理複雜的多步驟任務，避免了傳統方法中常見的動作遺漏或順序錯亂問題。
語義規劃器的另一個重要特點是支持多模態輸入。它不僅能理解文字指令，還能分析提供的初始圖像，理解場景中已有的物體和布局。這種能力讓它能夠生成與現有場景完全一致的動作計劃，避免了傳統方法中常出現的物體"憑空出現"或"神秘消失"的問題。
二、將抽象計劃轉化為具體畫面：視覺合成系統的精密配合
有了語義規劃器制定的詳細執行計劃，接下來就需要專門的視覺合成系統將這些抽象指令轉化為真實的影片畫面。這個環節使用的是基於擴散變換器（DiT）的影片生成模型，它的強項就是製作高質量、時間連貫的視覺內容。
為了讓視覺系統能夠準確理解和執行語義指令，研究團隊設計了一套巧妙的"指導機制"。傳統的影片生成系統主要依賴文字描述來指導畫面生成，但文字往往過於抽象，難以精確控制具體的空間布局和時間序列。Plan-X系統則在原有文字指導的基礎上，增加了一個專門的語義指導分支。
這個語義指導分支接收來自規劃器的時空語義標記，並將它們轉換為視覺系統能夠理解的條件信號。這些信號不是像傳統控制方法那樣強制規定每個像素的具體值，而是提供了一種更加靈活的"建議"機制。視覺系統可以在遵循這些語義指導的前提下，充分發揮自己在畫面質量和時間連貫性方面的優勢。
為了確保語義標記與影片內容在空間和時間維度上的精確對應，研究團隊引入了三維旋轉位置編碼（3D RoPE）技術。這項技術為每個語義標記和影片像素都分配了精確的時空坐標，就像給電影中的每個鏡頭都標註了詳細的拍攝位置和時間資訊。這樣，視覺系統就能準確知道某個動作應該在畫面的哪個位置、在什麼時間點發生。
整個視覺合成過程採用分階段訓練策略。在第一階段，系統主要學習如何理解和響應語義指導信號，這時會暫時"忽略"原有的文字指導，專心適應新的控制方式。隨著訓練進展，文字指導會逐步恢復，最終形成文字和語義雙重指導的協調工作模式。
在最終的端到端微調階段，語義規劃器和視覺合成系統會進行聯合訓練。這個過程就像讓導演和攝製組進行磨合排練，確保他們能夠默契配合。通過這種聯合訓練，系統能夠更好地適應實際應用中可能出現的各種情況，提高對不完美語義指令的容忍度和自適應能力。
三、實驗驗證：從理論到實踐的完美轉身
為了驗證Plan-X框架的實際效果，研究團隊進行了大規模的實驗評估。他們構建了一個包含450萬訓練影片的大型數據集，涵蓋了人機交互、多步驟動作、複雜場景理解等多種挑戰性任務。這個數據集就像是AI的"演技訓練班"，包含了各種複雜的表演場景。
實驗設計涵蓋了三種主要的影片生成任務：純文本生成影片（T2V）、圖像引導生成影片（I2V）和影片續寫。每種任務都有其獨特的挑戰。純文本生成需要AI完全憑藉文字描述來構建場景，圖像引導生成需要AI理解現有畫面並在此基礎上繼續創作，而影片續寫則要求AI保持前後內容的高度一致性。
在對比實驗中，Plan-X與包括Wan 2.2-5B、HunyuanVideo、SkyReelsV2-14B、Kling 1.6和Seedance 1.0在內的五個最先進的影片生成系統進行了全面比較。評估標準包括動作準確性、指令完整性、畫面保真度、場景一致性、動作自然度和整體視覺質量等六個維度。
評估過程採用了創新的方法：利用最先進的多模態語言模型Gemini 2.5作為"AI評委"，對生成的影片進行客觀打分。這種評估方式比傳統的人工評估更加標準化和可重複，同時也進行了16人的人類偏好測試作為補充驗證。
實驗結果顯示了Plan-X的顯著優勢。在動作準確性方面，Plan-X達到了0.7971的得分，相比最強基線系統Seedance 1.0的0.7114有了明顯提升。在指令完整性方面，Plan-X的得分為0.8571，遠超Seedance 1.0的0.7943。這些數據背後反映的是AI對複雜指令理解和執行能力的質的飛躍。
更令人印象深刻的是，Plan-X在保持高語義準確性的同時，並沒有犧牲視覺質量。在畫面保真度方面，Plan-X達到了0.9657的高分，在視覺質量方面得分為0.9629。這證明了"分工協作"的設計理念確實能夠實現"魚和熊掌兼得"的效果。
人類偏好測試的結果更加直觀地證明了Plan-X的優勢。在所有對比中，有26.2%的評價者將Plan-X的生成結果選為最優，這個比例顯著高於其他所有系統。評價者普遍認為Plan-X生成的影片在動作邏輯、物體一致性和整體觀感方面都更加出色。
四、深入解析：為什麼分工協作如此有效
Plan-X成功的關鍵在於其"術業有專攻"的設計哲學。傳統的端到端影片生成系統就像是要求一個人同時擔任編劇、導演、攝影師和後期製作的角色，雖然理論上可行，但實際效果往往差強人意。而Plan-X則將這些職責明確分工，讓每個組件都能專注於自己最擅長的任務。
語義規劃器的優勢在於其強大的多模態推理能力。作為基於大型語言模型的系統，它天生具備優秀的邏輯推理和上下文理解能力。通過專門的訓練，它學會了將抽象的人類指令轉換為具體的執行步驟，並且能夠考慮時間序列、空間關係和因果邏輯等複雜因素。
視覺合成系統則專注於發揮擴散模型在高質量圖像生成方面的優勢。這類模型在處理光影效果、紋理細節、運動模糊等視覺元素方面表現卓越，但在理解複雜語義指令方面相對較弱。通過接受來自語義規劃器的結構化指導，它能夠在保持視覺質量的同時，大幅提升語義準確性。
TA-Tok標記系統在整個框架中發揮了"翻譯器"的關鍵作用。這套系統基於SigLIP2視覺編碼器，能夠將圖像內容編碼為與文本空間對齊的離散標記。這種設計讓語言模型能夠像處理文字一樣處理視覺資訊，同時也讓視覺模型能夠理解來自語言模型的指導信號。
三維旋轉位置編碼（3D RoPE）技術確保了語義指導的精確性。傳統的影片生成方法往往只考慮時間維度的連貫性，而忽略了空間維度的精確對應。3D RoPE為每個語義標記都分配了詳細的時空坐標，讓視覺系統能夠準確知道某個語義概念應該在影片的哪個位置、什麼時間出現。
分階段訓練策略也是成功的關鍵因素之一。第一階段的純語義指導訓練讓視覺系統充分學習了如何響應結構化的語義信號。第二階段的混合訓練恢復了對文本指導的響應能力。最後的端到端聯合訓練則讓兩個子系統學會了協調配合，形成了有機的整體。
這種設計的另一個重要優勢是可解釋性和可控制性。傳統的端到端系統就像一個"黑盒子"，用戶只能看到輸入和輸出，無法了解中間的決策過程。而Plan-X的語義規劃器會生成可讀的語義標記序列，用戶可以清楚地看到AI是如何理解指令並制定執行計劃的。這種透明性不僅有助於調試和改進，也為未來的交互式影片編輯應用提供了可能性。
五、技術細節：讓抽象設計落地的工程智慧
Plan-X的成功不僅體現在概念設計的巧妙，更體現在技術實現的精細。研究團隊在將理論設計轉化為可用系統的過程中，解決了許多實際工程挑戰。
在數據處理方面，團隊構建了統一的指令格式，能夠同時支持文本到影片、圖像到影片和影片續寫三種不同的生成任務。這種統一格式就像是制定了一套標準的"工作流程"，讓同一套系統能夠靈活應對不同的應用場景。
語義規劃器的訓練採用了4K標記的上下文窗口，這個長度足以支持20秒影片的語義規劃。訓練過程中使用了0.9的採樣溫度，在創造性和一致性之間找到了最佳平衡點。過高的溫度會導致生成內容過於隨機，過低則會讓輸出過於保守和重複。
在視覺合成方面，系統使用50步去噪過程和5.0的無分類器指導權重。這些參數是通過大量實驗調優得出的最佳配置，能夠在生成質量和計算效率之間取得良好平衡。
TA-Tok標記系統使用了81個空間標記來表示每個關鍵幀，這個數量既保證了足夠的空間解析度，又避免了過度的計算負擔。關鍵幀採樣頻率設置為2FPS，這個頻率能夠捕捉主要的動作變化，同時避免冗餘資訊。
端到端訓練階段使用了加權損失函數，擴散損失和TA-Tok預測損失的權重比例為10:1。這種配置確保系統在學習語義理解能力的同時，不會損失原有的視覺生成質量。
整個系統在48塊A100 GPU上進行訓練，有效批量大小為48，使用AdamW優化器，語義規劃器和視覺合成器的學習率分別為5×10^-5和2×10^-5。語義規劃器訓練7個epoch，視覺合成器訓練2個epoch，最後進行1個epoch的聯合端到端微調。
這些看似枯燥的技術參數背後，體現的是研究團隊在系統工程方面的深厚功底。每個參數的選擇都基於大量的實驗驗證和理論分析，確保了系統的穩定性和性能。
六、局限性與未來展望：完美路上的下一步
儘管Plan-X在影片生成的語義控制方面取得了重大突破，但研究團隊也誠實地指出了當前系統的一些局限性。這種客觀的自我評估體現了嚴謹的科研態度，也為未來的改進指明了方向。
目前系統最主要的限制來自於其依賴預訓練的擴散變換器進行最終的視覺渲染。雖然語義規劃大大改善了動作邏輯和指令遵循能力，但在物理真實性和視覺一致性方面，系統仍然會繼承底層視覺模型的一些問題。比如在處理複雜的物體變形、光影變化或精細的物理交互時，可能會出現不夠自然的效果。
另一個重要限制是語義規劃器的訓練數據規模。雖然450萬個文本-影片對已經是一個相當大的數據集，但相比於大型語言模型動輒數萬億參數的訓練規模，這個數據量仍然相對有限。這導致系統在處理需要高度抽象推理或常識性知識的任務時，可能會表現不如預期。
TA-Tok視覺標記系統雖然實現了文本與視覺的有效對齊，但在表達能力方面仍有提升空間。特別是在處理複雜概念、抽象推理或數學符號等內容時，當前的標記系統可能無法提供足夠豐富的表示能力。
研究團隊也提到了計算資源的考慮。雖然分工協作的設計在理論上更加高效，但實際部署時需要同時運行語義規劃器和視覺合成器兩套系統，這對計算資源和內存的需求比單一端到端系統更高。在資源受限的場景中，如何優化系統架構以降低計算成本將是一個重要的工程挑戰。
展望未來，研究團隊提出了幾個有希望的發展方向。首先是擴展到影片理解和編輯領域，利用相同的語義規劃框架實現更加智能的影片分析和交互式編輯功能。這種擴展將讓Plan-X從單純的生成工具演進為綜合性的影片處理平台。
開發更加表達力豐富的文本對齊視覺語義標記系統也是重要的研究方向。未來的標記系統可能會整合更多模態的資訊，比如音頻、深度、運動矢量等，提供更加全面和精確的語義表示能力。
在應用層面，Plan-X的語義轉移能力開闢了有趣的可能性。由於語義標記編碼的是高層次的動作邏輯而非具體的像素資訊，同一套語義規劃可以應用到不同的場景或對象上，實現"一次規劃，多次使用"的效果。這種能力在內容創作、教育培訓、虛擬現實等領域都有廣闊的應用前景。
說到底，Plan-X代表的不僅僅是一項技術突破，更是AI系統設計哲學的重要轉變。它證明了在人工智慧發展的道路上，"分工合作"比"萬能全才"往往更加有效。這種思路不僅適用於影片生成，也可能在其他複雜AI任務中發揮重要作用。
未來的AI系統可能會越來越多地採用這種模塊化、專業化的設計思路，每個模塊專注於自己最擅長的任務，通過精心設計的接口進行協調合作。這樣的系統不僅性能更優，也更容易理解、調試和改進，為AI技術的進一步發展鋪平了道路。
Q&A
Q1：Plan-X和普通的AI影片生成有什麼不同？
A：Plan-X最大的不同是採用了"分工協作"的設計。普通AI影片生成系統試圖一次性完成理解指令和製作畫面兩項任務，經常出現動作錯亂、物體消失等問題。而Plan-X先用專門的"語義規劃器"理解用戶指令並制定詳細執行計劃，再讓專門的視覺系統負責製作高質量畫面，就像電影製作中編劇和攝影師分工合作一樣。
Q2：語義規劃器是如何工作的？
A：語義規劃器本質上是一個經過特殊訓練的多模態語言模型，它能同時理解文字和圖像。當你輸入"手伸向桌上的護照"這樣的指令時，它會詳細分析場景中的物體、規划動作步驟，然後生成一系列時空語義標記，就像製作電影分鏡頭腳本一樣。這些標記會告訴視覺系統在什麼時間、什麼位置應該出現什麼內容。
Q3：Plan-X能處理哪些類型的影片生成任務？
A：Plan-X支持三種主要任務：純文本生成影片、圖像引導生成影片和影片續寫。它特別擅長處理複雜的人機交互場景、多步驟動作序列和長期規劃任務。比如"女人從地上站起來，環顧四周，然後伸展身體"這樣的連續動作，或者"手拿起桌上的物品放到指定位置"這樣的精確操作，Plan-X都能生成邏輯清晰、動作連貫的影片。
