這項由香港科技大學、螞蟻集團、浙江大學及香港中文大學聯合完成的研究，以預印本形式於2026年7月2日發布在arXiv平台，編號為arXiv:2607.02517。感興趣的讀者可通過該編號查閱完整論文。
你有沒有遇到過這樣的情況：看一部電影，主角剛走出畫面，下一秒鏡頭轉回來，演員的臉卻換了一個人？當然，正規電影不會犯這種低級錯誤，但如果是AI生成的影片呢？這恰恰是當前AI影片生成技術的一塊大短板——AI導演往往患有"臉盲症"，一旦某個角色走出畫面，再回來時就認不出來了。
更麻煩的是，現有的AI影片系統就像一個只會"盯著當前螢幕"的監控攝影機——它只處理眼前的畫面，對於已經離開畫面的角色，完全無法追蹤其後續的運動和變化。於是，當攝影機重新轉回那個角色時，AI給出的結果往往是：要麼人物靜止不動，仿佛時間凍結；要麼容貌大變，變成了另一個完全不同的人；要麼直接憑空消失。
這個問題，正是這篇論文要正面解決的核心挑戰。研究團隊將他們的解決方案命名為**WorldDirector**——一個字面意思為"世界導演"的系統。這個名字起得相當貼切：它的目標，就是讓AI不再只是被動錄製畫面，而是像真正的電影導演一樣，掌控整個場景中每一個角色的運動軌跡，並確保無論鏡頭轉向何處，所有角色都保持著完整而連續的"生命狀態"。
**一、現有AI影片系統的"失憶症"從何而來**
要理解WorldDirector的突破，首先得弄清楚現有系統為何會"失憶"。
把現有的AI影片生成模型想像成一個短期記憶極差的畫家。你告訴他"畫一個走路的女人和一輛靜止的跑車"，他能畫出來。但如果女人走出了畫面邊緣，你再問他"女人現在走到哪裡了"，他根本答不上來——因為他只記得"眼睛能看到的"，對於已經離開視野的事物，他的記憶中就只剩一片空白。
現有的AI影片模型基本上都工作在這種模式下：它們把"角色在哪兒"和"畫面長什麼樣"這兩件事混在一起處理。角色的位置資訊、運動軌跡、外貌細節，全都被壓縮進同一套神經網路權重里。這種"一鍋燉"的方式在短片段內還勉強可以應付，但一旦角色離開畫面超過一段時間，這套系統就會丟失關於該角色的一切資訊，導致再次出現時要麼憑空編造一個新的樣子，要麼直接讓角色"凍結"在它最後一次被看見的狀態。
研究團隊把這個核心問題歸結為兩個必須同時滿足的條件：第一，角色必須有"獨立運動的意志"，也就是說，即使攝像機沒有看著它，它也應該按照物理邏輯繼續移動；第二，系統必須保證"外貌一致性"，無論角色消失了多久，再次出現時必須是同一張臉、同一身衣服、同樣的特徵細節。這兩個條件缺一不可，缺了任何一個，都稱不上真正的"世界模擬"。
**二、把"導演大腦"和"攝影機"徹底分開**
WorldDirector最核心的設計思路，可以用電影製作的比喻來理解。
傳統AI影片模型就像一個導演和攝影師合二為一的人——他既要規劃劇情走向，又要實時操作攝像機拍攝畫面，結果兩件事都做得不夠好。WorldDirector則把這兩個職責徹底拆開：一個大語言模型（LLM，就是那種能聊天的AI）充當"導演大腦"，專門負責規劃所有角色的三維運動軌跡；另一套影片生成模型充當"攝影機"，專門負責按照導演的指示渲染畫面。
導演大腦的工作方式是這樣的：給定一張初始畫面，系統會識別出畫面中所有感興趣的動態對象——比如一個女人和一輛跑車。然後，用戶可以用文字描述自己想要的場景劇本，比如"女人向前走，攝像機向右旋轉，然後跑車開始向前駛去"。大語言模型接收到這個描述後，會將其翻譯成精確的三維坐標軌跡：每一幀，每個對象應該在三維空間中的哪個位置，朝向哪個方向。
這些三維軌跡再被投影到二維圖像平面上，生成每一幀畫面中每個對象應該出現的"邊界框"（可以理解為一個標註了物體位置和大小的矩形框）。這套二維邊界框序列就成為影片生成模型的"位置指令"，告訴攝影機："這個角色在這幀應該出現在畫面的這個區域，那個角色在那幀應該出現在那個位置。"
這種分離的好處是顯而易見的。無論攝像機在看哪裡，導演大腦中儲存的三維軌跡都在持續更新，記錄著每一個角色此刻應該在什麼位置。當鏡頭重新轉向某個角色時，系統精確知道它此時應該在哪裡，不會因為"沒看見"就忘記它的存在。
**三、給每個角色頒發"視覺身份證"**
知道角色在哪兒是一回事，讓它看起來還是同一個人又是另一回事。為此，研究團隊設計了一套叫做"外貌綁定"（Appearance Binding）的機制，你可以把它理解為給每個角色頒發了一張"視覺身份證"。
具體來說，系統會維護一個"外貌條件影片"。對於畫面中的每一個動態對象，系統會從之前已經生成或看到的影片幀中，找出該對象的歷史外貌圖像，裁剪出來，然後精確地放置在當前幀中該對象應該出現的位置上。這樣，即使角色已經消失了很長時間，當它重新出現時，系統手裡握有的參考圖像會清楚地告訴影片生成模型："這個位置要出現的角色，應該長這個樣子。"
不過，這裡有一個微妙的問題需要處理。如果系統在每一幀都給角色提供一張完全詳細的參考圖像，那麼生成的角色就會像一張照片被強行貼到影片裡一樣——缺乏自然的動態感，走起路來像在"滑翔"而非真正地邁步。為了解決這個問題，研究團隊引入了一個叫做"時間丟棄機制"（Temporal Drop Mechanism）的設計。
這個機制的邏輯是：當角色剛進入畫面的前16幀，系統會密集地提供外貌參考，幫助模型迅速鎖定該角色的外貌特徵；之後，系統故意開始"稀疏化"參考頻率，每隔6幀才提供一次外貌參考，其餘幀則留給模型自己根據運動軌跡和文字描述來合成動作。這個資訊瓶頸設計，迫使模型在保持外貌一致的同時，也必須根據角色的語義描述（比如"正在行走"）來生成真實的肢體動作，而不是簡單地把參考圖像平移過去。
**四、串聯歷史記憶的"上下文膠水"**
WorldDirector採用了一種叫做"因果分塊生成"的架構。把整段影片想像成一串香腸，每一節香腸就是一個5秒的影片片段（"塊"）。系統先生成第一塊，再生成第二塊，再生成第三塊，依次推進。每次生成新的一塊時，系統都需要參考之前已經生成的內容，以保證前後的連貫性。
這個參考機制被稱為"上下文記憶"（Contextual Memory）。具體實現上，系統會從之前生成的影片幀中，用兩套並行的策略挑選出最有價值的10幀作為參考：一套策略專門挑選與當前攝像機視角重疊度最高的幀（保證靜態背景的一致性），另一套策略專門挑選包含最多動態角色資訊的幀（保證動態對象的一致性）。這兩套策略挑出的幀被交錯合併，去掉重複的，並確保彼此之間至少間隔4幀（避免挑出的幀都集中在某一個時刻），最終形成一組時間分布均勻、內容全面的"記憶快照"。
這些記憶幀被拼接在當前待生成影片片段的前面，一同輸入到影片生成模型中。為了防止記憶幀被當前正在進行的噪聲渲染過程"污染"，系統對記憶幀施加了一種"單向注意力遮罩"：記憶幀只能關注自身，不能被當前帶噪聲的生成幀所影響，但當前的生成過程可以充分參考記憶幀的乾淨資訊。此外，記憶幀在時間編碼上被故意打上一個遠超訓練序列長度的偏移量，讓模型在頻率空間上清楚地區分"這是歷史，那是當下"。
**五、讓文字描述精確落地的"空間導航系統"**
還有一個重要細節：當用戶給不同角色分別指定不同的行為描述時（比如"女人快步走，跑車緩慢行駛"），系統如何確保"快步走"這個描述只影響女人，而不會擴散到跑車上？
研究團隊採用了一種叫做"空間感知加權交叉注意力"的機制。在影片生成過程中，畫面被分解成許多小的視覺token（可以理解為畫面的小碎片）。系統會識別出哪些視覺token落在哪個角色的邊界框內，然後在計算文字描述與畫面關係時，對屬於某個角色區域內的視覺token與該角色專屬文字描述之間的關聯權重進行額外加強。這樣，關於女人的文字描述就會在女人所在的畫面區域內產生更強的影響，而不會"跑偏"到跑車所在的區域去影響跑車的表現。這有效防止了"語義泄漏"——避免出現跑車突然變得像人一樣走路的荒誕情況。
相機運動的處理同樣經過精心設計。系統將所有歷史幀和當前生成幀的相機姿態都轉換為相對於當前塊第一幀的相對坐標，使用一種叫做Plücker坐標的數學表示來編碼相機的內參和外參，然後將這些相機運動資訊以自適應歸一化層的形式注入到影片生成模型的每一個處理模組中，讓模型始終清楚當前的視角是如何變化的。
**六、數據從哪裡來：用遊戲世界造訓練素材**
訓練這樣一個系統需要大量包含"角色走出畫面然後重新出現"場景的影片數據，而現實世界中這類影片極為稀缺。研究團隊的解決方案是：用遊戲引擎生成這些數據。
他們搭建了一個遊戲平台，專門生成時長15秒的影片，並在腳本中故意安排角色消失和重新出現的場景，同時記錄精確的攝像機參數和角色位置資訊。每段影片中，他們挑選一個5秒的訓練窗口，這個窗口被專門選取為包含最多"新出現對象"的時段（即那些在第一幀還不在畫面里、但後來出現的對象），以專門訓練模型處理重現場景的能力。剩餘的10秒則作為"候選池"，用來提供歷史外貌參考和上下文資訊。
接下來，他們用SAM3（一個強大的影片目標跟蹤工具）來自動標註每個對象在每一幀中的位置邊界框，其強大的重識別能力能夠在對象暫時消失後再次出現時仍然準確對應上同一個體。然後，將獨特的顏色標記疊加在每個對象上，再把這些帶顏色標註的影片輸入到Qwen2.5-VL-72B（一個強大的視覺語言模型）中，為每個對象的行為動作生成詳細的文字描述，形成訓練所需的文字-影片對數據。
**七、實驗結果：數字與畫面都說話**
研究團隊構建了一個包含100段影片的測試集，這些影片中的場景和角色在訓練時從未見過。評估從多個維度展開：像素級重建質量（PSNR、SSIM、LPIPS三個指標，分別衡量峰值信噪比、結構相似度和感知差異）、幀級別的主體和背景一致性（來自VBench評測框架），以及專門針對動態對象的"動態主體一致性"（DSC）——這個指標會把檢測到的動態對象區域裁剪出來，分別用DINO和CLIP兩種視覺特徵計算前後幀之間的相似度，直接衡量角色重現時是否還認得出是同一個人。
與五個主流的對比方法相比——包括Yume 1.5、HY-World 1.5、Infinite World、LingBot-World-Fast和HyDRA——WorldDirector在像素級重建的三個指標上全面領先，PSNR從其他方法的13至14點區間一舉躍升至18.127，SSIM達到0.502，LPIPS則降至0.359（這個指標越低越好）。在動態主體一致性上，WorldDirector的DSC-DINO達到0.769，DSC-CLIP達到0.917，同樣是所有方法中最優秀的。
值得一提的是，Yume、HY-World和Infinite-World在VBench的主體一致性和背景一致性指標上數值較高，但研究團隊指出，分析生成的影片後發現，這些方法之所以數值高，是因為它們根本就沒有讓角色和攝像機做太多運動——畫面基本上靜止不動，當然一致性就高了。這就好比說一個靜止的攝影機拍出來的畫面"一致性最高"——當然是，因為什麼都沒動。而WorldDirector在產生高度動態運動的同時，依然維持了出色的一致性，這才是真正有意義的成就。
定性對比同樣清晰。研究團隊設計了一個測試場景：一個男人原地站立，然後向遠處走去；同時攝像機先向左旋轉（讓男人離開畫面），之後再轉回來，讓男人重新進入視野。Yume、HY-World和Infinite-World三個方法都讓男人一直保持靜止，完全沒有按照描述走起來。LingBot-World雖然讓男人動了起來，但在外貌細節上隨著時間推移出現了明顯退化。HyDRA更直接——它乾脆在男人重新進入畫面時生成了一個全新的、和之前完全不同的人。唯有WorldDirector準確執行了腳本設計，男人在整段影片中保持了相同的外貌，並且按預期完成了走出畫面、在不可見區間繼續前行、再次回到視野的完整動作。
**八、消融實驗：每一塊都不可缺少**
研究團隊還做了一系列消融實驗，驗證各個設計組件的必要性。
第一組實驗去掉了外貌條件（Appearance Condition），只保留位置資訊。結果，模型在動態對象重新出現時出現了嚴重的身份丟失——它不知道重新出現的角色應該長什麼樣，只能胡亂生成一個看起來相似但並非同一人的形象。這驗證了顯式注入外貌參考的必要性。
第二組實驗保留了外貌條件，但改為用自注意力路由的方式強化當前幀和歷史幀中同一身份對象之間的注意力權重，而不引入額外的外貌參考通道。結果雖然顏色風格（比如衣服顏色）大體保持了一致，但精細紋理完全模糊，整個畫面充滿偽影，質量極差。研究團隊分析認為，這是因為在訓練數據中，靜態背景占據了絕大多數像素，MSE損失被背景主導，模型根本學不到如何在小的動態區域上保持高保真的細節一致性。
第三組實驗去掉了動態上下文（即只保留靜態場景幀作為歷史記憶，不專門挑選包含動態對象的歷史幀）。結果，即使有外貌條件的幫助，模型在處理重現角色時身份保持能力也明顯下降——它會生成語義上相似但並非同一個體的角色。這說明歷史動態幀的記憶對於"認出"重現角色同樣不可或缺。
第四組實驗去掉了時間丟棄機制，改為每一幀都提供完整的密集外貌參考。結果角色動作出現了嚴重的"滑翔"效應——角色像一張照片被平移一樣，看起來沒有真正在走路，而是在地面上滑行。這證明時間丟棄機制是讓角色自然運動、而非僵硬移動的關鍵。
**九、"可編程世界事件"：讓全新角色憑空出現**
WorldDirector還支持一種特別有趣的功能——"可提示世界事件"（Promptable World Events）。這意味著系統並不局限於初始畫面中已經存在的角色，用戶可以在故事腳本中憑空定義全新的角色：給它起個描述（比如"一匹駿馬"），設定它從哪個方向進入畫面，規劃它進入後的運動軌跡，然後系統就會在指定時刻讓這匹馬自然地出現在畫面中，並在它第一次出現後將其外貌納入外貌條件池，確保它後續每次出現都還是同一匹馬。
論文中展示了一個例子，畫面從一片空曠的沙漠場景開始，然後在不同時刻陸續出現了駱駝、一輛卡車和一個人物，每個新角色都按照預設軌跡運動，整個序列長達560幀，各角色和場景的一致性都得到了很好的維持。這種能力讓系統不再只是"續寫已有影片"，而是真正成為一個可以編排全新世界事件的導演工具。
此外，系統還支持靈活的視角切換。研究團隊展示了兩種場景：一種是全程跟隨一隻奔跑的狗進行第三人稱追蹤，同時完成360度全景旋轉；另一種是前兩個塊保持第三人稱跟拍人物，第三個塊切換為第一人稱視角，鏡頭從角色身上分離並開始獨立向後移動。這兩種模式都通過調整攝像機軌跡與角色軌跡的相對關係來實現，切換自然流暢。
**十、坦誠的局限與未來方向**
研究團隊坦承，WorldDirector目前存在一個明顯的局限性：訓練數據主要來自遊戲引擎，而遊戲畫面與真實世界影片之間存在域間隔閡。這導致生成結果有時會出現不太自然的運動方式（如人物走路姿態略顯機械）或面部細節模糊的問題。未來計劃引入真實世界數據集來彌合這一差距，提升生成內容的視覺真實感。
在技術實現層面，整個訓練過程在64塊NVIDIA A100（80GB顯存）GPU上運行，分布在8個計算節點上，採用全分片數據並行（FSDP）和激活檢查點技術來管理顯存。訓練影片解析度為832×480像素，幀率16fps，上下文長度固定為10幀，使用AdamW優化器以每批64個樣本、學習率1×10??進行3000步訓練，總耗時約72小時。
說到底，WorldDirector在AI影片生成這條路上解決了一個長期被忽視卻又根本性的問題：讓AI真正"記住"影片世界中的每一個角色，不管它走到畫面外的哪個角落。這件事的意義，對於遊戲、電影製作、虛擬現實等領域來說都相當實在——當AI開始能夠維護一個持久存在、物理一致的虛擬世界時，交互式敘事、遊戲場景生成、影視預可視化等應用才能真正站得住腳。
從這篇研究可以提煉出一個核心命題：將"規劃誰在哪裡"和"渲染它長什麼樣"這兩件事徹底分開處理，比把它們混在一起要高明得多。這個思路本身並不複雜，但要把它做好需要每一個環節都精確配合——大語言模型的軌跡規劃、外貌綁定的參考機制、時間丟棄的資訊瓶頸設計、雙流上下文檢索，以及空間感知的文字路由，每一塊都不能少。有興趣深入了解技術細節的讀者，可以通過arXiv編號2607.02517查閱完整論文。
Q&A
Q1：WorldDirector與普通AI影片生成模型相比，核心區別是什麼？
A：普通AI影片模型把角色的位置、運動和外貌全部混在一起學習，一旦角色離開畫面就無法追蹤，再次出現時會變成另一個人或直接靜止不動。WorldDirector則將"角色在哪裡運動"和"畫面長什麼樣"徹底分開處理——先用大語言模型規劃三維軌跡，再把軌跡作為指令傳給影片生成模型渲染畫面，同時通過外貌綁定機制保存每個角色的視覺特徵，確保重新出現時仍是同一個角色。
Q2：WorldDirector的外貌綁定機制為什麼要"故意減少"參考圖像的頻率？
A：如果每一幀都提供完整的外貌參考圖，模型會傾向於把參考圖像直接平移過去，角色看起來像在"滑翔"而非真正走路。時間丟棄機制讓系統在角色出現的前16幀密集提供參考（幫助鎖定外貌），之後每6幀才提供一次。這個資訊瓶頸迫使模型必須根據運動軌跡和文字描述自己合成動作，從而產生自然的肢體運動，而不是僵硬的圖像平移。
Q3：WorldDirector能否讓初始畫面中沒有出現過的全新角色也出現在影片裡？
A：可以。這就是論文中所說的"可提示世界事件"功能。用戶可以在大語言模型的規劃腳本中定義全新角色，指定它的外觀描述、進入畫面的時機和運動軌跡。當該角色第一次進入畫面時，系統會根據文字描述生成它的樣子，之後將其外貌納入外貌條件池，確保後續每次出現都保持一致的視覺身份，實現真正開放式的世界事件編排。
