這項由新加坡國立大學電子與電腦工程系與英偉達研究院聯合完成的研究，發表於2026年第43屆國際機器學習會議（ICML 2026），地點在韓國首爾，收錄於PMLR第306卷。對原論文感興趣的讀者可通過論文編號arXiv:2607.03509查閱完整內容。
**影片生成領域的兩難困境**
拍過電影的人都知道，導演面臨一個永恆的兩難選擇：要麼花大量時間精心規劃每一幀，確保整部影片的連貫性和美感；要麼快速拍攝，讓演員即興發揮，雖然效率高，但有時前後劇情會出現矛盾，人物行為也會前後不一致。人工智慧生成影片的世界裡，同樣存在這個困境，而且這個困境在過去幾年一直沒有得到根本性的解決。
現有的影片生成系統大致分為兩種路線。第一種叫做"雙向擴散模型"，它的工作方式就像一位極為謹慎的導演：在生成任何一幀畫面之前，它會同時"看"這段影片的所有幀，前面的、後面的全都納入考量，然後再統一生成。這種方式就像先把整個劇本寫好，再一次性拍攝，好處是整體連貫性極強，畫面質量也非常高；壞處是計算量巨大，速度極慢，生成一段影片往往需要很長時間，而且很難擴展到更長的影片。
第二種叫做"自回歸模型"，它的工作方式更像一位即興演員：只看之前發生過的內容，不管後續如何，一幀接一幀往後生成。這種方式速度很快，天然支持任意長度的影片生成，還能利用一種叫做"KV緩存"的技術避免重複計算。然而問題在於，這種即興式的生成方式容易積累錯誤——就像一個人說話說著說著忘了最開始說的是什麼，導致影片裡的人物外貌、場景或動作前後不一致，長影片裡更容易出現明顯的"漂移"現象。
正因如此，研究團隊在這裡提出了一個核心問題：這兩種截然不同的生成方式，能否在同一個模型里同時存在，並且在需要時靈活切換？
**打破"非此即彼"的核心發明：Flex-Forcing**
這項研究的核心成果叫做Flex-Forcing，直譯過來是"靈活強制"，但更貼切的理解是"彈性分塊生成框架"。它的核心思路可以用一個拍攝電視劇的比喻來理解。
傳統的雙向模型就像把整季劇（比如21集）一次性拍完，所有演員同時在場，導演對整體把握極好，但成本極高，時間極長。傳統的自回歸模型則像每次只拍一集，拍完第一集才能拍第二集，速度很快，但有時候第十集的演員忘了第一集裡發生了什麼。Flex-Forcing的方案是：把整季劇分成若干"拍攝組"，每組內部的幾集可以同時拍攝（雙向模式），但不同拍攝組之間按順序進行（自回歸模式）。這樣既保留了組內的整體協調性，又大幅提升了整體拍攝效率。
在技術上，這個"拍攝組"就是所謂的"塊（Chunk）"。研究團隊將一段影片的所有幀按時間順序分成若干連續的塊，每個塊內部的幀使用雙向注意力機制相互參考，而不同塊之間則按照時間順序，後面的塊只能參考前面塊已經生成好的內容。通過調整塊的大小，就能在兩個極端之間平滑移動：當每個塊只有一幀時，就完全等價於自回歸模式；當整段影片只有一個塊時，就完全等價於雙向模式。這個簡潔的設計讓同一個模型在推理（生成）時能夠根據實際需求自由配置。
這個靈活分塊的設計沿著兩個維度同時展開，就像一張坐標系上的橫軸和縱軸：一個維度是"時間幀軸"，決定影片中哪些幀被分在同一個塊里；另一個維度是"去噪步驟軸"，決定在不同的去噪階段使用不同的塊劃分方式。把這兩個維度結合起來，就形成了一個極為豐富的配置空間。
**像金字塔一樣的智慧：去噪步驟上的分塊策略**
理解去噪步驟上的分塊需要先了解擴散模型的基本工作原理。擴散模型生成圖像或影片的過程，就像是把一張完全是噪點的圖片一步步"擦乾淨"，最終露出清晰的畫面。這個"擦乾淨"的過程會進行很多步（比如50步），早期的步驟決定大的結構和整體布局，晚期的步驟負責細節的精修。
研究團隊發現了一個很有道理的規律：在早期去噪步驟（噪點多、不確定性高），影片需要做"全局規劃"，此時使用更大的塊（甚至整段影片作為一個塊）更合適，因為需要讓模型同時"看"到所有幀，確定整體的場景、光線和運動方向；而在晚期去噪步驟（畫面已經基本成形），只需要精修局部細節，此時使用更小的塊即可，反而能提升效率。
這就形成了一個從"粗到細"的金字塔結構：最開始是大塊（寬鬆的雙向視角），隨著去噪進行，塊越來越小（逐漸向自回歸模式過渡），最終在最後幾步用細粒度的小塊完成精修。研究團隊還在技術上設計了一種"嵌套分裂"機制——上一步中的一個大塊，可以在下一步中被"切分"成若干小塊，同時保留所有原有的邊界點。這種嵌套設計保證了每個步驟的配置都可以由上一步驟演變而來，結構非常清晰。
在實際執行時，這個金字塔結構帶來了一個有趣的工程挑戰：如果上一步中某幾幀是作為一個大塊一起處理的，而下一步需要把它們拆成小塊分別處理，那麼後面的小塊必須等前面的小塊先處理完才行，因為它們需要參考前面塊生成的中間結果。研究團隊為此設計了一個臨時緩衝機制：先把大塊階段的結果緩存起來，等拆分後的小塊按順序逐一處理完後再繼續推進。這個細節雖然聽起來只是工程技巧，卻對保證整個系統的正確性至關重要。
**解決混搭帶來的新問題：噪聲級別不匹配**
把雙向和自回歸兩種模式合併在一個模型里，會產生一個此前從未被認真對待的問題：在同一個注意力層里，同一個"查詢"（可以理解為模型當前正在思考的內容）需要同時參考兩類"鍵值對"（可以理解為參考資料）——一類是已經生成乾淨的前面幀（噪聲很少），另一類是還處於高噪聲狀態的後續幀。這兩類參考資料所處的"信噪比"差異極大，就像你讓一個學生同時參考一本印刷精美的教科書和一張已經被雨淋濕、字跡模糊的手稿，模型處理起來會非常混亂。
為了解決這個問題，研究團隊提出了一個叫做"K-Projection"（鍵值投影）的機制。具體來說，它是一個輕量級的線性變換層，能夠將那些來自乾淨幀的"鍵"向量，按照當前去噪步驟的噪聲水平進行動態調整，讓它們看起來就像是在同等噪聲條件下產生的，從而消除噪聲級別不匹配的問題。這個投影層在初始化時被設置成"恆等映射"（即什麼都不改變），然後在訓練中逐漸學會如何進行合適的對齊。
這個機制的一個工程優點是：它只在計算注意力時臨時應用，不需要修改已經緩存的鍵值對本身。所以已經存好的緩存數據不用重新計算，只是在讀取時動態調整一下，效率完全不受影響。實驗結果顯示，這個看似簡單的小改動對整體性能的提升非常顯著，尤其是在塊尺寸較大、接近完全雙向模式時，缺少K-Projection會導致性能明顯下降，加入後則保持穩定甚至持續提升。
**訓練：讓模型在混沌中學會秩序**
一個能靈活切換兩種模式的模型，在訓練時自然也需要經歷兩種模式的混合。研究團隊採用了一種被稱為"隨機分塊策略"的訓練方式：每次訓練時，隨機地從2到10這個範圍內選擇塊的大小，並把這種隨機配置應用於整個影片的生成過程。這樣，模型在訓練過程中就會看到各種各樣的注意力模式——有時候是嚴格的逐幀自回歸，有時候是大塊的雙向注意力，有時候是介於兩者之間的混合形式。
這個訓練策略的出發點非常自然：如果你希望模型在測試時能靈活應對各種塊配置，那就在訓練時讓它見識各種配置。就像培訓一名演員，不只讓他練習固定台詞，而是讓他在各種不同場景下反覆排練，最終才能在正式演出時從容應對任何變化。
整個訓練流程沿用了前人工作中成熟的兩階段流程。第一階段叫做"ODE初始化"，通過在原本雙向的影片擴散模型上添加因果注意力掩碼（讓每幀只能看到之前的幀），把雙向模型逐步調整成具備因果性的模型。第二階段叫做"非對稱蒸餾"，這裡引入了隨機分塊策略，並結合一種叫做"VSD損失"的訓練目標，把需要很多步才能完成的擴散過程壓縮成只需幾步，從而大幅提升推理速度。
**彈性配置的實際效果：數字說話**
研究團隊在5秒鐘影片的生成任務上進行了詳細的搜索實驗，窮舉了所有將21個潛在幀分成3個塊的可能方式，並逐一測試了它們的速度（每秒幀數FPS）和質量（VBench評分）。結果呈現出幾個非常清晰的規律。
第一個規律是：均勻分塊並不是最優選擇。把影片平均分成三份（7-7-7）的效果，明顯不如某些非均勻分法。這說明對影片的理解是不對稱的——影片的前段往往包含更多需要建立全局上下文的資訊，而後段更多是在前段基礎上的延伸。
第二個規律是：把大塊放在前面、小塊放在後面，效果最好。比如"15-3-3"這種配置（前15幀作為一個大塊，後面各3幀分別作為一個小塊），在VBench上取得了所有配置中最高的得分85.07，甚至比完全均勻分塊的方案高出了整整0.44分。在某些情況下，這種前大後小的配置甚至能超越完全雙向推理的效果。
第三個規律是：NFE（生成所需的函數評估次數，可以理解為去噪步數）與速度直接相關。使用3步去噪的Flex-Forcing（比如"12-6-3"配置）每秒能生成45.6幀，而使用5步去噪的配置則是25.8幀。即便是3步版本，質量評分也達到了84.29，仍然超過了Self-Forcing基線的5步版本（83.89或84.31，取決於測試版本）。
在與競爭對手的正面對比上，Flex-Forcing的表現非常突出。與最主要的競爭對手Self-Forcing相比，在相同速度（FPS=24.9）下，Flex-Forcing的VBench總分高出了約1.2分（85.07 vs 83.89），同時在"Quality"這個維度上的提升尤為明顯（86.33 vs 84.45）。即便與更新的Self-Forcing++版本相比，差距依然顯著。
與那些專門為少步推理優化的"蒸餾"模型（如DMD-v、rCM等）相比，Flex-Forcing在4步模式下取得了85.13的總分，超過了所有同類方法；在2步模式下取得了84.20，同樣具有競爭力。這說明Flex-Forcing作為一個統一框架，在雙向模式下的表現也不弱於專門為此優化的方法。
**30秒長影片：更長，更穩**
研究團隊還在30秒長影片的生成任務上進行了評測，使用VBench-Long這個專門為長影片設計的評測基準。在這個測試中，Flex-Forcing以每秒24.96幀的速度運行，相比對手Infinity-RoPE（19.1幀/秒）快了約30%。
質量方面，Flex-Forcing在大部分指標上超越了Infinity-RoPE，最顯著的改進來自"動態程度"這個維度——Flex-Forcing達到了71.27分，而Infinity-RoPE只有50.26分，提升幅度高達21個百分點。這個差距說明Flex-Forcing生成的長影片運動更豐富、更多樣化，而對手的模型往往容易生成重複性的運動，導致影片看起來單調。在整體質量評分上，Flex-Forcing達到84.01，同樣優於Infinity-RoPE的82.84。
用戶偏好研究也印證了這一點：在5秒影片中，55.4%的用戶在視覺質量維度上更偏好Flex-Forcing；在30秒影片中，這個比例進一步上升到53.9%。兩個測試場景中，Flex-Forcing均獲得了過半數的用戶青睞。
**超越生成：任意時間步的影片編輯**
Flex-Forcing帶來的不只是更快更好的影片生成，還解鎖了一類此前很難實現的影片編輯功能。由於該框架支持在去噪過程的任意步驟上切換注意力模式，研究團隊發展出了兩種新穎的編輯方式。
第一種叫做"任意時間步編輯"。傳統的自回歸編輯方法面臨一個棘手問題：一旦你在某一幀上做了改動（比如改變某人的表情），這個改動會像漣漪一樣擴散到後續所有幀，因為每一幀都依賴於前面的幀。Flex-Forcing提出的解決方案是：把去噪過程的前幾步（負責全局結構的步驟）保持不變，只在後面幾步（負責細節精修的步驟）中引入編輯指令。這樣就把"全局規劃"和"局部調整"解耦開來，改動只影響細節而不破壞整體結構。實驗展示了一個具體案例：在一段人物影片中，從第6幀開始修改條件（讓人物張嘴大笑），只在最後三步（共四步）中應用這個修改，結果整段影片的一致性得到了很好的保留，而對照組的Self-Forcing則因為這個局部修改導致整段影片出現了大幅度的變化。
第二種叫做"任意順序編輯"。在雙向注意力的加持下，Flex-Forcing可以同時參考一個時間段前面和後面的內容。這意味著你可以在影片完整生成之後，挑選中間某一段重新編輯，而不需要從頭重新生成整個影片。比如，在一段81幀的影片已經生成完畢之後，你決定把第26到49幀之間的場景換成"一隻貓跑過去"，系統可以在同時參考第1到25幀和第50到81幀內容的情況下，重新生成這一段，使得前後銜接更加自然。實驗結果顯示，Flex-Forcing在幀49和幀50之間的過渡（編輯段與未編輯段的邊界處）比Self-Forcing更加流暢，說明雙向上下文的參考對保持一致性有實質性幫助。
**這套系統的局限與未來**
研究團隊在論文中坦誠地列出了這套方法目前的幾個局限。首先，雖然Flex-Forcing放寬了嚴格的從左到右因果約束，但訓練與推理之間的不匹配問題並沒有被徹底解決，在超長影片的生成中仍然會出現誤差累積。其次，Flex-Forcing的能力很大程度上依賴於基礎模型預訓練時積累的雙向編碼能力，如果遷移到那些預訓練能力較弱的模型上，效果可能會打折扣。當然，和所有影片生成模型一樣，這套技術如果沒有適當的使用規範，也存在被濫用的風險。
說到底，Flex-Forcing代表了一種思路上的轉變：影片生成的雙向模式和自回歸模式，不應該被視為兩條互不相容的道路，而應該被視為一個連續譜系上的兩個極端點。通過靈活分塊這個簡潔的設計，任何一個中間點都可以根據需要自由選擇，在質量與效率之間找到最適合當前任務的平衡。
這對普通人意味著什麼？隨著這類技術的逐步成熟，未來的影片創作工具可能會變得更加"聰明"——當你的設備性能有限時，它自動切換到快速但仍然足夠好的模式；當你需要極致品質時，它切換到精細但稍慢的模式；當你只想修改影片中間某一段時，它能在不動其餘部分的情況下精準完成編輯。這種靈活性，或許就是影片生成技術走向真正實用化的關鍵一步。
對這項研究感興趣的讀者，可以通過arXiv編號2607.03509找到完整論文，該成果已被2026年第43屆國際機器學習會議（ICML 2026）收錄，完整版本包含了大量定性比較影片和詳細的消融實驗，值得深入閱讀。
---
Q&A
Q1：Flex-Forcing是怎麼同時做到"快"和"質量好"的？
A：Flex-Forcing的關鍵在於"靈活分塊"設計——把影片按時間分成若干塊，每個塊內部用雙向注意力保證質量，塊之間按順序生成保證效率。通過把大塊放在前面、小塊放在後面，既讓影片整體結構有全局規劃，又減少了冗餘計算。實驗顯示，採用"15-3-3"這種前大後小配置，在速度與基線持平的情況下，質量評分可以提高約1.2分。
Q2：Flex-Forcing的K-Projection機制解決了什麼問題？
A：在混合生成模式下，同一個注意力層需要同時處理已經"乾淨"的前序幀和還處於"高噪聲"狀態的後續幀，兩者的信噪比差異極大，會導致模型混亂。K-Projection是一個輕量級的動態變換，能把乾淨幀的參考資訊按照當前噪聲水平進行調整，使所有參考資料處於同一"噪聲語境"下，消除不匹配問題，且不影響緩存效率。
Q3：Flex-Forcing的影片編輯功能和普通編輯軟體有什麼不同？
A：普通編輯軟體只能做剪切、拼接等操作，無法理解影片內容的連貫性。Flex-Forcing的編輯功能是"內容感知"的：它可以在修改中間某段影片時，同時參考前後段落的內容，確保編輯結果與前後自然銜接；還可以只修改去噪過程的細節步驟而保留全局結構，讓局部改動不會影響整體風格。這類編輯能力在傳統自回歸模型中是很難實現的。
