你有沒有讓AI生成過長影片的經歷？如果有，你可能會發現一個奇怪的現象：影片開頭看起來還不錯，但隨著時間的推移，畫面中的角色可能會變形，顏色會發生奇怪的漂移，甚至整個場景都變得面目全非。這就好比你在玩"傳話遊戲"，最初的資訊經過多人傳遞後，到了最後已經完全變了樣。
這項由特拉維夫大學、巴伊蘭大學以及獨立研究者聯合開展的研究發表於2026年1月，論文編號為arXiv:2602.00268v1。研究團隊針對自回歸影片生成中的時間漂移問題提出了一個巧妙的解決方案——TokenTrim（令牌修剪）技術。
當前的AI影片生成技術通常採用"分段接龍"的方式來製作長影片。就像寫接力小說一樣，AI先生成幾秒鐘的影片片段，然後基於這個片段繼續生成下一段，如此反覆進行。然而，這種方式存在一個致命缺陷：每一段的小錯誤都會傳遞給下一段，最終導致整個影片質量嚴重下降。
想像你正在複印一份重要文件，但每次複印都要用上一次複印出來的版本作為原稿。第一次複印可能看起來還不錯，但經過多次複印後，文字會越來越模糊，甚至出現奇怪的斑點和扭曲。這正是當前AI長影片生成面臨的核心問題。
研究團隊發現，問題的根源並非AI模型本身能力不足，而是在生成過程中，那些已經"變質"的資訊片段被反覆使用，就像用變質的酵母做麵包，只會讓問題越來越嚴重。傳統的解決思路往往是改進模型架構或者重新訓練，但這既費時又費力，效果也不一定理想。
TokenTrim技術的創新之處在於，它能夠在影片生成的過程中實時監測和識別那些"不穩定"的資訊片段，並在它們造成更大損害之前將其移除。這種方法不需要改動原有的AI模型，也不需要重新訓練，就像給現有的影片生成系統加裝了一個智能的"質量檢查員"。
一、智能記憶清理：如何識別影片生成中的"壞記憶"
在深入了解TokenTrim的工作原理之前，我們需要理解AI是如何"記住"之前生成內容的。當AI生成長影片時，它會將之前生成的畫面資訊存儲在一個叫做"鍵值緩存"的地方，這就像是AI的短期記憶庫。每當需要生成新的畫面時，AI就會查閱這個記憶庫，確保新畫面與之前的內容保持連貫。
然而，問題在於這個記憶庫並不會自動清理"壞記憶"。如果某一幀畫面出現了錯誤或損壞，這些錯誤資訊也會被存儲起來，並在後續的生成過程中被反覆引用，最終導致錯誤的累積和放大。
TokenTrim的工作機制可以比作一位經驗豐富的圖書管理員。當新書（新生成的影片幀）到達時，管理員不會簡單地把它們全部放進圖書館，而是會仔細檢查每本書的質量。如果發現某些頁面有破損、文字模糊或內容不一致，管理員就會標記這些問題頁面，並在將來的借閱中避免使用它們。
具體而言，TokenTrim通過比較相鄰影片片段之間的差異來識別潛在的問題區域。系統會將每個影片片段轉換成一系列小的資訊塊（令牌），然後計算這些資訊塊在相鄰片段間的變化程度。如果某個資訊塊的變化程度超出了正常範圍，就會被標記為"不穩定"。
這種檢測方法的巧妙之處在於，它能夠區分正常的運動變化和異常的錯誤變化。比如，一個角色在畫面中正常移動時，相關的資訊塊會發生平滑的漸進變化；但如果出現了錯誤，比如角色突然變形或顏色異常改變，相關資訊塊就會出現突兀的跳躍式變化。
為了避免過度敏感或反應遲鈍，TokenTrim採用了自適應閾值機制。系統會持續監控整個生成過程中的變化模式，並動態調整判斷標準。這就像是一個經驗豐富的質檢員，能夠根據不同的生產環境調整檢查標準，既不會放過真正的問題，也不會因為過度嚴格而影響正常生產。
當檢測到異常變化時，TokenTrim並不會立即採取行動，而是會先評估這種異常的嚴重程度。只有當問題確實嚴重到可能影響後續生成質量時，系統才會觸發清理機制。這種謹慎的策略確保了系統既能有效清除"壞記憶"，又不會過度干預正常的生成過程。
二、精準手術：如何在不傷及無辜的情況下移除問題資訊
一旦TokenTrim識別出了有問題的資訊片段，下一步就是要精確地將它們從AI的記憶庫中移除。這個過程就像是在進行精密的外科手術，既要徹底清除病變組織，又要儘可能保護健康組織。
傳統的錯誤糾正方法往往採用"大刀闊斧"的方式，要麼重新生成整個影片片段，要麼調整整個模型參數。這種方法雖然有效，但代價高昂，就像為了修復一個小故障而重啟整台電腦。TokenTrim的創新在於它採用了"精準定點清除"的策略。
系統首先會對所有被標記為"不穩定"的資訊片段進行排序，找出變化最劇烈的那些部分。然後，系統會選擇其中最嚴重的一部分（通常是前10%）作為清除目標。這種選擇性清除的方式確保了既能解決主要問題，又不會過度刪減有用資訊。
清除過程採用的是"硬刪除"策略，即直接將有問題的資訊片段從記憶庫中移除，而不是試圖修復它們。這種方式的好處是簡單直接，避免了修復過程中可能引入新錯誤的風險。雖然刪除資訊會導致部分記憶丟失，但實踐證明，刪除少量問題資訊比保留它們造成的負面影響要小得多。
為了確保刪除操作不會破壞影片的整體連貫性，TokenTrim採用了分層清理策略。系統會優先清理那些局部性較強的錯誤，比如某個物體的顏色異常或形狀扭曲，而儘可能保留那些涉及整體布局和主要運動軌跡的資訊。這就像在修復一幅畫時，會優先修正局部的色彩錯誤，而保持整體構圖不變。
當刪除操作完成後，系統會基於清理後的記憶重新生成當前的影片片段。由於刪除了有問題的資訊，新生成的片段通常會顯示出更好的質量和一致性。如果新生成的片段仍然存在問題，系統可以重複這個過程，但為了避免無限循環，通常會限制重試次數。
這種精準清理機制的效果是顯著的。在測試中，研究團隊發現，通過刪除僅僅10%的問題資訊片段，就能夠顯著改善長影片的整體質量，減少顏色漂移、形狀扭曲和身份混淆等常見問題。
三、運動穩定初始化：為長影片生成打下堅實基礎
除了在生成過程中進行實時監控和清理，TokenTrim還特別注重影片生成的起始階段。研究團隊發現，第一個影片片段的質量對整個長影片的最終效果有著決定性的影響。就像蓋房子需要打好地基一樣，影片生成也需要一個穩定可靠的開端。
為了確保良好的開始，TokenTrim集成了一種名為FlowMo的運動穩定技術。這個技術專門用於提升影片中運動的連貫性和真實感。FlowMo的工作原理是在生成過程中持續監控畫面中各個元素的運動軌跡，並通過優化算法確保這些軌跡符合物理規律和視覺邏輯。
在傳統的應用中，FlowMo通常會在整個影片生成過程中持續工作，但這會帶來巨大的計算開銷。TokenTrim採用了一種更加智能的策略：只在生成第一個影片片段時使用FlowMo，為整個長影片建立一個高質量的起點，然後在後續的生成過程中主要依靠TokenTrim的清理機制來維持質量。
這種"精品開局，智能維護"的策略帶來了雙重好處。首先，FlowMo確保了第一個影片片段具有出色的運動質量和視覺連貫性，為後續生成提供了可靠的參考基準。其次，通過限制FlowMo的使用範圍，系統在後續生成過程中能夠保持較高的運行效率。
運動穩定初始化的重要性在測試中得到了充分驗證。研究團隊發現，使用了運動穩定初始化的影片在整體質量評分中平均提高了2.34個百分點。更重要的是，這種改善效果在長影片的後半段表現得尤為明顯，說明良好的開端確實能夠為整個生成過程提供持續的正面影響。
有趣的是，研究還發現，當TokenTrim與FlowMo結合使用時，FlowMo的效果會得到進一步放大。這種協同效應的產生原因在於，TokenTrim的持續清理機制能夠防止後續生成過程中引入的錯誤影響到FlowMo建立的高質量基礎。這就像是有了一個好的起點，再配上持續的維護，效果會比單獨使用任一技術都要好。
四、全面性能評估：數據說話的效果驗證
為了驗證TokenTrim技術的實際效果，研究團隊設計了一系列全面的測試評估。這些測試不僅包括客觀的數據指標分析，還包括主觀的人類用戶評價，確保技術改進能夠真正轉化為用戶體驗的提升。
在客觀指標測試方面，研究團隊使用了VBench基準測試套件，這是影片生成領域廣泛認可的評估標準。VBench從多個維度評估影片質量，包括語義一致性、視覺質量、運動連貫性和時間穩定性等。測試結果顯示，TokenTrim在所有關鍵指標上都實現了顯著改善。
具體而言，當TokenTrim應用於Rolling Forcing算法時，最終質量評分從75.12%提升到79.67%，提升幅度達到4.55個百分點。在Self Forcing算法上的表現更加出色，質量評分從75.93%躍升至81.84%，提升幅度達到5.91個百分點。這種一致性的改善說明TokenTrim的效果具有普遍性，不依賴於特定的基礎算法。
更細緻的分析顯示，TokenTrim在時間穩定性方面的改善最為突出。時間閃爍指標改善了2.12個百分點，運動平滑度提升了1.81個百分點。這些改善直接對應了TokenTrim的核心功能——減少時間漂移和維持視覺一致性。
在效率測試中，TokenTrim展現出了優秀的實用性。與基準方法相比，TokenTrim僅增加了8%的計算開銷，這個增幅在實際應用中完全可以接受。相比之下，其他一些改善方法可能需要增加一倍以上的計算時間。
人類用戶評價測試採用了VideoJAM基準數據集，共有640名用戶參與評估。評估採用盲測的方式，用戶不知道哪個影片使用了TokenTrim技術。評估結果顯示，在文本對齊度方面，TokenTrim獲得了15.2%的用戶偏好率，而基準方法只有9.9%。在運動質量方面，TokenTrim的用戶偏好率達到30.3%，是基準方法的三倍。最重要的是，在時間穩定性（無漂移）方面，TokenTrim獲得了41.7%的用戶偏好率，遠超基準方法的15.2%。
這些用戶評價結果特別有意義，因為它們反映了普通用戶的真實感受。技術指標的改善最終能夠轉化為用戶體驗的提升，這正是任何技術創新的終極目標。
為了驗證TokenTrim各個組件的貢獻，研究團隊還進行了詳細的消融實驗。結果顯示，完整的TokenTrim系統效果最佳，但即使移除某些組件，系統仍能保持相當的性能。例如，如果不使用運動穩定初始化，質量評分會下降2.34個百分點，但仍然優於基準方法。
五、技術局限與未來改進方向
儘管TokenTrim技術取得了顯著的成效，但研究團隊也誠實地指出了其當前的局限性和未來可能的改進方向。
首先，TokenTrim作為一種推理時技術，其效果受到底層影片生成模型能力的限制。如果基礎模型在某些方面存在根本性缺陷，比如無法正確理解某類物體的結構或運動規律，TokenTrim只能減緩問題的惡化，但無法完全解決問題。這就像是再好的質檢員也無法讓有設計缺陷的產品變得完美。
其次，當前的TokenTrim採用固定的清理策略，對所有類型的內容都使用相同的處理參數。然而，不同類型的影片內容可能需要不同的處理策略。例如，包含大量快速運動的動作場景可能需要更寬鬆的變化閾值，而靜態場景可能需要更嚴格的一致性要求。
研究團隊指出，未來的改進方向之一是開發自適應的清理策略。系統可以根據影片內容的特點、生成過程的進展情況以及檢測到的錯誤類型，動態調整清理參數和策略。這種智能化的適應能力將使TokenTrim能夠更好地處理各種複雜場景。
另一個有趣的改進方向是將TokenTrim的思路擴展到其他類型的序列生成任務。除了影片生成，文本生成、音頻合成等任務也都存在類似的誤差累積問題。TokenTrim的核心思想——實時監控和選擇性清理——可能對這些領域同樣有價值。
在實際應用方面，研究團隊建議未來可以探索更加個性化的清理策略。不同的用戶對影片質量的要求和偏好可能不同，系統可以學習用戶的偏好模式，並相應調整清理行為。這種個性化的技術將使TokenTrim能夠更好地滿足不同用戶的需求。
從更廣泛的角度來看，TokenTrim代表了一種新的思維模式：與其試圖從一開始就做到完美，不如建立有效的錯誤檢測和糾正機制。這種思路在人工智慧系統的設計中具有重要啟發意義，特別是在處理複雜、長序列任務時。
說到底，TokenTrim技術為AI影片生成領域帶來了一個重要啟示：有時候，知道何時"遺忘"比記住所有東西更加重要。通過智能地管理AI的"記憶"，我們能夠讓機器生成更加穩定、連貫的長影片內容。
這項技術的意義不僅僅局限於影片生成本身。它展示了一種通用的思路：在複雜的AI系統中，實時的質量監控和選擇性糾正可能比事後的全面修正更加有效。這種思維方式可能會影響未來更多AI應用的設計和開發。
對於普通用戶而言，TokenTrim技術的普及意味著我們將能夠創作出質量更高、內容更連貫的長影片。無論是製作教學影片、記錄生活片段，還是創建藝術作品，這項技術都將使AI影片生成變得更加實用和可靠。隨著技術的進一步發展和優化，我們有理由期待AI在影片創作領域發揮更大的作用。
Q&A
Q1：TokenTrim技術是什麼，它解決了什麼問題？
A：TokenTrim是一種針對AI長影片生成的智能記憶管理技術，主要解決自回歸影片生成中的時間漂移問題。就像給AI裝上了質量檢查員，能夠實時識別和清除影片生成過程中的"壞記憶"，防止錯誤在長影片中累積放大，從而讓AI生成的長影片保持穩定連貫的質量。
Q2：TokenTrim需要重新訓練AI模型嗎？
A：不需要。TokenTrim是一種完全在推理階段工作的技術，不需要修改原有的AI模型架構，也不需要重新訓練。它就像給現有的影片生成系統加裝了一個智能插件，可以直接應用到已有的影片生成算法上，比如Rolling Forcing和Self Forcing等。
Q3：使用TokenTrim技術會增加多少計算成本？
A：TokenTrim的計算開銷很小，測試顯示僅增加約8%的運行時間。這個增幅在實際應用中完全可以接受，遠低於其他一些需要大幅增加計算量的改進方法。相比之下，FlowMo等其他技術可能會增加一倍以上的計算時間。
