這項由新加坡國立大學研究團隊完成的工作，以arXiv預印本形式於2026年7月3日公開發布，編號為arXiv:2607.02963v1，研究方向涵蓋電腦視覺與影片理解領域。感興趣的讀者可通過該編號在arXiv平台上查閱完整論文。
**研究背景：一個讓AI"打字員"焦頭爛額的任務**
假設你是一位速記員，需要在觀看一段兩小時的紀錄片時，不僅要把片中每一個場景發生的時間精確記錄下來，還要為每個場景寫一段文字描述——哪一段在什麼時間、發生了什麼、畫面里有什麼、背景音樂或人物在說什麼，全部不能遺漏。這件事本就夠難了，更要命的是，你必須一個字一個字地寫，寫完第一個字才能開始寫第二個字，寫完第一個場景的描述，才能開始動筆寫第二個場景。
這正是當前主流影片大語言模型在處理"密集影片字幕生成"任務時面臨的困境。所謂密集影片字幕生成（Dense Video Captioning，DVC），簡單說就是：給一段未經剪輯的長影片，讓AI自動找出其中所有有意義的事件段落，標註出每個事件的起止時間，再為每個事件生成一段自然語言描述。這項技術對影片搜索與索引、以一人稱視角感知周圍環境的AI代理、影片敘事自動化乃至多事件影片生成都有重要價值。
然而，現有的AI模型在完成這項任務時，都像那位只能一個字一個字打的速記員一樣——嚴格按照從左到右、從前到後的順序，一個詞一個詞地生成輸出。影片越長、事件越密集，需要生成的詞語就越多，等待時間也就越長。以論文中的數據為例，在LongVALE這個基準測試上，當前最強的對比方法生成一段影片字幕平均需要超過16秒，而且隨著影片長度增加，這個時間還會成倍增長。
新加坡國立大學的研究團隊看到了這個問題，並提出了一個精妙的解決方案：既然影片中不同事件之間的內容本來就相對獨立，為什麼非要讓AI把所有事件的描述排成一條長隊，一個接一個地生成？能不能讓AI同時"開多個窗口"，分別為不同事件撰寫描述，最後再匯總到一起？
**一、先規劃，再並行——PadCaptioner的核心思路**
要理解這個方法，先來想一下一位餐廳廚師是怎麼工作的。一個人做一桌菜，如果每道菜都等上一道菜完全做好之後再開始，效率極低。有經驗的廚師會先在腦子裡規劃好：哪道菜需要先醃製，哪道菜可以一起下鍋，哪道菜需要最後收汁。有了整體規劃之後，多個爐灶同時開工，每道菜各自按節奏推進，整體上桌速度就大大提升了。
PadCaptioner的思路與此完全一致，分為兩個核心階段：先做一次"全局規劃"，再進行"並行烹飪"。
在全局規劃階段，模型會先瀏覽整段影片（包括畫面和聲音），然後為影片中的每個事件生成一個緊湊的"全局事件令牌"（Global Event Token）。你可以把這些令牌理解為廚師腦子裡為每道菜寫下的一張便利貼——上面記錄著這道菜是什麼、需要什麼食材、對應影片的哪個時間段。重要的是，這些便利貼是按照時間順序依次寫下的，因此每張便利貼都知道前面所有菜的情況，整體上形成了一個有序的全局時間結構。
有了這些便利貼之後，模型就進入並行生成階段。每個事件對應的文字描述，分別在各自獨立的"烹飪窗口"里同時進行，互不干擾。每個窗口裡，描述的生成仍然保持從前到後的順序（保證每個事件描述本身語言連貫），但不同事件的描述窗口之間可以並行推進——相當於多個爐灶同時開火，而不是一個爐灶用完了再開下一個。
這套思路的正式名稱叫做"依賴圖重構"。原本所有詞語排成一條依賴鏈，每個詞都要等前面所有詞寫完才能生成；新方法把這條長鏈拆分成多條短鏈，不同事件的短鏈可以並行推進，同一事件內部的短鏈仍然保持順序。由於不同事件之間的內容本來就相關性較弱，這種拆分不會損失什麼重要資訊，因此被稱為"無損並行生成"。
**二、全局規劃：讓AI先給影片"打草稿"**
全局規劃階段是整個方法的靈魂所在，值得深入了解其中的設計細節。
模型在接收影片和音頻輸入之後，首先會自動生成一串特殊的"全局事件令牌"，在原文中用G?、G?、G?……表示。這裡有一個值得注意的細節：事件的數量並不是事先設定好的，而是由模型自己判斷。模型會根據影片內容決定"這段影片大概有多少個獨立事件"，然後生成相應數量的令牌。這比強行規定"每段影片分成固定N個事件"要靈活合理得多——就像廚師不會死板地規定"今天一定要做8道菜"，而是根據食材和客人的需求靈活決定菜單。
當全局規劃階段結束後，模型會生成一個特殊的"切換令牌"（Switch Token），像是廚師說"好了，規劃完畢，大家開始各自做菜"的一聲令下，之後模型就進入並行生成階段。
為了保證這些全局事件令牌不只是空洞的占位符，而是真正能"代表"各自事件的豐富表示，研究團隊設計了兩個配套機制。
第一個機制叫做"顯式事件定位約束"。訓練時，模型被要求讓每個全局事件令牌的表示，與它對應的那段影片畫面和音頻的特徵儘量接近，同時與其他時間段的特徵保持距離。具體的數學方式是對每個時間段計算一個相似度分數，然後用二值交叉熵損失來監督訓練——相當於告訴模型："G?應該和0到6秒的畫面很像，和6秒以後的畫面要不像。"這樣訓練出來的令牌，自然就攜帶了事件定位的能力，推理時可以直接通過相似度匹配來確定每個事件對應影片的哪個時間段，而不需要另外生成時間戳文本。
第二個機制叫做"自適應語義聚合"。光有定位能力還不夠，每個全局令牌還需要把對應事件的視覺和音頻資訊"吸收進來"，以便後續的並行描述生成階段能夠以此為基礎，生成內容豐富的描述。研究團隊探索了三種聚合方式：最直接的是均值池化，把對應時間段的所有特徵向量取平均值加進令牌里；稍複雜一些的是通過一個輕量評分網路，對不同時刻的特徵賦予不同的重要性權重再加權求和；最後一種則是利用模型內部的注意力權重作為評分依據，完全不需要額外參數。實驗結果顯示，基於注意力權重的方式效果最好，因為模型的注意力機制天然就在關注最相關的資訊，這個內部信號可以直接被復用來決定"哪些片段的資訊最需要被吸收進全局令牌"。
**三、並行解碼：多個事件"同時開工"，但互相知道彼此在幹什麼**
有了全局規劃階段產生的事件令牌之後，並行解碼階段就開始了。這個階段的核心挑戰在於：既要讓不同事件的描述生成互不干擾（防止一個事件的描述污染另一個事件），又要讓每個事件的描述生成都能知道其他事件的大致情況（保持全局一致性）。
研究團隊通過設計一套特殊的"注意力可見性規則"來解決這個矛盾。具體來說，在並行生成階段，屬於事件i的描述詞語，被允許關注兩類資訊：一是所有全局事件令牌（G?到G?），二是同一事件內部已經生成的前序詞語和對應的事件錨定令牌G?。但是，不同事件的局部描述詞語之間，被明確禁止互相看到彼此。
用餐廳的比喻來說：每個爐灶前的廚師，都可以看到菜單上所有菜的總體規劃（全局事件令牌），也能看到自己這道菜之前已經做好的步驟，但不會看到其他爐灶當前正在做到哪一步的細節——因為看了也沒用，那些細節跟自己這道菜的下一步沒什麼關係，反而可能分心。
對比實驗非常有力地證明了這一設計的必要性。如果簡單地把標準因果注意力直接用於並行解碼（即保留所有詞語之間的相互可見性），F1分數會從61.8大幅下降到38.7，相似度分數也從38.8跌至19.9。原因很直觀：在並行模式下，如果事件2的第一個詞語能看到事件1已經生成的全部內容，它就會被事件1的內容"帶跑"，不能專注於事件2自身的內容。另一方面，如果完全隔離——每個事件只能看到自己的錨定令牌，完全看不到其他事件的任何資訊——相比完整方案，性能也會有所下降（F1降至59.8）。這說明全局事件令牌確實在跨事件資訊傳遞中起到了不可或缺的橋樑作用。
此外，研究團隊還處理了一個實際問題：不同事件的描述長度不一樣，有的事件很簡短，有的事件很複雜，生成的詞語數量差異可能很大。為了讓並行生成能夠同步推進，訓練時採用了填充策略——較短的描述會用"結束符"填充到最長描述的長度，所有子鏈對齊之後再訓練。同時，位置編碼也做了相應調整，不同事件子鏈中同一位置的詞語共享相同的位置索引，強化了子鏈之間的結構獨立性。推理時，某個子鏈一旦遇到結束符就自動停止，不會生成多餘的詞語，因此訓練時的填充不會影響推理時的輸出質量。
**四、實驗結果：快了多少，准了多少？**
研究團隊在多個基準測試上驗證了PadCaptioner的有效性，覆蓋了視覺和音頻兩種模態的事件理解場景。
在LongVALE基準（專門評測長影片中視覺-音頻-語言事件理解能力的測試集）上，PadCaptioner以56.4的F1分數（事件定位準確性）和58.5的語義相似度（描述質量）超越了此前最強方法ChronusOmni（7B參數模型，F1為49.7，相似度為52.4），提升幅度分別達到6.7%和6.1%。值得注意的是，PadCaptioner使用的基礎模型只有3B參數，比對比方法小了一倍多，卻取得了更好的效果。
效率方面，對比同樣在單張NVIDIA A6000 GPU上運行的結果：ChronusOmni處理一段影片平均需要約16162毫秒，每生成一個詞平均需要41.3毫秒；PadCaptioner處理同一段影片平均只需4284毫秒，每個詞僅需13.4毫秒。整體解碼時間縮短了約3.8倍，單詞生成速度提升了約3.1倍。換句話說，在生成同等資訊量的情況下，新方法比舊方法快了將近四倍。
在ChronusAV基準（另一個專注於影片與音頻聯合理解的測試集）上，PadCaptioner同樣保持了領先優勢：F1達到63.2，相似度達到40.0，各項指標全面超過對比方法，總體解碼時間從28093毫秒縮短至7527毫秒，單詞生成速度同樣提升約3倍。
研究團隊還在YouCook2（一個專注於烹飪教學影片的視覺字幕生成基準）上進行了零樣本測試，即不針對YouCook2專門訓練，直接用訓練好的模型進行評估。結果顯示PadCaptioner以27.1的F1、31.7的CIDEr分數和8.2的SODA_c分數，全面超越了包括ChronusOmni在內的所有對比方法，展示了良好的泛化能力。
除了密集字幕生成之外，研究團隊還在LongVALE的兩個額外任務（全模態時序影片定位和音影片片段字幕生成）以及ChronusAV的六個任務（影片到時間、時間到影片、音頻到時間、時間到音頻、影片到音頻、音頻到影片）上進行了評測，PadCaptioner在幾乎所有任務上都保持了競爭力或最優表現，說明這套框架不是為某個特定任務"過擬合"的，而是具備跨任務的通用影片理解能力。
**五、消融實驗：每個設計選擇都有其道理**
研究團隊通過一系列細緻的消融實驗，逐一驗證了每個設計選擇的必要性。這類實驗的邏輯很簡單：去掉某個組件，看效果下降多少；換成其他替代方案，看有沒有更好的選擇。
基準模型（不加任何新設計，直接在原始序列結構上微調）在ChronusAV上的F1隻有32.7，相似度只有17.6。加入潛在全局規劃之後，F1躍升至61.5，相似度升至38.4，提升幅度非常顯著。這說明"先規劃、後生成"這個思路本身帶來了巨大的性能增益，而不僅僅是速度上的改進。在規劃階段，如果換成"文本規劃"（先用文字生成時間戳，再據此生成描述），F1隻能到37.4，遠不如潛在空間規劃的61.5。原因在於，潛在空間表示更緊湊，能更好地捕捉事件級的語義，為後續生成提供更有表達力的錨點。
在語義聚合方式的對比中，完全不做聚合（僅靠定位約束）時F1為47.7；換成均值池化後F1升至58.5；基於評分網路的加權聚合進一步提升至61.4；基於注意力權重的聚合效果最好，達到61.8。這個漸進式的提升說明，資訊的選擇性聚合（聰明地決定"哪些內容更重要"）比盲目均勻匯總要有效得多，而模型自身的注意力機制恰好提供了一種免參數的高效選擇手段。
並行解碼階段的貢獻也被單獨量化：相比僅加規劃、不加並行解碼的配置，加入並行解碼後總體解碼時間從12405毫秒降至7598毫秒，單詞生成時間從22.9毫秒降至13.8毫秒，約有1.66倍的加速。同時，性能不僅沒有下降，F1和相似度還略有提升（從61.5/38.4升至61.8/38.8），研究者將此歸因於事件分治生成的方式有助於模型更專注地處理每個事件，減少了不相關的跨事件干擾。
**六、局限與未來方向**
研究團隊對方法的局限性保持了坦誠。其一，當前的依賴圖重構只考慮了事件級別的結構；未來或許可以探索更細粒度的單元（比如子事件或時空實例），並減少對人工標註事件邊界的依賴。其二，自適應語義聚合在面對較長事件時仍然可能產生粒度不夠細的描述，更有效的長序列資訊聚合方法值得繼續研究。其三，修改後的注意力模式與部分現有優化注意力核心（如FlashAttention-2）存在兼容性問題，導致訓練速度相對標準方法慢約1.4到1.9倍（在4張H200 GPU、12000樣本的訓練設置下需要約28小時，而標準方法需要約20至15小時）。不過研究者指出，這一問題可以通過專門的核心級優化來解決，而且推理階段的效率增益不受此影響。推理時最大GPU顯存占用在30GB以內，並行解碼本身不會增加KV緩存大小。
說到底，PadCaptioner做的事情，本質上是把"一個人從頭到尾打字"變成了"多個人同時開工，但大家手裡都拿著同一份總規劃"。這個思路聽起來簡單，但實現起來需要精確地定義哪些內容之間可以並行、哪些必須保持順序，以及如何在並行的各個分支之間保持資訊共享。研究團隊用潛在全局令牌和事件因式注意力機制把這個問題拆解得相當清晰，從實驗結果來看，這套設計既快又准，兩個目標並沒有像很多人預期的那樣相互牽制。
對於真實應用場景而言，這類技術的提速意味著更實時的影片內容分析成為可能——無論是影片平台的自動索引、無障礙字幕生成，還是AI助理對用戶拍攝的長影片做事件回顧，都可以從中受益。對於想深入了解技術細節的讀者，完整論文可以在arXiv平台以編號arXiv:2607.02963檢索獲取，代碼也已在GitHub的showlab/PadCaptioner倉庫公開。
---
Q&A
Q1：PadCaptioner為什麼能在生成質量更好的同時還提升速度？
A：PadCaptioner引入了潛在全局規劃階段，讓模型先對整段影片的事件結構形成整體認知，再對不同事件的描述並行生成。這種"先規劃後並行"的方式一方面讓每個事件的描述生成有了更豐富的語義錨點，提升了內容質量；另一方面把原本串行的多事件生成拆分為同時進行的多個子任務，大幅減少了等待時間，因此速度和質量得以同步提升。
Q2：密集影片字幕生成任務和普通影片字幕有什麼本質區別？
A：普通影片字幕通常只為整段影片生成一句或幾句總體描述，不需要定位具體時間段。密集影片字幕生成則要求模型自動找出影片中所有有意義的事件，精確標註每個事件的起止時間，再為每個事件單獨生成描述。這要求模型同時具備時間定位能力和語言生成能力，處理的資訊量和任務複雜度遠高於普通字幕生成，在長影片場景下對計算效率的要求也更苛刻。
Q3：PadCaptioner的並行解碼為什麼不直接讓所有事件描述完全獨立生成，而是還要保留全局事件令牌的可見性？
A：如果不同事件的描述完全隔離、互不知情，每個事件的描述就只能基於自身的視覺和音頻資訊來生成，而無法感知整段影片的全局時間結構和事件之間的關係。這會導致不同事件的描述在整體敘事上缺乏連貫性，也可能在邊界判斷上出現混亂。全局事件令牌充當了"共享規劃書"的角色，讓每個並行分支都知道自己在整個影片事件序列中處於什麼位置，從而生成更具全局一致性的描述。消融實驗也證實，保留全局令牌可見性比完全隔離方案效果更好。
