這項由Salesforce人工智慧研究院與布朗大學聯合開展的研究，以arXiv預印本形式發布於2026年7月13日，論文編號為arXiv:2607.11862，有興趣深入了解的讀者可通過該編號查詢完整論文。
當你問一個人"剛才那個影片裡，那個人為什麼會摔倒"，一個誠實的目擊者會告訴你："因為我親眼看見梯子向後滑動，然後他失去重心。"但如果這個目擊者其實沒看清楚，他可能會根據常識猜測："大概是腳滑了？"——兩種回答聽起來都像模像樣，卻有著本質區別：一個有真實視覺證據支撐，另一個只是合理推斷。
現在的AI影片理解系統，大多數時候扮演的是第二種角色。它們能流暢地回答關於影片的各種問題，卻無法告訴你答案來自影片的哪個時間段、畫面里的哪些具體物體。這種"只給結論不給證據"的狀態，在自動駕駛、手術操作分析、人機協作等高風險場景下是相當危險的——一旦AI答錯，你根本不知道它是真的看見了什麼，還是在依靠文字遊戲猜測。
正是為了解決這個根本性的信任危機，來自Salesforce與布朗大學的研究團隊提出了一套全新的框架：**證據支撐的影片問答（Evidence-Backed Video Question Answering，簡稱E-VQA）**。這套框架要求AI在回答影片問題時，必須同時給出三樣東西——正確答案、答案依賴的時間片段，以及畫面中具體物體的精確像素級追蹤軌跡。換句話說，AI不僅要說"男孩打球傷了那個人"，還要指出這件事發生在影片第7.5秒到9.8秒之間，並且用密集的追蹤蒙版把男孩和那個人的身體輪廓在每一幀都清晰標出。
這項研究構建了一個名為**ST-Evidence**的基準測試集，是全球首個專門為這類"帶證據的影片問答"任務設計的人工核驗數據集。與此同時，團隊還打造了一個包含16萬條訓練樣本的大規模數據集**ST-Evidence-Instruct**，並在此基礎上訓練出了性能顯著優於現有系統的基線模型。
一、AI看影片為什麼會"說瞎話"
在理解這項研究解決了什麼問題之前，有必要先理解一個容易被忽視的現象：影片AI的高分答題能力，和它真正"看懂"影片之間，存在著一道巨大的鴻溝。
把影片AI系統的工作方式類比成一個參加閉卷考試的學生會更好理解。這個學生可能讀過大量關於"人摔倒"的描述、"球打到人"的場景報道，因此當他看到相關影片時，他能很快給出聽起來合理的答案。但如果你追問："你是在影片哪個畫面看到這件事的？"他可能無法指出來，因為他的答案部分來自於背景知識和語言直覺，而不全是來自對當前影片的仔細觀察。
這種現象在學術界被稱為"語言偏見"——AI系統傾向於根據問題的措辭和訓練數據中的統計規律給出答案，而非真正感知影片內容。更麻煩的是，當前主流的大型影片語言模型，無論是OpenAI的o3、谷歌的Gemini 2.5 Pro，還是開源的Qwen3-VL系列，都是以純文本的方式輸出答案，根本無法生成"我是從影片的第幾秒到第幾秒、畫面里的哪個物體上得出這個結論"這樣的可驗證說明。
有人可能會想：那就讓AI生成一些解釋性的文字理由不就夠了嗎？研究團隊認為這遠遠不夠。文字解釋同樣可以是捏造的、模糊的，甚至只是聽起來合理的廢話。真正能驗證AI確實"看見"了什麼的，只有像素級別的空間定位——也就是說，AI必須在影片的每一幀中，精確地標出它聲稱作為證據的那些物體的輪廓。就像法庭上的證人不僅要陳述"兇器是一把刀"，還要能在監控錄像中指出刀具的具體位置和出現時間。
還有一類情況讓稀疏的定位方式（比如只給出矩形邊界框）也顯得力不從心：影片裡的物體會遮擋彼此、發生形變、甚至在移動中交叉換位。比如在一個"三杯猜球"魔術影片中，球被換來換去，僅靠矩形框根本無法追蹤某個特定杯子的完整移動軌跡。研究團隊因此堅持要求空間證據必須以"密集追蹤的像素蒙版"形式呈現——也就是每一幀都精確描繪物體輪廓的圖形疊加層，而不是隨便畫個方框了事。
二、"案發現場還原"：E-VQA任務究竟要AI做什麼
E-VQA任務的核心邏輯，可以用刑偵調查來理解。一名合格的偵探在結案時，不僅要給出"嫌疑人是X"的結論，還要提交完整的案發時間線和現場物證。E-VQA對AI的要求與此類似：面對一段影片和一個問題，AI必須同時產出三個相互關聯的輸出。
第一個輸出是語義答案，也就是問題的直接回應，比如"男孩打球傷了那個人"。第二個輸出是時間證據，即那些對回答問題至關重要的時間段，以起始和終止時間戳的形式給出，比如"第7.5秒到第9.8秒"。這些時間段必須既不能覆蓋整段影片（那樣沒有任何資訊量），也不能只是孤立的單幀（那樣無法捕捉動態過程）。第三個輸出是空間證據，以"密集追蹤的時空分割蒙版"呈現。簡單來說，就是AI需要在時間證據所覆蓋的每一幀畫面中，用精確的像素輪廓標出所有與答案相關的關鍵物體，並且這種標註需要在物體運動、變形、部分遮擋時依然保持連續性和準確性。
這三個輸出共同構成一個不可拆分的整體，就像一份完整的案件報告：結論、時間線、物證，缺一不可。當這三者同時存在且相互印證時，我們才能真正確認AI是"看懂了"影片，而非在做語言層面的猜測。
把這個標準與現有的同類研究做個對比就能看出差距。當前一些研究已經嘗試讓AI指出答案相關的時間段，或者用方框圈出關鍵物體，但這些工作通常把"定位"當作一個中間步驟，用來提升最終文字答案的準確率。E-VQA則把時間和空間定位提升為最終輸出的必要組成部分，而且要求的是密集像素追蹤，而非稀疏的關鍵幀標註。這是一個質的飛躍，就像從"嫌疑人大約在晚上8點出現在案發地附近"到"嫌疑人在晚上8點03分14秒進入現場，攝影機連續追蹤記錄了其完整移動軌跡"的差別。
三、為E-VQA專門打造的"考場"：ST-Evidence基準數據集
在構建評測體系時，研究團隊面臨的第一個挑戰是：全世界幾乎不存在同時包含問答、時間定位和密集像素追蹤三類標註的數據集。於是，他們從零開始建立了ST-Evidence，一個經過人工核驗的高質量基準數據集。
數據集的構建過程分三個階段，像是一套嚴格的出版審稿流程。第一階段是"選題"：研究團隊從NeXT-QA、Perception Test、STAR、CLEVRER、Ego4D等已有的影片問答數據集中篩選素材，但並非所有題目都能入選。篩選標準包括：影片畫質清晰且時長適中（5到200秒之間）、關鍵時間段不能是整段影片也不能是單一幀、問題必須有具體的視覺答案而非主觀判斷。他們還藉助一個視覺語言模型（Qwen3-VL-235B-A22B）作為初步過濾器。
通過初篩的樣本進入第二階段："標註"。人工專家拿到影片、問題和正確答案後，需要完成兩項任務：找出所有支撐答案的關鍵時間段，並在以每秒6幀的採樣率對每個證據物體進行逐幀的像素級蒙版標註。這個6幀/秒的標準來自著名的影片分割數據集DAVIS，被認為是平衡精細度與標註可行性的合理選擇。不夠清晰或過於主觀的樣本在這一階段會被直接淘汰。
第三階段是"審稿"：由博士級研究人員對所有標註進行獨立審核，質量不達標的樣本被退回重新標註，確保整個數據集維持嚴格標準。
考慮到從零開始做密集像素標註極其耗費人力，研究團隊還從ViCaS數據集的驗證集中引入了補充數據。ViCaS本身已經包含人工標註的密集蒙版和文字描述，研究團隊在此基礎上讓AI生成問答對和干擾選項，再由人工篩除不合格樣本、標註時間段，並把正確的空間證據對應到已有的ViCaS蒙版上。
最終，ST-Evidence包含兩個評測變體，分別面向不同類型的AI系統。其中**ST-Evidence-Gen**是"開放生成"模式：AI拿到影片和問題，必須自己產出完整的三元組——答案、時間段、空間蒙版。答案準確率用常規正確率衡量，時間證據質量通過"時間交並比（tIoU）"和"預測覆蓋率（IoP）"兩個指標評估，空間證據質量則使用影片分割領域標準的"J&F"指標，綜合考量區域相似度和輪廓精度。ST-Evidence-Gen共收錄2706個問題，來自2548段影片。
而**ST-Evidence-MCQ**是"多選題"模式，專門為那些沒有內置蒙版生成能力的通用影片AI設計。在這個模式下，答案選擇、時間段選擇、空間證據選擇都以選擇題的形式呈現。時間段的干擾選項由Qwen3-VL生成，要求語義相關但與正確答案幾乎不重疊。空間證據的干擾選項則由研究人員手工標註，選取影片同一幀中其他合理但錯誤的物體輪廓，形成四選一的難題。ST-Evidence-MCQ共有1298個問題，來自348段影片，全部源自NeXT-QA數據集。
四、現有AI在"交出證據"這件事上有多糟糕
數據集建好之後，研究團隊把當前最先進的影片AI系統全部拉到這個新考場裡測了一遍，結果令人清醒。
先看**ST-Evidence-Gen**的結果（見論文表2）。在問答準確率這一項，閉源商業模型表現不錯，Gemini-2.5-Pro以83.7%的準確率領先，OpenAI-o3達到82.6%，最強開源模型Qwen3-VL-235B-A22B也有83.6%。這說明這些系統的語言理解能力確實很強。
然而一旦涉及時間定位，畫風就變了。即便是最好的Gemini-2.5-Pro，其時間證據的綜合得分（t-mean，綜合了tIoU和IoP兩個指標）也只有49.9，意味著它預測的時間段平均只與正確答案重疊一半左右。大多數開源模型的時間定位能力更差，Qwen2.5-VL系列普遍在20出頭徘徊。更值得注意的是，在同一模型家族內部，增大模型參數規模（比如從3B到72B）對時間定位的提升極為有限。但換一代更新的架構（比如從Qwen2.5-VL跳到Qwen3-VL），提升則相當明顯——4B參數的Qwen3-VL-4B在時間定位上甚至超過了72B的Qwen2.5-VL。這說明提升的關鍵不是堆參數，而是架構設計和訓練方式，Qwen3-VL引入的"時間戳-幀"交錯輸入格式可能是其時間感知能力提升的重要原因。
空間證據方面的情況則更為嚴峻。所有通用影片AI都不具備直接生成影片蒙版的能力，研究團隊採用了一種"代理評測"方案：先讓通用AI用文字描述證據物體，再把這些文字描述輸入專業的分割模型UniPixel-3B，由後者生成蒙版，最後與人工標註的正確蒙版對比評分。即便在這種"借力"的前提下，最強的Gemini-2.5-Pro也只得到44.0的J&F分數，OpenAI-o3得41.9，大多數開源模型在29到42之間。這些數字意味著AI描述的證據物體，和人工標註的真實證據物體之間，存在相當大的偏差。
研究團隊還做了一個很有說服力的控制實驗：他們手工編寫了100個樣本的精確物體描述，用同一個UniPixel-3B去生成蒙版，得到44.7的J&F分數，比最好的AI自動描述（Gemini-2.5-Pro的25.6）高出將近20分。這個對比非常清楚地說明：分割模型本身不是瓶頸，真正的問題在於通用影片AI無法準確識別並描述出正確的證據物體。
再看**ST-Evidence-MCQ**的結果（見論文表3）。在選擇題模式下，大多數通用模型的答案準確率集中在68%到83%之間，這與常規影片問答的水平相當。但在時間段選擇上，各模型的表現開始出現明顯分化：Gemini-2.5-Flash以78.81%領先，Qwen3-VL-30B-A3B達到71.54%，而Qwen2.5-VL-7B只有27.12%，接近隨機猜測。
空間證據的選擇題得分才是最觸目驚心的部分。隨機猜測在四選一問題下的基準線是25%，而多數開源模型的得分落在23%到27%之間，與隨機瞎猜毫無差別。換句話說，這些AI完全無法從四張候選蒙版圖像中挑出正確的證據區域——哪怕只是在圖片上選一個。唯有Qwen3-VL系列和Qwen2.5-VL-72B表現出明顯好於隨機猜測的結果，Qwen3-VL-235B-A22B的空間證據準確率達到了86.90%，OpenAI-o3也有84.32%，但這兩者在時間定位上的表現卻差了很多（分別是70.96%和50.67%）。這進一步印證了一個核心結論：問答能力強，不等於定位能力強；兩者的表現幾乎沒有相關性。
兩個專門設計用來"生成"和"定位"的專業模型——Sa2VA和UniPixel——在面對需要複雜推理的E-VQA任務時也顯得力不從心。Sa2VA的時間定位分數是0（它根本沒被訓練來預測時間段），UniPixel雖然能輸出時間段，但分數極低（3B版本只有6.5的t-mean），空間定位方面勉強超過通用模型，但也沒有明顯優勢。
五、訓練數據不夠用怎麼辦：自動化打造16萬條"帶證據的題目"
現有數據集既支撐不了E-VQA的評測，更訓練不了一個真正能做這件事的模型。研究團隊面臨的挑戰是：大規模、從零開始的人工標註根本不現實，單單是給一段影片做密集蒙版標註就需要大量時間。於是他們設計了兩套全自動化的數據生成流水線，通過"廢物利用"來解決這個問題。
兩套流水線的出發點不同，像是兩條交匯的軌道。
第一條軌道叫做"從定位到語義"（Grounding-to-Semantics），專門處理那些已經有密集蒙版標註但缺乏問答對的影片。ViCaS數據集就屬於這種情況，它的每段影片都配有人工撰寫的文字描述和對應物體的像素級標註。研究團隊的策略是：先用AI生成問答對，再把對應物體的現成蒙版"嫁接"過來當作空間證據。
具體操作如下：首先，用Qwen3-VL和Gemini-2.5-Pro兩個模型分別根據影片和文字描述獨立生成問題、答案、干擾選項、涉及的證據物體，以及一個1到5分的置信度自評和簡短解釋。每段影片各自生成三到四個候選問題，兩個模型加起來通常能給出六到八個候選。然後進行兩輪過濾：先自動丟棄格式錯誤或置信度低於3分的條目，再用Gemini-2.5-Pro做純文字層面的二次審核。通過審核的樣本再次查詢Qwen3-VL，讓它在以每秒4幀（高於生成問題時的2幀，以便捕捉更細膩的時間動態）的速度瀏覽影片後預測時間證據。最後，空間證據直接從ViCaS的現有蒙版中提取，對應到被識別為證據物體的那些標註。
第二條軌道叫做"從語義到定位"（Semantics-to-Grounding），處理那些有豐富問答對但沒有任何定位標註的影片。這種情況要複雜得多，因為從複雜問題出發，找到對應的空間證據，對AI來說是個很有挑戰性的跨模態任務。研究團隊把它分解成三步來處理。
第一步是"物證認定"：用Qwen3-VL-235B-A22B去分析影片和問題，讓它列出能夠回答這個問題的關鍵物體描述（比如"穿紅色上衣的人的手"）和這些物體清晰可見的時間戳。關鍵在於，AI還必須同時給出一個基於這些物體的答案，如果答案與正確答案匹配，物證才被接受。如果不匹配，允許最多重試五次；五次後還不對，整個樣本被丟棄。這一機制確保了被選出的證據物體確實與正確答案有邏輯關聯。
第二步是"坐標確認"：拿著已驗證的物體描述和時間戳，提取對應幀，讓Qwen3-VL在該幀上預測出物體的邊界框。為了確保後續追蹤的質量，會過濾掉面積過小（小於畫面的1%）或過大（超過90%）、寬高比異常，或與相鄰幀位置嚴重不一致的邊界框。
第三步是"全程追蹤"：把通過驗證的邊界框作為提示，輸入SAM-3（Segment Anything Model 3，一個強大的通用分割模型），讓它在整段影片中密集地追蹤和分割這些物體，生成完整的像素蒙版軌跡。最後還會把重疊度過高（IoU大於0.9）的重複蒙版合併，避免冗餘。
兩條流水線合併處理後，產出了**ST-Evidence-Instruct**，一個包含16萬條帶有完整三元組（問題+答案+時間證據+空間證據）的訓練數據集，影片來源跨越Perception Test、STAR、CLEVRER和ViCaS，共計約3萬段影片。
六、真正訓練出"會提供證據的AI"：基線模型與實驗驗證
有了訓練數據，研究團隊在UniPixel模型的基礎上訓練了兩個規模的基線模型（3B和7B參數），驗證整套方案的有效性。UniPixel本身是一個將大型視覺語言模型（Qwen2.5-VL）與分割解碼器（SAM-2.1）集成在一起的架構，天然具備同時處理文字推理和像素級分割的能力。
在ST-Evidence-Instruct上做微調時，研究團隊沒有丟棄UniPixel原來的訓練數據，而是混入現有影片分割數據集和通用影片理解數據集，防止模型過度偏向E-VQA任務而失去通用能力。參數更新上採用了LoRA（一種低參數量高效微調方法），只在視覺編碼器和語言模型上做輕量調整，而分割解碼器則完整訓練。訓練目標是同時最小化答案和時間段預測的文字生成損失，以及蒙版生成的分割損失。
結果相當令人鼓舞（見論文表2最後兩行）。與出發點相同的UniPixel基線相比，微調後的3B模型在時間證據的t-mean上從6.5提升到26.9，提升了20.4分；7B模型從1.9提升到29.1，提升了27.2分。空間證據方面，3B模型的J&F從42.7提升到52.7，提升10分；7B模型從40.3提升到54.1，提升13.8分。
提升的幅度在數字上看起來或許不像天壤之別，但要知道，這是在大幅縮小的答案準確率損失下（3B僅下降0.2，7B反而提升1.0）取得的。更值得注意的是，訓練後的3B模型在時間定位上超過了參數量是其二十多倍的Qwen2.5-VL-72B（26.9 vs 25.3），而兩個版本在空間定位上則超越了所有其他基線，包括專業的閉源商業系統。
研究團隊還在其他影片分割和通用理解基準（MeViS、Ref-DAVIS17、ReVOS、MVBench）上測試了這兩個模型，確認它們不僅在E-VQA任務上有所提升，在通用分割和語義理解任務上也持平甚至超過了原始UniPixel基線（見論文表4）。7B版本在四個基準測試中均達到同規模模型的最優或接近最優水平。
自動化標註流水線本身的質量也得到了單獨驗證：把流水線直接生成的蒙版與ST-Evidence-Gen的人工標註做對比，流水線的J&F得分為62.8，明顯高於基線模型（54.1）和最強的235B商業模型（41.9）。這表明流水線生成的訓練數據質量是可靠的，有能力作為上限目標引導模型學習。
七、證據真的有用嗎：一場"遮臉實驗"給出了答案
研究團隊還設計了一個頗為直覺化的實驗，來驗證他們人工標註的證據蒙版是否真的"有用"，而不只是恰好出現在畫面顯著位置的無關區域。
實驗選取了ST-Evidence-Gen的200個樣本，對每個樣本做三種不同處理後分別讓Gemini-2.5-Flash和Qwen3-VL-8B回答問題：第一種是正常影片原樣播放，第二種是把人工標註的證據物體區域打上馬賽克（像素化處理使其完全不可辨認），第三種是把隨機選取的非證據區域打上面積相同的馬賽克。
如果證據標註是真實有意義的，那麼"遮蓋證據區域"應該導致回答準確率大幅下降，而"遮蓋非證據區域"應該影響不大。
結果與預期完全吻合（見論文表5）：Gemini-2.5-Flash在原始影片上準確率為81.32%，遮蓋證據區域後急劇下降到61.12%，降幅超過20個百分點；遮蓋非證據區域後則只下降到76.43%，降幅不到5個百分點。Qwen3-VL-8B同樣呈現出幾乎完全相同的模式（79.31% → 58.32% → 73.66%）。兩個AI不約而同地在證據被遮蓋時"不知所措"，在非證據被遮蓋時幾乎沒有受到影響。這有力地說明了人工標註的證據區域確實捕捉到了回答問題所必須的視覺資訊，而不是研究者主觀認定的"顯著區域"。
說到底，這項研究做的事情，是在AI影片理解領域建立了一套"舉證責任"機制。過去，AI可以靠語言直覺答題而不被追究；現在，E-VQA要求它必須同時提交時間證據和像素證據，而且這些證據必須經得起量化指標的審核。
從測試結果來看，當前所有主流影片AI系統在這套機制下都暴露出明顯短板——不是答錯了，而是答不出"我為什麼這麼答"。參數量的擴大並不能直接彌補這一差距，架構設計和專項訓練數據才是更關鍵的因素。研究團隊用16萬條自動生成的三元組訓練數據，讓一個7B的小模型在空間和時間定位上雙雙超越了所有對手，包括百倍體量的商業系統，這說明數據配方的改變可以帶來質變。
歸根結底，這項研究揭示的不只是技術缺口，更是一個值得深思的問題：當AI越來越多地進入醫療、駕駛、工業這些高風險場合，僅僅"答對了"是不夠的。我們需要能夠追責、能夠核驗的AI推理過程。E-VQA框架和ST-Evidence數據集為這個方向提供了一個可操作的起點。有興趣深入研究這個方向的讀者，可以通過論文編號arXiv:2607.11862查閱完整內容，研究團隊的代碼和數據也已在GitHub上公開（搜索SalesforceAIResearch/EVQA）。
---
Q&A
Q1：E-VQA和普通的影片問答有什麼區別？
A：普通影片問答只需要AI給出文字答案，E-VQA（證據支撐的影片問答）要求AI同時給出三樣東西：文字答案、答案對應的影片時間段，以及支撐答案的畫面物體的像素級追蹤輪廓。這相當於要求AI不只"說出結論"，還要"出示證據"，讓答案的形成過程可以被驗證。
Q2：ST-Evidence數據集為什麼要人工標註，不能全自動生成嗎？
A：密集的像素級蒙版標註目前只能靠人工才能達到真正高質量，尤其是在物體遮擋、變形等複雜情況下。研究團隊的評測基準ST-Evidence採用了人工標註加博士級審核的嚴格流程，以確保評測結果的可靠性。而用於訓練的ST-Evidence-Instruct則通過自動化流水線生成，經驗證其質量（J&F得分62.8）甚至超過了微調後的模型和最強商業模型，證明自動化在訓練數據層面是可行的。
Q3：為什麼增大模型參數規模無法解決影片證據定位的問題？
A：實驗結果顯示，同一代模型內部從小到大擴參數，時間和空間定位能力幾乎沒有提升；但換成新一代架構（比如Qwen3-VL相比Qwen2.5-VL），即使參數更小也能大幅超越。這說明定位能力的瓶頸在於架構設計和訓練數據的質量，而不是參數量。比如Qwen3-VL引入了時間戳與影片幀交錯輸入的機制，讓模型對影片時間軸有了更細緻的感知，這才是性能躍升的真正原因。
