這項由慶應義塾大學（含人工智慧研究中心與醫學部）聯合英偉達公司開展的研究，以預印本形式發布於2026年7月2日，論文編號為arXiv:2607.02269。有興趣深入了解的讀者可以通過該編號在arXiv資料庫中查閱完整論文。
以下這件事可能會讓你感到意外：如今最先進的AI視覺模型，在看一段普通老鼠撓臉的影片時，往往既說不清楚老鼠在哪個時間段撓了臉，也框不准它的位置——即便這個任務對受過專業訓練的獸醫來說只是家常便飯。這不是個別模型的偶發失誤，而是研究人員用一套精心設計的考題，讓當前15個頂級AI模型——包括GPT-5.1、Gemini-3.1-Pro等業界最強選手——集體暴露出來的系統性短板。
這套考題就是慶應義塾大學團隊發布的"AnyGroundBench"，一個專門針對影片理解中"時空定位"能力的專業領域基準測試。說得直白些，它要求AI模型回答兩個問題：目標物體在影片裡的哪個時間段出現？出現的時候，它在畫面的哪個位置？這兩個問題合在一起，就是所謂的"時空影片定位"任務，英文縮寫為STVG。
研究團隊的核心關切在於：現有的AI評估體系幾乎全部建立在日常生活場景上——人們走路、吃飯、開車——而真實世界對AI的需求遠不止於此。外科醫生需要AI識別腹腔鏡手術中某把鑷子的運動軌跡；神經科學家需要AI追蹤實驗室小鼠撓臉的精確時刻；工廠質檢員需要AI在流水線影片裡找到某隻螺絲刀被拿起的那一幀。這些場景里的視覺內容，與網路上的日常影片有著本質差異，AI在通用場景里練就的本事，能否遷移到這些陌生領域，是一個幾乎從未被系統檢驗過的問題。
為此，研究團隊構建了一套橫跨五個專業領域的測試集，總計包含2040個影片、3522個問答對，每個影片都配有精細的時間標註和逐幀空間邊界框。測試題的設計充分考慮了專業領域的真實複雜性，既有團隊新拍攝的醫學級小鼠行為影片和美式橄欖球戰術影片，也有來自手術室、工業車間、公共安全監控等已有數據集的重新標註內容，統一整合進同一套評估格式。更重要的是，每個領域都附帶了專屬的訓練子集，用於測試AI的快速適應能力——不僅看你的底子，還要看你能不能在見了幾個例子之後迅速上手。
---
一、考試的規則：什麼叫"時空定位"，為什麼它這麼難
要理解這場考試的難度，不妨用一個生活場景來類比。假設你在看一部兩小時的足球比賽錄像，朋友讓你找出"右邊前鋒在禁區內停球並轉身射門"的那段畫面，並且在那段畫面的每一幀上，用方框標出這名球員。你需要同時做到三件事：認出"這個動作是停球轉身射門"，判斷"從第67分32秒到第67分38秒這段時間是這個動作發生的時間"，以及"在每一幀畫面里準確畫出這名球員的輪廓框"。任何一步出錯，整個答案都不算對。
這就是STVG任務的本質。研究團隊把這個大任務進一步拆解成兩個子任務，以便精確找到AI失敗的位置。第一個子任務叫"時間影片定位"（TVG），只問時間：這件事從哪裡開始、到哪裡結束？第二個子任務叫"空間影片定位"（SVG），把時間段直接告訴模型，只問空間：在這段時間裡，目標在畫面哪個位置？完整的STVG則需要同時解決兩者。
研究團隊為每個任務設計了專屬的系統提示詞，通過改變指令來讓同一個AI模型分別完成三種任務，而不是訓練三個不同的模型。這樣設計的好處是可以公平地比較同一個模型在不同子任務上的表現差異，進而確定瓶頸究竟出在哪裡。
評分標準也有講究。空間部分用"空間交並比"（sIoU）衡量，通俗理解就是：AI畫的框與標準答案的框有多少面積重疊？兩個框完全重合得滿分，毫無重疊得零分，超過0.3的重疊度才算基本合格。時間部分用"時間交並比"（tIoU）衡量，邏輯相同——AI預測的時間段與真實時間段的重疊比例。完整的時空定位則綜合考量兩者（vIoU），要求空間和時間都必須準確。評測報告了0.3和0.5兩個門檻下的通過率，0.5門檻更嚴格，更接近實際應用要求。
---
二、五個專業領域：每個都是一道不同類型的難題
動物領域的測試內容來自兩個來源，彼此構成鮮明對比。第一個來源是"動物王國"數據集，覆蓋850個物種，內容豐富多樣，從蜘蛛跳舞到鱷魚捕獵都有涉及。研究團隊在原有的時間標註基礎上，補充了逐幀的空間邊界框，把它改造成了可以測試時空定位能力的格式。
第二個來源則是團隊在慶應義塾大學醫學院全新拍攝的"小鼠撓癢"數據集，由兩位整形外科醫學專家親自參與標註。這個數據集的挑戰性遠超前者：攝像機從前方、側方、俯視四個角度同步拍攝，記錄的是實驗室小鼠在特定皮膚病實驗中的精細行為。標註的邏輯極其細膩——研究者需要區分"用前爪梳理臉部"和"用後爪撓臉部"，區分"單次撓"和"反覆撓"，區分"撓身體"和"撓臉部"，共形成九種不同的查詢類型。背景是白色的籠子和墊料，畫面清晰但主體極小，加上有時存在運動模糊和霧氣，對AI的空間定位能力是極大考驗。
工業領域使用了兩個以第一視角拍攝的專業數據集。MECCANO數據集記錄的是人員組裝摩托車模型的過程，原始標註包括人與物體的交互時間段和活躍物體的位置框，研究團隊直接沿用了這些標註。ENIGMA-51數據集則記錄了專業技術人員修復電路板的過程，使用了電動螺絲刀、示波器等專業工具。這個數據集的原始標註只在少數關鍵幀提供了位置框，研究團隊補充了完整的逐幀標註，並為每個交互動作設計了自然語言查詢，例如"電動螺絲刀被拿起"。
體育領域的測試內容以多人高速運動場景為主。MultiSports數據集覆蓋籃球、排球、足球和藝術體操四個項目，原有的逐幀標註質量很高，研究團隊直接採用。配套的則是團隊新拍攝的美式橄欖球數據集，內容來自大學級別的業餘比賽，共123段多視角戰術影片。五種核心戰術動作——傳球接球跑動、傳球跑位、長踢戰術、射門得分、開球——需要經驗豐富的球員才能準確識別動作的開始和結束時刻。畫面中球員密集、碰撞激烈、視角多變，對任何視覺模型都是嚴峻考驗。
手術領域匯集了兩種手術類型的影片。EgoSurgery數據集是開放性手術的第一視角錄像，手術者頭戴攝像設備，記錄了15類手術工具以及手的精確位置，研究團隊在原有標註基礎上為工具和手術階段的組合設計了自然語言查詢，如"縫合階段中的持針器"。CholecTrack20數據集則是腹腔鏡手術的內鏡視角錄像，所有操作都通過器械完成，原有標註包含密集的空間軌跡，研究團隊補充了將器械與手術階段聯繫起來的自然語言查詢，如"膽囊分離階段中的雙極電凝"。
公共安全領域包含兩個視角迥異的數據集。UCA數據集是城市監控的外置攝影機視角，記錄異常事件並配有精細的語言描述，研究團隊補充了異常主體的空間位置標註，查詢語句如"打碎玻璃並打包物品的黑衣男子"。DoTA數據集則是行車記錄儀的第一視角，記錄4677個交通事故片段，涵蓋18種異常類型，原有"何時何處"標註可以直接使用，查詢語句如"一輛失控離開路面的異常卡車"。
---
三、適應能力測試：讓AI在考試前先看幾道例題
AnyGroundBench的設計中，每個專業領域都包含一個訓練子集，專門用來測試模型的"快速適應"能力。這個設計的出發點來自一個現實：沒有任何AI能在訓練階段就接觸過所有可能的專業領域，因此關鍵不在於它在某個領域的固有知識有多豐富，而在於當它看到該領域的少量示例之後，能否迅速學會如何在那裡工作。
研究團隊選擇了"上下文學習"（In-Context Learning，ICL）作為衡量適應能力的主要方法。ICL的工作方式非常直觀：在向模型提問之前，先給它看幾個問題與正確答案的配對示例，讓模型"感受一下"這個領域的風格。在正式測試中，研究團隊每次給模型看兩個示例（2-shot ICL），示例的選取基於與當前問題的文本相似度和視覺相似度的加權組合，權重各占一半，使用專門的文本編碼器和影片編碼器來計算相似度。
ICL的最大優勢在於它不需要重新訓練模型，因此適用於所有類型的模型，包括只能通過API調用的閉源商業模型（如GPT和Gemini系列）。這使得實驗結果具有相當強的通用性。
---
四、考試結果：15個模型，五個領域，沒有人能拿到滿意的成績
主要實驗結果匯總在一張大型對比表格中，橫軸是五個專業領域，縱軸是15個模型，每個單元格同時報告STVG、TVG和SVG三個任務的得分。數字越高越好，滿分理論上是100。
整體來看，這些數字觸目驚心地低。在最完整的STVG任務上，即便是表現最好的模型Gemini-3.1-Pro，在公共安全領域的得分也只有22.8，在動物領域只有16.5，在體育領域則只有1.22。開源通用模型的表現更為慘澹——InternVL3-8B在手術領域的STVG得分是0，在公共安全領域也是0；Eagle2.5-8B在所有領域的STVG得分全部為0。這些模型並非無名之輩，而是當前學術界和工業界公認的主流視覺語言模型。
專門為時空定位任務設計和訓練的LLaVA-ST模型，在動物領域的STVG得分為12.1，在其他領域則普遍不超過1。這說明即使是專門優化過這項能力的模型，在面對陌生專業領域時也會嚴重失靈。
加入兩個示例之後（ICL），整體表現沒有穩定提升，而是呈現出極為混亂的狀態。有的模型在某個領域因為看了示例而表現大幅改善——例如Gemini-3-Flash在公共安全領域的STVG從10.7升至30.8，提升非常顯著。但另一些模型則因為看了示例而變得更差——Gemini-3.1-Pro在動物領域的STVG從16.5降至12.7，GPT-4o在工業領域的STVG從2.95降至1.25。這種隨機性意味著ICL對於時空定位任務而言是一個不可靠的適應工具。
---
五、拆解失敗：時間比空間更容易，但空間才是致命弱點
把STVG任務拆成TVG和SVG分別來看，可以發現一個清晰的模式，這個發現是本研究最重要的診斷結論之一。
時間定位（TVG）的得分普遍遠高於完整時空定位（STVG）。以Gemini-3.1-Pro為例，在動物領域，STVG得分是16.5，而TVG得分是37.5，相差超過一倍。在公共安全領域，STVG是22.8，TVG是69.4，相差三倍。這說明模型在"猜時間段"這件事上表現相對較好，至少能大致說出事情發生的時間範圍。
空間定位（SVG）的情況則兩極分化。一方面，在時間段已知的前提下，SVG得分比STVG高很多——Gemini-3.1-Pro在動物領域的SVG達到70.7，遠高於其STVG的16.5。這說明如果告訴模型"在這段時間裡找目標"，它在空間定位上還能有所作為。但另一方面，開源通用模型的SVG得分幾乎全部為0——Qwen3-VL-8B的SVG在所有五個領域都是0，InternVL3系列也類似。這意味著這些模型根本就沒有產生有意義的空間坐標輸出，它們連畫框這件事本身都做不到。
更關鍵的是：即便是SVG相對較好的模型，當它需要同時處理時間和空間兩個維度時（STVG），表現也會急劇惡化。這說明時空聯合定位不是兩個獨立任務的簡單相加，而是存在額外的複雜性，現有模型在面對這種複雜性時會崩潰。
ICL對TVG的幫助總體上比對SVG更一致。多數模型在見了示例之後，時間定位會有所改善；但空間定位在加入示例後往往不升反降。這種反差說明模型可以從示例中學到"什麼時候"的感覺，但很難從示例中學到"在哪裡"的精度。
---
六、更多細節：示例數量、選取方式與難度分層
為了進一步拆解ICL的效果，研究團隊做了幾組追加實驗，使用Gemini-3.1-Pro作為測試主體。
第一組實驗改變示例數量，從0個（零樣本）到4個，觀察性能變化。結果顯示，增加示例數量主要幫助的是TVG，隨著示例增加，時間定位的準確率總體呈上升趨勢。但SVG的得分從零樣本到4個示例的過程中，平均值持續下降。STVG的整體提升非常有限，從零樣本的10.5升至2個示例時的11.6，4個示例時的11.5，幾乎沒有實質進步。簡單地堆砌示例不能解決問題。
第二組實驗改變示例的選取方式，對比隨機選取、僅用文本相似度、僅用影片相似度、以及文本與影片相似度組合四種策略。結果顯示，沒有哪種策略在所有任務和領域上都占優勢。文本與影片組合的策略在TVG和STVG上平均表現最好，但隨機選取在SVG上反而得分最高。這說明如何選示例是個需要根據具體任務調整的複雜問題，沒有統一的最優解。
第三組實驗分析難度來源。研究團隊把測試樣本按事件時長（短於1秒、1到3秒、3秒以上）和目標大小（小、中、大）各分成三組，觀察不同難度下的性能變化。
在時長維度上，短事件（不足1秒）的TVG得分僅有6.82，而長事件（超過3秒）的TVG得分達到34.0，差距極大。與此同時，STVG在短事件上的得分是0.74，長事件上是3.36，雖然絕對值都很低，但趨勢一致。這說明時間定位的困難是STVG在短事件上失敗的重要原因，但不是唯一原因——即便事件較長、時間定位相對容易，STVG的絕對得分依然很低，說明空間定位的錯誤也在獨立地拖累最終結果。
在目標大小維度上，SVG在小目標上的得分僅有2.61，在大目標上升至18.8，差距顯著。同期STVG從0.43升至4.43。這說明目標越小，AI越難在畫面中找到並框出它，而專業領域影片中（如腹腔鏡手術器械、實驗室小鼠）的目標往往都很小，平均相對框面積只有10.63%，本身就構成了先天的挑戰。
---
七、技術細節：各個模型是怎麼被測試的
研究團隊在測試時為不同的模型系列設計了不同格式的提示詞，因為各家模型接受輸入和產生輸出的格式並不統一。Gemini系列使用時間戳格式（分：秒）和歸一化到0-1000的坐標系，邊界框坐標順序是上左下右（yxyx）。GPT系列使用幀編號和歸一化到0-1的坐標，邊界框順序是左上右下（xyxy）。開源通用模型統一使用秒級時間戳和0-1000坐標系，邊界框順序為xyxy。LLaVA-ST有自己的專屬時序標記系統，坐標範圍在0-99之間。
所有模型的輸出經過解析後統一轉換成標準格式再進行評分。影片預處理方面，大多數模型採用每秒1幀的採樣頻率，最多截取120幀；LLaVA-ST固定取100幀。幀的長邊解析度限制在512像素。對於閉源的Gemini和GPT模型，直接使用官方API；對於開源模型，在配有NVIDIA RTX 5090（32GB）、RTX PRO 5000 Blackwell（48GB）和A100（80GB）的GPU伺服器上本地運行。
研究團隊還專門分析了Gemini-3.1-Pro在邊界框坐標順序上的表現。無論提示詞要求的是xyxy還是yxyx格式，只要實際評分時按yxyx來解析Gemini的輸出，空間定位分數都會大幅提高（mvIoU約為9.7-9.8）；如果按xyxy解析，分數則大幅下降。這說明Gemini有根深蒂固的輸出習慣，傾向於使用自己的yxyx格式，即便提示詞明確要求了不同的格式，它也不會完全遵從。時間定位分數在兩種解析方式下完全相同，因為坐標順序對時間的預測沒有影響。
Qwen3.5系列在測試中關閉了"思考模式"，因為預實驗顯示該模式下模型會把大量輸出空間用於自由生成的推理文字，導致無法按照要求輸出時間戳和邊界框。Eagle2.5系列因為默認設置下頻繁不遵循輸出格式要求，改用了非貪婪採樣（top_p=0.95，溫度0.8）來提升指令遵循的穩定性。
---
八、數據集的注釋是怎麼做到精準的
由於AnyGroundBench的核心價值在於高質量的時空標註，研究團隊對注釋流程設計了嚴格的質控體系。注釋員的構成本身就是專業性的體現：日常電腦視覺數據集的注釋工作由電腦視覺專業的研究生完成，而小鼠行為數據集由兩位醫學專家負責，美式橄欖球數據集由有多年實戰經驗的球員負責。
空間邊界框的標註採用了"檢測-追蹤"的流水線策略。對於自動化程度較高的數據，先用Grounding DINO（一個能理解文字描述並找到對應物體的視覺模型）在第一幀檢測目標位置，再用SAM2（Meta的影片追蹤模型）從第一幀追蹤到最後一幀，自動生成整個時間段內的位置序列。對於自動追蹤效果不好的情況，則由注釋員手動標註第一幀，再啟動追蹤。對於追蹤高度不穩定的情況（如橄欖球運球攔截場景），則完全逐幀手動標註。
全部自動和半自動生成的標註都經過人工逐一檢查，發現錯誤立即修正。修正完成後，所有樣本還要經過至少一位額外注釋員的獨立覆核，確認無誤才算通過質控。這套流程雖然耗費大量人工，但保證了標註的可靠性。
---
說到底，AnyGroundBench這項研究揭示的是AI領域一個頗為尷尬的現實：那些在通用影片理解排行榜上名列前茅的模型，在遇到專業領域的影片時，表現退步到了幾乎不可用的程度。更關鍵的是，僅靠展示幾個示例來引導它們（ICL），並不能穩定地彌補這種差距——有時候有效，有時候反而幫了倒忙，規律難以捉摸。
時間定位和空間定位的分裂式失敗模式尤為值得關注。模型或多或少能猜出"什麼時候"，但在"準確在哪裡"這件事上往往一敗塗地。對於需要AI在手術影片中追蹤手術器械、在安防錄像中鎖定異常人員的實際應用場景來說，"大概對"遠遠不夠，必須精準。
這項研究的意義在於，它給未來的AI視覺模型研究者提供了一張明確的失敗地圖：在哪些專業領域失敗得最慘，失敗的具體原因是時間還是空間，以及常見的快速適應方法為何不起作用。研究團隊已經將完整的數據集（包括新拍攝的小鼠行為和美式橄欖球數據集）以CC BY-NC-SA 4.0協議公開發布，供研究者自由使用。其餘來自已有數據集的部分，則需要研究者向各原始數據集的發布方分別申請獲取。
對於普通讀者而言，這項研究提出了一個值得思考的問題：當AI助手被應用於醫療診斷、工業質檢或安防監控這些高風險領域時，我們憑什麼相信它已經準備好了？目前來看，至少在"看影片、找目標"這個最基礎的能力上，答案還是"沒有準備好"。
---
Q&A
Q1：AnyGroundBench測試的是什麼能力，和普通影片理解測試有什麼不同？
A：AnyGroundBench專門測試的是"時空影片定位"能力，也就是讓AI模型同時回答"目標物體在影片的哪個時間段出現"和"出現時在畫面的哪個位置"這兩個問題。與普通影片理解測試的最大區別在於，AnyGroundBench的測試場景全部來自手術、工業、動物行為、體育戰術和公共安全五個專業領域，而不是日常生活場景；同時它為每個領域提供了訓練子集，專門用來測試模型能否在見過少量示例後快速適應陌生領域，而不僅僅測試靜態的零樣本能力。
Q2：測試中GPT-5.1和Gemini-3.1-Pro這樣的頂級模型為什麼得分這麼低？
A：這兩個模型的低分主要源於專業領域影片與日常訓練數據之間的巨大分布差距。手術器械、實驗室小鼠的細微行為、橄欖球戰術動作等內容在這些模型的訓練數據中極為罕見，模型沒有機會學習這些場景下的視覺特徵和時空規律。此外，空間定位本身對精度要求極高，目標占畫面面積平均僅約10.6%，進一步加大了難度。即便模型能正確判斷時間段，準確框出目標位置依然非常困難，導致完整時空定位任務的整體得分大幅下降。
Q3：上下文學習（ICL）為什麼有時候會讓模型表現變差？
A：ICL讓表現變差的原因目前尚無定論，但實驗數據揭示了一些規律。示例的加入會改變模型處理任務的方式，當示例與當前查詢在視覺或語義上的相似度不夠精準時，可能會引導模型產生錯誤的預期，反而干擾了它原本的判斷邏輯。特別是在空間定位方面，模型似乎很難從有限的示例中學到精確的坐標輸出規律，而且不同領域和不同模型對示例的敏感程度差異極大，沒有統一的響應模式。這種不穩定性本身就說明ICL不是專業領域時空定位任務的可靠適應工具。
