這項由南京大學與上海人工智慧實驗室聯合開展的研究，發布於2026年7月，論文編號為arXiv:2607.14660v1，發表於電腦視覺領域預印本平台arXiv，任何有興趣深入了解的讀者均可通過該編號查詢完整論文。
世界上有數以億計的視障人士，他們每天面對的挑戰，遠比我們想像的要多。過一條馬路、找到一家店的入口、讀懂一塊路牌——這些對普通人來說不過是隨手而為的小事，對一個看不見的人來說，卻可能是需要反覆權衡、小心翼翼的難題。傳統的輔助工具，比如盲杖和導盲犬，當然有用，但它們能傳遞的資訊非常有限：盲杖能感知腳下有沒有台階，卻無法告訴你前方路牌上寫的是什麼；導盲犬能帶你繞開障礙，卻無法幫你判斷眼前的紅綠燈是不是綠了。
近年來，隨著多模態大語言模型（簡單理解就是那種既能"看圖"又能"說話"的AI，比如大家熟悉的GPT-4o、Gemini這類產品）的快速發展，研究者們開始設想：能不能讓AI充當一雙"眼睛"，實時陪伴在視障人士身邊，隨時告訴他們周圍發生了什麼？這個想法聽起來很美好，但問題在於——現有的AI究竟有沒有這種能力？它們真的能勝任這份工作嗎？
為了回答這個問題，研究團隊做了一件非常紮實的事：他們從零開始，專門搭建了一套叫做**VIABench**的測試平台，用來嚴格考察各種AI模型在真實視障輔助場景下的表現。這套平台的核心材料，來自視障人士本人在日常生活中拍攝或分享的第一視角影片——也就是說，鏡頭裡呈現的，是視障人士真實看到（或者說，真實攝錄到）的世界：歪斜的畫面、被手指遮住的鏡頭、光線異常的街道……這些都是真實存在的挑戰，而不是經過精心布置的實驗室場景。
研究結果說出來有些扎心：即便是當下最強大的AI模型，面對這些真實場景時，表現仍然相當有限。最強的模型GPT-5，綜合得分也只有28.8分（滿分為100分），距離真正實用還有相當大的距離。這不是在否定AI的價值，而是在誠實地告訴我們：為視障人士服務，是一件比我們想像中更難的事。
---
一、為什麼現有的測試平台不夠用
在這項研究出現之前，學界已經有一些針對視障輔助的數據集和測試工具，但它們各自都有明顯的局限性。
以"WAD數據集"為例，它的影片素材來自YouTube上的旅行影片博主——這些影片是拍給明眼人看的，畫面清晰、構圖考究、內容經過剪輯。把這樣的素材用來測試視障輔助AI，就好比用高檔餐廳的菜單來測試一個社區食堂廚師的水平，兩者的使用場景完全不同。
另一個叫"EgoBlind"的數據集雖然確實收集了視障人士自己拍攝的影片，但它的任務設計比較被動：用戶提問，AI回答，僅此而已。然而在真實生活中，視障人士需要的不僅僅是"被動回答"，更重要的是AI能主動發現危險、主動提醒——就像一個隨時保持警覺的嚮導，而不是一個只有被點名才開口的助理。
正因為現有工具存在這些缺口，研究團隊決定重新設計一套更貼近真實需求的測試框架，這就是VIABench的由來。
---
二、VIABench是什麼，它考察的是哪三種能力
VIABench的核心思路，是把視障人士在日常生活中需要AI幫助的場景，歸納成三種最典型的模式，分別對應AI需要具備的三種不同能力。
第一種叫"主動提醒"。這種場景對應的是用戶在街上走路，什麼都沒有說，但AI需要全程盯著畫面，一旦發現危險或重要資訊，就要主動開口。比如，前方2米處有一根電線杆、腳下地面有個坑窪、正在穿越的斑馬線快到頭了……這些都需要AI在用戶開口之前就說出來。這和我們熟悉的"問一句答一句"的AI截然不同——它要求AI不僅能"看懂"畫面，還要能判斷"現在是不是該說話的時機"。
第二種叫"視覺問答"。這種場景比較直觀：用戶邊走邊問，比如"前面的交通燈現在是什麼顏色？""右邊那個建築是什麼？"AI需要根據當前及過去的畫面內容，給出準確的實時回答。關鍵在於，AI只能用"問題發生時刻之前"的影片內容來回答，不能"偷看"未來的畫面——因為真實生活中，時間是單向流動的，AI不可能提前知道用戶還沒走到的地方是什麼樣子。
第三種叫"視覺引導交互"。這是三種任務中最複雜的一種。用戶有一個具體的目標，比如"幫我找到電梯裡的5樓按鈕"。AI需要一步一步地給出指令，比如"把手機鏡頭稍微往右移一點""現在稍微往上抬""對，就是那個按鈕，第三排左邊第二個"——直到用戶真正完成了這個操作。這不是一問一答，而是一個持續的、來來回回的對話過程，AI需要根據每一幀新畫面不斷調整自己的指引。
這三種任務加在一起，基本覆蓋了視障人士在外出時可能遇到的絕大多數需求：走路時的被動保護、遇到疑問時的主動詢問、需要完成某件事時的手把手引導。
---
三、VIABench里裝的是什麼樣的數據
VIABench的數據來源經過了精心設計，研究團隊從兩個渠道收集了影片素材。
一部分是真實視障人士創作者在YouTube、嗶哩嗶哩、抖音等平台上發布的日常影片。研究團隊通過關鍵詞搜索和人工篩選，挑選出那些真實呈現日常生活場景、畫質和內容符合要求的片段。這些影片共有530段，合計約44小時，這就是數據集的主體。
另一部分是"模擬影片"，共231段。這些影片是由經過專門訓練的標註人員拍攝的——他們在完成了大量真實影片的標註工作之後，對視障人士的行為模式、攝像習慣和互動方式有了深入了解，然後模擬重現了"視覺引導交互"類場景。這類場景在公開影片中極少出現，所以需要專門補充。
整個數據集最終包含761段影片、超過14526條人工標註，總時長約47小時，單段影片平均長度222秒，最長的影片將近33分鐘。相比之下，此前同類數據集EgoBlind的影片平均只有40秒，WalkVLM的影片更是只有3秒。這種"長影片"的設計是有意為之的——因為現實生活中的導航場景往往持續很長時間，AI需要在整個過程中保持注意力，而不是只處理一個孤立的片段。
在標註質量上，研究團隊投入了大量精力。14名學生標註員先在150段影片上進行試標註，發現問題、修正規則；之後再與專業標註公司合作，完成大規模標註；最後由團隊內部專家進行多輪審核，並將所有中文標註通過GPT-4o翻譯成英文，確保國際可用性。標註員被要求嚴格遵守兩個原則：只能根據視覺資訊做判斷（不能聽聲音、看字幕），以及只能根據"當前及之前"的畫面做判斷（不能往後翻影片）。
數據集還特別強調了一種現實挑戰：視障人士自己拍攝的影片，畫質往往很差——鏡頭可能被手指遮住、曝光可能嚴重過度、畫面可能大幅度旋轉傾斜。VIABench明確把"當AI遇到這種低質量畫面時，能不能識別出來並及時提醒用戶調整攝影機"列為考核項目之一，因為在真實場景中，這種能力關乎用戶的人身安全。
---
四、主動提醒任務下面藏著21個更細的考題
"主動提醒"是VIABench三大任務中最核心、也最困難的一個，研究團隊在它下面細分出了21個具體的子任務，每一個都對應了視障人士在戶外行走時可能遭遇的特定情境。
這21個子任務大致可以分為幾個方向。關於障礙物的，包括"障礙物提醒"（身邊2米內有人、車、柱子等）和"主動躲避"（前方路被堵死了，必須繞行）。關於路面狀況的，有"台階上下"（1到3級的小台階）、"樓梯上下"（完整的一段樓梯）、"坡道上下"、"路面狀況"（坑窪、積水等）。關於方向導航的，有"方向偏移"（用戶走歪了）、"方向引導"（前方路斷了，需要轉彎）、"路口識別"、"岔路口"。關於過馬路的，有"斑馬線"（是否在斑馬線範圍內）、"過馬路到對面"、"行人信號燈"。關於特定設施的，有"盲道識別"、"人行道檢測"、"自動扶梯"、"出入口識別"、"服務設施檢測"（椅子、垃圾桶等）、"標誌牌識別"。關於攝影機本身問題的，有"攝影機遮擋"和"攝影機內容異常"（畫面全黑、過曝等）。
這些子任務的設計有一個細節值得關註：其中有幾類任務被標記為"立即觸發"，意思是一旦發生就必須馬上提醒，不能等待——比如"斑馬線偏移"（用戶在過馬路時走出了斑馬線範圍）、"方向偏移"（用戶走歪了）、"攝影機遮擋"、"攝影機內容異常"。這類情況如果拖延提醒，可能直接造成危險。
對於其他大多數任務，提醒的時機則需要更精細地判斷。研究團隊定義了一個"安全提醒範圍"：正前方大約1.5到2米（相當於走4到6步），以及兩側各約50厘米（大約一個人寬）。只有當障礙物進入這個範圍，且確實可能影響用戶行走時，才需要觸發提醒。太早提醒可能造成困惑（遠處的行人還沒到危險距離，不需要管），太晚提醒則可能已經來不及反應。
---
五、TPAD：讓"只會回答問題"的AI學會"主動開口"
這裡面有一個技術上的難題需要解釋一下。目前市面上大多數AI模型，包括GPT-4o、InternVL這類，都是"被動式"的——你給它一段影片或一張圖，問它問題，它才回答。它們並不具備"主動監視影片流、自己決定什麼時候開口"的能力。
但主動提醒任務恰恰需要的就是這種"主動開口"的能力。那麼，怎麼讓這些"只會被動回答"的AI參與到主動提醒的測試中來？
研究團隊為此專門設計了一套叫做**TPAD**（Token級提示激活解碼）的機制。用一個類比來理解：普通的AI回答問題，就像你拿著一份試捲去問老師，老師逐題回答；而TPAD做的事，是讓老師把整份試卷掃一眼，然後在每道題旁邊悄悄打上一個"這道題值得提醒"或"這道題不用管"的標記，最後統一輸出結論。
具體來說，TPAD把整段影片的所有幀和一個固定的提示語（大意是"用戶現在需要被提醒嗎？選A是需要，選B是不需要"）一起輸入給AI模型，讓模型一次性處理完整個影片序列。然後，對於每一幀畫面，TPAD從模型的內部狀態中提取出一個概率值：這一幀，AI有多大把握認為"現在應該提醒用戶"？如果概率超過閾值，就觸發提醒。
這個設計有兩個好處：效率高，因為只需要做一次完整推理，而不是每隔一秒就單獨問一次AI（後者的計算量會隨影片長度線性增長）；同時，由於整段影片被一起輸入，AI在判斷某一幀是否需要提醒時，能同時參考之前所有幀的上下文，而不是只看孤立的單幀——這對於一些需要前後對比才能判斷的情況（比如"用戶走歪了多少"）尤為重要。
研究團隊做了一個具體的對比實驗：在一段53秒的影片上，傳統的逐幀提問方式需要344秒才能完成處理，而TPAD只需要76秒，速度提升了4.5倍，而且識別準確率完全相同。
---
六、測試了哪些AI，結果怎麼樣
研究團隊對三大類AI模型進行了全面測試。
第一類是開源的離線模型，也就是可以自由下載、在本地運行的AI，包括InternVL3.5系列（1B、4B、8B三個規模）、Qwen2.5VL系列（3B、7B兩個規模）、LLaVA-Video-7B、LLaVA-OneVision-1.5-8B、Kimi-VL-A3B、MiniCPM-V 4.5和MiniCPM-o 2.6。這類模型參與主動提醒測試時，都通過TPAD機制進行適配。
第二類是閉源的商業模型，包括OpenAI的GPT-5和GPT-4o，以及Google的Gemini-2.5 Pro。由於這類模型的內部結構不對外開放，無法使用TPAD，所以它們參與主動提醒測試時，採用的是傳統的逐幀提問方式。
第三類是專門為實時影片流設計的在線流式模型，包括LiveCC、VideoLLM-Online和StreamingVLM。這類模型天生就具備"主動輸出"的能力，所以直接用它們自己的運行方式參與測試。
綜合測試結果來看，GPT-5以28.8分排名第一，Gemini-2.5 Pro以27.1分緊隨其後，GPT-4o得到25.2分。開源模型中表現最好的是InternVL3.5-8B，綜合得分19.1分。
在主動提醒這個最核心的任務上，情況更加嚴峻。在"第一階段"（即AI能不能在正確的時間窗口內檢測到需要提醒的事件）這個環節，所有離線開源模型的召回率都低於45%，意味著有超過一半需要提醒的時刻被漏掉了。LLaVA-OneVision-1.5-8B的召回率相對最高，但它在"第二階段"（檢測到了之後，能不能說出準確的提醒語）的質量又相對較差，兩個階段都做好才能真正幫到用戶。
那些專門為實時流設計的在線模型，召回率看起來很高，LiveCC甚至達到了75.8%。但這個數字有些"虛高"——這類模型的實際表現是像水龍頭一樣持續不斷地輸出內容，不管畫面里有沒有需要提醒的東西，它都在說話。高召回率的背後，是大量的誤報和與任務完全無關的描述，根本稱不上真正的"主動提醒"，只能算是"持續念旁白"。
在視覺問答和視覺引導交互這兩個任務上，AI的表現相對好一些，但仍然存在明顯問題。特別是在交互任務中，開源模型經常犯一個根本性的錯誤：它們會像對待明眼人一樣給出指令，比如"看看左邊"或者"顯示器上能看到時間"——完全忘記了用戶是看不見的，這類回答對視障人士毫無用處，甚至會造成混淆。閉源的GPT-5和Gemini-2.5 Pro在這方面表現明顯更好，它們能意識到用戶的視障身份，給出更貼合實際的指引，比如"把手機鏡頭往右移大概兩個手掌寬的距離"。
---
七、多給AI看幾幀有用嗎？為什麼視障輔助和普通影片理解不一樣
這裡有一個很有趣的發現值得專門說一說。在很多影片理解任務中，給AI看的幀數越多，它表現越好——畢竟資訊越多越好理解嘛。但在VIABench上，研究團隊測試了從8幀到128幀的不同輸入設置，結果發現：幀數的增加幾乎沒有帶來明顯的性能提升。
為什麼會這樣？原因在於視障輔助場景的本質特點。導航時，環境是實時變化的，幾分鐘前的畫面（比如那時候人行道上沒有人）對現在的判斷參考價值很低；而當前這一刻，AI需要快速、準確地告訴用戶"此刻"周圍發生了什麼。這和看一部電影需要理解前因後果完全不同——視障輔助更像是實時翻譯，需要的是對"當下"的精準感知，而不是對"歷史"的深度理解。
此外，研究團隊還測量了各個模型的實際推理速度。在單張英偉達
L20 GPU上，當輸入32幀時，Qwen2.5-VL-7B需要約4.6秒，InternVL3.5-8B需要約15.5秒。要知道，一個盲人在街上行走，危險可能在一兩秒內出現——這樣的響應速度，離"實時"還差得很遠，更不用說"隨時陪伴、實時提醒"的願景了。
---
八、AI還會"幻覺"，而且這對視障人士尤其危險
"幻覺"在AI領域指的是模型說出了與實際畫面不符的內容。在普通的聊天場景里，AI說錯了可能只是個笑話，但在視障輔助場景里，一個錯誤的資訊可能直接造成危險。
研究團隊記錄了一個典型案例：一名視障用戶在爬樓梯，同時問AI"為什麼這個自動扶梯不動，是停電了嗎？"——畫面里明明是普通樓梯，根本沒有扶梯。GPT-5和Gemini-2.5 Pro的表現是正確的：它們告訴用戶"你現在走的是固定樓梯，旁邊才是扶梯，請向右走一步就能摸到扶梯扶手"。但開源模型InternVL3.5-8B和Qwen2.5-VL-7B則回答"扶梯可能正在維修或故障中"——完全跟著用戶的錯誤假設走，給出了一個嚴重誤導性的答案。
這類幻覺問題，在閉源商業模型中出現的頻率明顯低於開源模型。研究團隊推測，商業模型在訓練時更注重讓模型"拒絕"不符合畫面實際情況的問題，而不是一味順著用戶的問法走。
---
說到底，VIABench這項工作最核心的價值，不在於給出了一套"誰最強"的排名，而在於它誠實地勾畫出了當前AI與"真正實用的視障助手"之間的距離。即便是最強的商業AI，綜合得分也只有28.8分，意味著在100次需要幫助的時刻里，它大概只能真正幫上30次左右，而且未必每次都幫得準確。
研究團隊也坦誠地指出了VIABench本身的局限：視覺引導交互部分的影片是由明眼人模擬拍攝的，和真實視障用戶的行為之間仍然存在差距；現實生活中的輔助需求是開放式的，VIABench所覆蓋的21個子任務再細緻，也不可能窮盡所有情境。
這項研究指向了三個值得追求的方向：一是如何改進AI架構，讓它真正具備"主動感知、主動開口"的能力；二是如何構建更豐富的訓練數據，讓AI接觸到真實視障輔助場景中的複雜指令和多樣情境；三是如何讓AI真正"記住"用戶是視障人士，從而在每一次回答中都給出真正對看不見的人有用的資訊。
歸根結底，視障輔助AI不是一個"影片理解"問題，而是一個"理解人"的問題。只有當AI真正理解了一個看不見的人在行走時需要什麼、怕什麼、怎麼才能幫到他，這項技術才能從實驗室里的測試分數，變成真實生活里那雙看不見卻無處不在的眼睛。有興趣深入了解這項研究細節的讀者，可以通過arXiv論文編號2607.14660查閱完整內容。
---
Q&A
Q1：VIABench測試平台和普通AI影片測試有什麼區別？
A：VIABench專門針對視障人士的真實使用場景設計，影片素材來自視障人士本人拍攝，畫質差、角度歪、鏡頭遮擋是常態。它還設置了"主動提醒"任務，要求AI在沒有人提問的情況下自己判斷何時該開口，這與普通影片問答測試要求用戶主動提問有本質區別。
Q2：TPAD機制是怎麼讓不支持實時影片的AI參與主動提醒測試的？
A：TPAD把整段影片所有幀和一個固定提示語一起輸入給AI，然後從模型處理每一幀後的內部狀態中提取一個概率值，判斷"此刻是否應該提醒用戶"。整個過程只需一次推理，速度比逐幀提問快4.5倍，同時因為所有幀同時輸入，AI能參考上下文做出更準確的判斷。
Q3：為什麼專門為實時影片設計的在線流式AI在VIABench上反而表現不好？
A：這類模型會像持續播放旁白一樣不斷輸出內容，不管畫面里有沒有真正需要提醒的事情。雖然這帶來了較高的"檢測到事件"的比例，但大量輸出與視障導航任務完全無關，模型實際上並沒有真正理解"什麼時候該說、該說什麼"，只是在不停地描述眼前的場景，對視障用戶幫助極為有限。
