這項由新加坡南洋理工大學、香港大學、約翰斯·霍普金斯大學、AI2和北卡羅來納大學教堂山分校聯合開展的研究，於2026年6月29日以預印本形式發布在arXiv平台，論文編號為arXiv:2606.30026。感興趣的讀者可以通過該編號在arXiv上查閱完整論文。
一、當AI遇上藝術：它能看懂"為什麼"嗎？
當你坐在電影院，某個畫面讓你莫名其妙地心跳加速，或者某段沉默讓你感到一陣窒息——這種感受從何而來？答案往往藏在導演的每一個選擇里：攝像機的角度、光線的冷暖、剪輯的節奏、甚至是演員站立的位置。這些選擇不是隨機的，而是藝術家精心設計的"語言"，用來向觀眾傳遞情緒、主題和意義。
現在的AI，尤其是那些既能看圖又能理解文字的"多模態大語言模型"，已經在很多任務上展現出接近人類甚至超越人類的能力——比如回答問題、識別物體、翻譯語言。但有一個問題一直沒有被認真測試過：這些AI真的能理解藝術背後的創作意圖嗎？它們知道一部電影為什麼用對稱構圖、為什麼在某個時刻選擇沉默、為什麼遊戲設計師要用特定的光影風格渲染一個關卡嗎？
這正是這篇論文想要探究的問題。研究團隊創建了一個叫做MUSEBENCH的測試基準，專門用來測試AI在理解"視聽藝術創作意圖"方面的能力。結果相當令人震驚：即便是目前最強大的AI模型，得分也只有48.29%，而人類專家的得分高達87.18%。這個差距，大約相當於一個剛入門的學生和一位資深教授之間的距離。
二、我們為什麼需要一個專門的藝術理解測試？
在MUSEBENCH出現之前，現有的影片理解測試大多在問"影片裡發生了什麼"——比如"這段影片的後半部分展示了什麼內容"。這類問題就像是考察一個人能不能描述菜單上的菜名，而MUSEBENCH要問的是"廚師為什麼要用這種烹飪手法"——這是完全不同層次的理解。
研究團隊發現，構建這樣一個測試面臨三個深層挑戰。第一個挑戰是專業知識極其稀缺。藝術分析需要專業訓練，你不能隨便找人來寫關於電影攝影或舞台設計的專業問題，這類知識不是普通眾包就能完成的。第二個挑戰是藝術本身的多義性。同一幅畫、同一個鏡頭，不同的專業人士可能從不同角度給出多個同樣合理的解讀，而傳統的"選一個正確答案"的測試格式根本無法捕捉這種複雜性。第三個挑戰是如何公平評估。如果一道題有5個選項，另一道題有8個選項，隨機猜測的勝率本來就不同，簡單比較正確率是不公平的。
針對這三個挑戰，研究團隊分別設計了三個對應的解決方案，它們共同構成了MUSEBENCH的核心架構。
三、影片評論文章：AI的藝術老師
解決專業知識稀缺問題的關鍵思路，是找到一個天然具備專業分析內容的數據來源。研究團隊發現，網路上存在大量的"影片評論文章"（video essay）——這是一種由影評人、藝術評論者或專業創作者製作的分析性影片，他們在講解某部電影的攝影手法、某幅畫作的構圖技巧，或某個遊戲的視覺設計時，會一邊播放相關畫面，一邊做專業解說。
這種格式有三個天然優勢，使它成為構建測試的理想原料。創作者不只是告訴你"這裡用了什麼技法"，還會解釋"為什麼這樣用、產生了什麼效果"——這正是意圖層面的分析。而且解說詞和畫面是精確同步的，專家分析的內容直接對應螢幕上正在展示的視覺證據。此外，這類影片覆蓋了電影、攝影、舞台表演、遊戲設計等大量在現有AI測試中被忽視的領域。
研究團隊從YouTube、Bilibili和TikTok上收集了超過一萬個這樣的影片評論文章，經過嚴格篩選後作為原始數據。篩選過程本身就很講究：先用AI根據關鍵詞搜索候選影片，再用另一個AI判斷這個影片是否真正在做藝術分析（而不是教學、廣告或純粹的遊玩錄像），最後還要經過人工審核，剔除那些"畫面只是講解者的頭像"或"實質上是操作演示"的影片。
四、問題是怎麼"煉"出來的？
把影片變成測試題，需要經過四個精心設計的步驟，就像將原礦石冶煉成精鋼。
第一步是切片。每個影片被切成10秒鐘一段的小片段，建立統一的時間粒度，方便後續處理。
第二步是為每個片段生成詳細的視覺描述。研究團隊使用一個專門的視覺-語言模型，對每個10秒片段以每秒1幀的速率採樣，並結合對應的解說文字，生成一段精細的視覺描述，包括色彩、構圖、動態、場景背景等資訊。這些描述只是用於內部生成題目，不會作為提示提供給被測試的AI。
第三步是生成問題和答案。將片段的視覺描述和完整的解說文字一起提供給AI，讓它為每個影片生成3到5道題。有兩個關鍵約束：一是問題必須能僅憑畫面回答，不能是"解說者認為..."這種依賴解說詞才能回答的問題；二是必須先寫出正確答案，再寫干擾選項，避免干擾選項在文字風格上與正確答案產生明顯差異。
第四步是生成干擾選項。這是整個流程中最精心設計的環節。干擾選項必須看起來專業、合理，但實際上是錯誤的。研究團隊設計了七種干擾策略：將正確術語用於錯誤分析、給出聽起來對但缺少核心洞察的過度簡化版本、混淆相近但不同的概念、顛倒技法與效果的因果關係、將正確分析錯誤地應用於不同場景或時間段，以及那種部分正確但在關鍵點上錯誤的"半真半假"選項。每道題的每個干擾選項必須使用不同的策略，確保一個沒看過影片的人無法通過閱讀題目本身就猜出答案。
五、兩種題型：單選與多選的哲學差異
MUSEBENCH包含兩種互補的題型，反映了藝術理解的兩個不同維度。
單選題要求AI在4到8個選項中找出唯一正確的答案，測試的是"能否在多個合理解讀中準確識別最精確的那個"。這類題就像問：在這幅畫的諸多特點中，哪一個最準確地描述了畫家的核心意圖？
多選題則要求AI從選項中選出所有正確的答案，其中正確答案有2到4個。這類題承認了藝術的多義性——同一個導演的視覺選擇，可以同時體現對秩序感的追求、對現實主義的疏離，以及對敘事者權威的強調。多選題問的是"能否找到所有成立的解讀維度"。
值得注意的是，無論哪種題型，題目都會告知AI當前是單選還是多選，但不會告訴它正確答案的具體數量，這防止了AI通過簡單計數來推斷答案。
六、公平計分：不是所有"對"都一樣
為了解決不同題目難度不可比較的問題，研究團隊引入了兩套評分方式。
對於單選題，他們發明了"機會調整準確率"（CAA）。核心思路很簡單：如果一道題有4個選項，隨機猜中的概率是25%；如果有8個選項，隨機猜中的概率只有12.5%。直接比較這兩種題的正確率，對難題來說是不公平的。CAA的做法是，從實際得分中減去隨機猜測的期望得分，然後歸一化，使得隨機猜測的期望得分始終是0，完全答對始終是1，無論選項數量多少。這樣不同難度的題就可以放在同一把尺子上比較了。如果一個模型的CAA是負數，意味著它的表現甚至不如隨機猜測，基本上就是在"反向操作"。
對於多選題，他們使用基於集合的精確率、召回率和F1分數。精確率衡量模型選出的答案中有多少是真正正確的（避免亂選一氣），召回率衡量所有正確答案中模型找到了多少（避免只選最顯眼的一個）。F1分數則綜合兩者，給出一個平衡評價。同時他們也保留了精確匹配率作為輔助指標——只有當模型選出的答案集合和正確答案集合完全一致時才算對，這個標準極為嚴格。
七、質量把關：不能讓"壞題"混進來
生成題目只是開始，確保題目質量才是真正的挑戰。研究團隊建立了一個疊代審核循環，分四個步驟不斷改進題目質量。首先批量生成候選題，然後由領域專家對每道題打pass或fail，並記錄失敗原因。接著將所有新發現的問題類型匯總，最後更新生成規則，觸發全面重新生成。
在審核過程中，研究人員發現了8種系統性錯誤，分布在四個嚴重程度等級。最嚴重的問題包括標籤指向不存在的選項、題干中內嵌的選項列表與正式選項數組不一致，以及多選題的正確答案集合為空。次嚴重的問題包括多個選項文字完全相同，或所有選項共享超過50個字符的相同前綴（這樣的選項實際上無法區分）。中等問題包括多選題實際上只有一個正確答案退化成單選題，以及"正確答案"欄位用的是改寫版本而不是選項的原文。
此外還有7個無法通過替換單題來解決的系統性問題，比如選項辨別度太低、語言風格過於學術化、干擾選項不夠有區分度等，這些都需要從根本上重寫生成提示詞來解決。
最終，四位領域專家對每類題型各90道樣本進行了獨立評分，評分維度包括整體質量、視覺必要性（答案是否真的需要看影片才能回答）、機制追溯（選項是否展示了"技法→效果→意圖"的因果鏈條）以及答案完整性。各維度在各類別的平均分均超過4分（滿分5分），評分者間一致性達到0.855，接近完美一致。
八、28個AI模型的大考
研究團隊以零樣本方式（即不給AI任何示範例題）測試了28個當前最先進的多模態大語言模型，涵蓋三類：閉源商業模型（如GPT-5.4、Claude-4.6-Opus、Gemini-3.1-pro-preview、Grok-4.1等）、開源通用模型（如Qwen3.5、InternVL3、LLaVA-OneVision等），以及專門針對影片理解優化的開源模型（如VideoLLaMA2、VideoLLaMA3、Video-R1等）。
還有5個額外的模型採用動態關鍵幀選擇策略，意思是它們不是均勻採樣影片幀，而是自適應地挑選最有資訊量的幀。
每道題，模型會收到以1幀/秒速率採樣的影片片段（不含解說員聲軌），以及對應的文字提示。對於支持音頻輸入的模型，還會提供去掉解說的環境音頻；對於不支持音頻的模型，則提供該音頻的文字轉錄。
九、成績單揭曉：差距遠比你想像的大
整體結果用一句話來概括就是：所有AI都不及格，而且差得不少。
最強的單個模型Claude-4.6-Opus的總體準確率是48.29%，而人類專家的準確率是87.18%。兩者之間將近40個百分點的差距，在測試領域是相當顯著的。GPT-5.4排第二，44.58%。商業閉源模型整體表現最好，其次是開源通用模型，專門針對影片優化的開源模型表現並沒有比通用模型好，甚至一些小型通用模型的表現還能追平或超過影片專用模型。
從各類別來看，差異非常明顯。電影藝術和舞台表演藝術是模型相對最擅長的，Claude-4.6-Opus在電影藝術單選題上的CAA達到63.26，在舞台表演單選題上達到62.65。靜態視覺藝術居中。遊戲藝術則是所有模型的共同軟肋——Claude在遊戲藝術單選題的CAA只有34.07，GPT-5.4隻有32.00，甚至有些模型出現了負分（GLM-4.5v在遊戲藝術單選題上得了-4.34，比隨機猜測還差）。
隨機猜測的期望CAA接近0，而人類專家在遊戲藝術單選題上仍然能達到86.15。這個差距說明遊戲藝術對AI來說是一個特別陌生的領域，可能因為互動視覺、實時攝像控制、風格化渲染等遊戲特有的視覺語言在網路規模的訓練數據中嚴重缺乏。
十、四個更深層的發現
除了總體排名，研究團隊還做了四項深入分析，揭示了AI在藝術理解上更細膩的行為模式。
關於動態關鍵幀選擇，5個使用這類策略的模型（AKS、Q-Frame、LongVT、Video-CCAM、TimeChat）的準確率都在14.42%到20.51%之間，處於所有測試模型的最低檔，甚至不如普通影片模型。這說明藝術理解的瓶頸不在於"找到哪幾幀最重要"，而在於對視覺語言和文化背景的深層理解。即使你精準定位到了最關鍵的畫面，如果沒有相應的藝術知識儲備，也無法讀懂那個畫面的意義。
關於多選題行為，模型在多選題上的F1分數普遍高於精確匹配率，且精確率高於召回率。用更直白的話說：AI傾向於"只選最顯眼的那個正確答案，而忽略其他同樣有效的解讀"。就像一個學生面對"請列出這幅畫的所有構圖策略"時，只寫了最明顯的一個就停了。這種行為模式在幾乎所有測試模型中都一致存在，表明當前AI在多維度藝術分析方面存在系統性局限。值得注意的是，Video-R1是唯一在多選題上召回率超過精確率的模型，說明它更傾向於"寧可多選、不要漏選"，但精確率較低說明它同時也選進了一些錯誤選項。
關於模態貢獻，研究團隊對VideoLLaMA2和Qwen2.5-Omni-7B進行了模態消融實驗，分別測試了純文字、音頻加文字、影片加文字、以及影片加音頻加文字四種輸入條件。結果顯示，加入影片流帶來最大的單次提升，而單獨加入音頻對得分幾乎沒有影響。但在影片基礎上再加入音頻，還能帶來額外的小幅提升。這說明視覺資訊是藝術理解的主要載體，但音頻確實提供了某些視覺無法單獨傳達的補充資訊。
關於選項位置偏差，在有5個及以上選項的單選題中，正確答案在A到E位置的分布是相當均勻的（各占約15.9%到18.2%）。但模型的預測分布嚴重偏向前面的選項：僅選項A就占了所有模型預測的30.9%，是其實際正確率的近兩倍。這種偏向在開源模型中尤為突出，開源模型選A的比例比其應有比例高出19個百分點；而商業模型雖然也有偏差，但程度較輕，只高出約6.5個百分點。由於MUSEBENCH對所有題目的選項順序進行了隨機化處理，這種偏差反映的是模型內在的位置偏好，而不是題目設計的問題。換句話說，當模型對視覺和文化證據沒有足夠把握時，它傾向於回退到"選第一個"這個默認策略。
十一、MUSEBENCH與其他測試有什麼不同？
將MUSEBENCH與現有影片理解測試做個對比，可以更清楚地看出它的獨特之處。現有大多數測試，從早期的MSRVTT-QA、MSVD-QA，到近年的MVBench、EgoSchema，主要測試日常活動的事實性理解，既不要求領域專業知識，也不刻意控制視覺依賴性（很多問題其實不需要看影片也能回答）。Video-MMMU是少數要求專業知識的測試，但它測的是STEM學科的講座影片，本質上是知識遷移而非藝術解讀，而且同樣沒有嚴格要求視覺依賴。
MUSEBENCH是目前唯一同時滿足四個條件的測試：涵蓋多個專業藝術子領域、包含字幕和音頻、要求領域專業知識、以及明確要求答案必須來自視覺證據而非文字推斷。
十二、這告訴我們什麼，以及接下來怎麼辦？
這項研究揭示的核心問題不是AI的感知能力或定位能力不夠，而是它的"藝術詞彙"和"文化先驗知識"嚴重不足。電影攝影、舞台設計、遊戲視覺語言——這些需要深厚領域背景才能解讀的符號系統，在當前主流AI的訓練數據中嚴重欠缺，或者即便有，也缺乏意圖層面的分析和注釋。
這也意味著，單純擴大訓練數據的規模或優化模型架構，並不能直接解決這個問題。需要的是更豐富的藝術分析監督信號——即訓練數據中不只包含"這裡有什麼"，還要包含"為什麼這樣做、產生了什麼效果"的專業解讀。
研究團隊也誠實地指出了MUSEBENCH的局限性。目前的測試只涵蓋了四類藝術形式，而音樂、建築等同樣重要的藝術領域尚未包含。影片評論文章這個數據來源雖然質量高，但在不同藝術形式和語言間的覆蓋度不均衡。此外，多項選擇題的格式本身也無法完全捕捉真正開放性的藝術解讀——未來的測試可能需要引入開放式問答和更細粒度的部分分評分機制。
歸根結底，這項研究讓我們看到了AI與真正理解藝術之間的具體距離，並提供了一把量尺來持續測量這個距離。藝術是人類表達最複雜情感和思想的方式之一，而AI要真正理解這種表達，或許還需要走很長一段路——但至少現在我們知道路有多長，以及在哪裡應該用力。
Q&A
Q1：MUSEBENCH測試的是什麼樣的藝術理解能力，和普通影片理解測試有什麼區別？
A：MUSEBENCH專門測試的是"意圖層面"的藝術理解，也就是要求AI回答"為什麼"而不是"是什麼"。普通影片測試通常問影片裡發生了什麼事，而MUSEBENCH問的是導演為什麼選擇對稱構圖、為什麼在某個時刻讓畫面沉默、遊戲設計師為什麼用某種光影風格——這需要深厚的領域知識和對創作意圖的推斷，遠比描述畫面內容難得多。
Q2：為什麼遊戲藝術是所有AI模型共同的軟肋？
A：研究團隊認為，核心原因是遊戲特有的視覺語言——比如實時攝像控制、交互式關卡設計、風格化渲染效果——在現有AI的訓練數據中嚴重缺乏。現有模型的訓練素材大多來自電影、圖片和日常影片，遊戲藝術分析類的專業內容覆蓋遠遠不足，導致模型面對遊戲畫面時缺乏讀懂其設計意圖所需的"詞彙"和背景知識。
Q3：MUSEBENCH的題目是怎麼保證不能靠猜測或讀文字就答對的？
A：研究團隊採取了多重措施。題目必須能僅憑去掉解說的影片畫面來回答，不能是複述解說詞內容的題。干擾選項用七種不同策略設計，每個選項對沒看過影片的人都顯得同樣合理，必須真正看懂畫面才能區分。同時，正確答案必須先於干擾選項生成，避免因語言風格差異產生可被識別的線索。影片本身也去掉了解說員的聲軌，防止模型通過語音內容直接得出答案。
