這項由馬里蘭大學的吳曦陽博士領導、聯合杜比實驗室和南加州大學共同完成的研究發表於2025年11月的arXiv預印本平台，論文編號為arXiv:2511.18373v1。有興趣深入了解的讀者可以通過該編號查詢完整論文。
當下的AI影片理解模型就像是一個只會背書卻不懂物理的學生。它們能夠識別影片中的物體，甚至描述正在發生的事情，但一旦涉及到物理規律的判斷，比如一個蘋果是否違背了重力定律向上飛，或者籃球是否按照正常軌跡運動，這些模型就開始犯迷糊了。更糟糕的是，隨著AI生成影片技術的快速發展，越來越多的影片內容可能包含違反物理常識的異常現象，而現有的AI模型卻很難識別這些問題。
研究團隊發現，問題的根源在於現有的影片理解模型缺乏對空間結構、時間演變和運動規律的深入理解。它們更像是在看靜態圖片的連續播放，而不是真正理解物體在三維空間中的運動軌跡和相互作用。當一個籃球在影片中出現異常的向上穿過籃筐的動作時，普通模型可能會基於"籃球通常會進入籃筐"的記憶來判斷這是正常的，而不是基於物理規律來分析運動軌跡是否合理。
為了解決這個問題，研究團隊開發了一個名為MASS的創新系統，這個系統的核心思想是教會AI模型像物理學家一樣觀察和分析影片。他們不僅創建了一個包含4350個影片和8361個問答對的專門基準測試MASS-Bench，還設計了一套能夠將影片中的物理資訊轉換為AI模型可以理解的"物理語言"的方法。
一、給AI裝上"物理學家的眼睛"
傳統的影片理解模型處理影片的方式就像是一個近視眼在看遠處的風景，只能看到模糊的輪廓和大致的色彩變化，卻無法捕捉到物體精確的位置、運動方向和速度變化。MASS系統的突破在於為AI模型配備了一套精密的"觀察工具"，讓它能夠像物理學家使用儀器測量實驗一樣，準確捕捉影片中每個物體的運動參數。
這套"觀察工具"的工作原理可以這樣理解：當你在觀看一個籃球比賽的錄像時，普通人可能只注意到"球員投籃了"這個大概資訊。但是一個物理學家會關注球的起始位置、拋射角度、飛行軌跡、旋轉速度等詳細參數。MASS系統正是模擬了這種物理學家的觀察方式，它會自動識別影片中的關鍵物體，然後像追蹤導彈一樣精確記錄這些物體在每一幀中的位置變化。
具體來說，系統首先會使用一種叫做"視覺錨定"的技術來識別用戶詢問涉及的物體。這就像是給每個重要物體貼上了一個智能標籤，讓系統能夠在整個影片過程中持續追蹤它們。然後，系統會使用深度估算技術來理解影片中的三維空間結構，這相當於給平面的影片畫面增加了"立體感"，讓AI能夠理解物體不僅有左右和上下的位置，還有前後的空間關係。
最關鍵的是，系統會使用專門的運動追蹤算法來記錄每個物體的運動軌跡。這個過程就像是為每個運動的物體繪製了一條詳細的"運動地圖"，記錄著它們在三維空間中的每一步移動。通過這種方式，AI模型不再是在看一系列靜態圖片的快速切換，而是真正理解了物體的運動規律和物理屬性。
二、構建AI理解物理世界的"教科書"
為了訓練AI模型更好地理解物理規律，研究團隊精心構建了一個名為MASS-Bench的綜合性測試集。這個測試集就像是一本專門為AI編寫的物理學教科書，裡面包含了各種各樣的物理現象和相應的問答題目。
MASS-Bench的獨特之處在於它不僅包含了大量遵循正常物理規律的影片，還特意收集了許多違反物理常識的異常影片。這種設計理念就像是在物理課上，老師不僅要展示正確的實驗現象，還要故意演示一些違反物理定律的假想情況，讓學生通過對比來加深理解。
測試集中的影片來源非常豐富，既有真實世界的錄像，也有AI生成的內容。其中大約41%的樣本展示了符合物理規律的正常現象，而59%的樣本則包含了各種物理異常。這種不平衡的設計是有意為之的，因為在AI生成內容越來越普及的今天，識別和發現物理異常的能力變得尤為重要。
測試集中的問題被巧妙地分為了五個不同的類別，就像是物理學的五個分支學科。空間理解類問題考察AI對物體位置和幾何關係的把握，時間理解類問題測試AI對事件發展順序和持續時間的認知，運動與行為識別類問題評估AI對物體運動模式的識別能力，物理理解類問題檢驗AI對基本物理規律的掌握程度，而物理異常檢測類問題則是最高難度的挑戰，要求AI能夠發現和指出違反物理常識的異常現象。
每個影片樣本都配有詳細的注釋資訊，就像是為每道題目提供了完整的解題思路和答案解析。這些注釋不僅包含了問題的標準答案，還提供了物體的精確位置資訊、運動軌跡數據和時間段劃分等詳細參數。這種豐富的注釋資訊確保了AI模型能夠從多個角度學習物理現象的本質規律。
三、將物理資訊翻譯成AI能懂的"語言"
AI模型就像是來自外星球的訪客，它們有自己獨特的"語言系統"，主要基於文字和數字進行思考。而物理世界的資訊——比如物體的位置、速度、軌跡等——對它們來說就像是需要翻譯的"外語"。MASS系統的另一個關鍵創新就是開發了一套高效的"翻譯系統"，能夠將複雜的物理資訊轉換為AI模型容易理解和處理的文字描述。
這個翻譯過程可以用寫實驗報告來類比。當一個物理學家完成實驗後，需要將觀察到的各種現象和測量數據整理成規範的實驗報告。MASS系統做的就是類似的工作，它會自動將影片中提取的物理資訊整理成結構化的文字描述。
舉個具體例子，當系統觀察一個籃球投籃的影片時，它不會簡單地說"籃球飛向籃筐"，而是會生成詳細的描述："籃球實體在影片片段1（第0到31幀）中，從初始位置坐標(x1, y1, z1)移動到最終位置(x2, y2, z2)，運動向量為(Δx1, Δy1, Δz1)。在影片片段2（第32到64幀）中，籃球從位置(x2, y2, z2)繼續移動到(x3, y3, z3)，運動向量為(Δx2, Δy2, Δz2)。"
這種詳細的描述方式讓AI模型能夠準確掌握物體的運動軌跡和物理屬性，而不是依賴模糊的視覺印象進行判斷。同時，系統還會為每個物體生成邊界框坐標和時間戳資訊，確保物理資訊的精確性和完整性。
通過這種"翻譯"過程，原本只能處理文字的AI模型突然獲得了理解物理世界的能力，就像是給一個只會閱讀的學生配備了實驗室設備，讓他們能夠進行實際的科學觀察和分析。
四、用"強化學習"訓練AI的物理直覺
即使有了精確的物理資訊和高質量的訓練數據，AI模型仍然需要通過大量的練習才能真正掌握物理推理的能力。這就像是學生即使有了最好的教科書和最詳細的解題步驟，仍然需要反覆做題和接受老師的指導才能真正理解物理概念。
研究團隊採用了一種叫做"強化學習"的高級訓練方法，這種方法的工作原理有點像是僱傭了一個嚴格但公正的私人教師。這個"教師"會不斷給AI模型出題，然後根據模型的回答質量給出評分和反饋。如果模型的回答符合物理規律且邏輯清晰，就會得到正面獎勵；如果回答錯誤或者邏輯混亂，就會收到負面反饋。
這種訓練方式的巧妙之處在於，它不僅要求AI模型給出正確答案，還要求模型能夠展示完整的推理過程。就像是老師不僅要看學生的答案是否正確，還要檢查解題步驟是否合理。在MASS系統中，模型需要先在"思考標籤"中展示詳細的推理過程，然後在"答案標籤"中給出最終結論。
訓練過程中，系統還特別加入了時間感知獎勵機制，鼓勵模型更好地理解事件的時間順序和因果關係。這就像是在物理題目中，不僅要求學生計算出正確的數值，還要理解不同物理現象之間的時間關係和因果聯繫。
通過這種細緻入微的訓練過程，AI模型逐漸發展出了類似人類物理學家的"直覺"，能夠快速識別物理現象中的異常情況，並給出合理的解釋和判斷。
五、令人矚目的實驗成果
經過MASS系統訓練的AI模型在各種物理理解任務上都表現出了顯著的改進效果。研究團隊將這些改進後的模型與目前最先進的商業AI系統進行了全面對比，結果令人印象深刻。
在整體性能測試中，使用MASS系統增強的Qwen2.5-VL-7B模型和LLaVA-OneVision-7B模型分別獲得了8.7%和6.0%的性能提升，這個幅度在AI領域算是相當顯著的進步。更重要的是，這些經過改進的開源模型的表現已經能夠媲美谷歌的Gemini-2.5-Flash這樣的頂級商業產品。
在最具挑戰性的物理異常檢測任務上，MASS系統的優勢更加明顯。這類任務要求AI模型不僅要理解正常的物理現象，還要能夠識別出違反物理規律的異常情況。經過MASS訓練的模型在這方面的表現甚至超越了Gemini-2.5-Flash，這說明該系統確實有效地提升了AI對物理規律的深層理解。
研究團隊還進行了詳細的對比實驗，發現傳統的監督學習方法（就像是簡單的題海戰術）實際上會損害模型的物理推理能力，而強化學習方法則能顯著提升性能。這個發現揭示了一個重要規律：物理理解能力不能通過簡單的記憶和模仿來獲得，而需要通過反覆的推理練習和反饋優化來培養。
實驗還顯示，在處理擁擠場景或多物體追蹤的複雜情況時，系統仍然面臨一些挑戰。這些限制為未來的研究指明了方向，也讓我們認識到物理理解的複雜性遠超想像。
六、對未來的深遠影響
MASS系統的成功不僅僅是一個技術突破，更預示著AI發展的一個重要轉折點。傳統的AI模型更像是博聞強記的圖書管理員，能夠快速檢索和組合大量資訊，但缺乏對現實世界規律的深入理解。MASS系統的出現標誌著AI開始具備類似科學家的觀察和分析能力。
在影片內容審核領域，這項技術將發揮重要作用。隨著AI生成影片技術的普及，網路上出現了越來越多可能誤導觀眾的異常影片內容。配備了MASS系統的AI審核工具將能夠自動識別這些違反物理常識的內容，幫助平台維護資訊的真實性和可信度。
在教育領域，MASS系統為開發智能物理教學助手提供了新的可能性。這樣的助手不僅能夠回答學生的物理問題，還能夠分析實驗影片，指出其中的物理現象和可能存在的問題，成為學生學習物理的得力幫手。
對於內容創作者來說，MASS系統可以成為質量控制的重要工具。在製作科教影片或特效內容時，創作者可以使用該系統來檢驗影片中的物理現象是否合理，避免出現明顯違反物理常識的錯誤。
在科學研究領域，這項技術為自動化實驗分析開闢了新的道路。研究人員可以使用MASS系統來分析大量的實驗錄像，自動提取物體運動參數，識別異常現象，大大提高研究效率。
當然，這項技術目前仍然存在一些局限性。在處理非常複雜的多物體場景時，系統的準確性還有待提高。同時，對於一些微妙的物理現象，系統可能還無法做出準確判斷。但是，這些挑戰也為未來的研究提供了明確的方向。
從更宏觀的角度來看，MASS系統代表了AI發展的一個重要趨勢：從單純的資訊處理轉向真正的世界理解。這種轉變不僅僅是技術能力的提升，更是AI向著真正智能邁出的重要一步。當AI開始具備物理直覺和科學思維時，它們將能夠更好地理解和參與人類的生活，成為真正有用的智能夥伴。
說到底，MASS系統就像是給AI裝上了一雙"物理學家的眼睛"，讓它們能夠看懂這個世界的運行規律。雖然這只是一個開始，但它為我們描繪了一個未來：AI不再只是資訊的搬運工，而是真正理解世界、具備科學思維的智能助手。對於普通人來說，這意味著我們將擁有更加可靠和智能的AI工具，它們不僅能夠回答我們的問題，還能幫助我們更好地理解這個複雜而美妙的物理世界。
隨著技術的不斷進步，我們有理由相信，未來的AI將具備更強的物理理解能力，能夠在更多領域為人類提供幫助。無論是協助科學研究、改善教育質量，還是提升娛樂體驗，這些具備物理直覺的AI系統都將發揮重要作用，讓我們的生活變得更加便捷和精彩。
Q&A
Q1：MASS系統如何讓AI理解影片中的物理現象？
A：MASS系統為AI配備了三套"觀察工具"：視覺錨定技術識別重要物體，深度估算技術理解三維空間結構，運動追蹤算法記錄物體軌跡。然後將這些物理資訊轉換為AI能理解的文字描述，就像把實驗觀察結果寫成詳細報告一樣。
Q2：MASS-Bench測試集有什麼特別之處？
A：MASS-Bench包含4350個影片和8361個問答對，特意設計了41%正常物理現象和59%異常現象的不平衡結構。測試分為空間理解、時間理解、運動識別、物理理解和異常檢測五個類別，每個影片都有詳細的物體位置、運動軌跡等注釋資訊。
Q3：經過MASS訓練的AI模型性能提升有多明顯？
A：使用MASS系統的模型在整體性能上提升了6-8.7%，已能媲美谷歌Gemini-2.5-Flash等頂級商業產品。特別是在最難的物理異常檢測任務上，MASS訓練的模型表現甚至超越了Gemini-2.5-Flash，展現出了真正的物理理解能力。
