這項由新加坡國立大學方恭凡、馬欣音和王新潮教授團隊開展的研究發表於2025年11月，論文編號為arXiv:2511.19401v1。對於想要深入了解這項技術細節的讀者，可以通過這個編號在學術資料庫中查詢完整論文內容。
當我們想要製作一個影片來展示某個想法時，通常需要複雜的拍攝設備、剪輯軟體，或者至少需要詳細描述我們想要的畫面效果。但是現在，研究人員發現了一種全新的影片製作方式，就像在照片上畫幾個箭頭、寫幾個字，電腦就能理解你的意圖並自動生成相應的影片。
這就好比你在一張全家福照片上畫個箭頭指向某個人，然後寫上"招手"，電腦就能讓這個人在影片中自然地揮手打招呼。或者你在一張風景照上畫個弧形箭頭，寫上"飛過天空"，照片中的鳥兒就會按照你畫的路徑在影片中飛翔。這種技術被稱為"影片內指令"，它讓普通人也能像導演一樣精確控制影片中每個元素的行為。
想像一下，如果你有一張貓咪聚會的照片，你想讓其中一隻特定的貓跳下來。傳統方法需要你寫一大段描述："請讓照片右側第三隻橘色的貓咪優雅地跳下岩石"。但有了這項新技術，你只需要在那隻貓咪旁邊畫個箭頭，寫上"跳下來"就行了。電腦能準確理解你指的是哪只貓，以及你希望它做什麼動作。
這項技術的核心創新在於它完全不需要重新訓練任何模型。研究團隊發現，現有的影片生成系統本身就具備理解視覺指令的能力，只是之前沒有人想到要這樣使用。就像發現一台看起來只能播放音樂的設備其實還能顯示歌詞一樣，這些影片生成系統原來就能"讀懂"圖片上的文字和箭頭。
研究團隊在三個頂級的影片生成系統上測試了這項技術，包括谷歌的Veo 3.1、快手的Kling 2.5，以及開源的Wan 2.2。結果顯示，這些系統都能很好地理解和執行視覺指令，特別是在處理多個物體同時行動的複雜場景時表現出色。
一、傳統影片製作的痛點與突破
在傳統的影片製作過程中，人們主要依賴文字描述來告訴電腦想要什麼樣的影片效果。這就好比你想讓朋友幫你重新布置房間，但只能通過電話進行指導，不能指著具體的物品說"把那個移到這裡"。這種方式經常會產生誤解，特別是當房間裡有很多相似物品時。
以製作一個動物園的影片為例，如果你想讓畫面中的第五隻企鵝做出特定動作，你需要寫出類似"讓從左數第五隻、站在石頭上的那隻小企鵝低頭覓食"這樣複雜的描述。即使這樣，電腦也可能搞混哪只是"第五隻"，因為企鵝們看起來都差不多。
更頭疼的是多步驟動作的描述。假如你想讓一隻海豹先跳入水中，再游到岸邊，最後爬上岸，傳統方式需要你寫一個小故事來描述整個過程。而且這種文字描述很難精確控制動作的空間位置和時間節奏。
研究團隊意識到，人類在日常生活中指示他人做事情時，往往會結合手勢、指向和簡短的話語。比如在指路時，我們會說"往那邊走"的同時用手指向具體方向。這種多模態的交流方式比純粹的語言描述要高效準確得多。
基於這個洞察，研究人員開發出了"影片內指令"技術。這項技術的核心思想是讓人們可以直接在圖片上"畫出"自己的意圖，就像在地圖上標記路線一樣直觀。電腦不再需要猜測你想要控制哪個物體，因為你已經用箭頭明確指出了。它也不需要理解複雜的運動描述，因為你已經用圖形化的方式展示了期望的動作。
這種方法的優勢在於它消除了語言描述中的歧義。當你在一隻特定的貓咪旁邊寫上"向左走"時，系統知道你指的是這隻貓，而不是其他貓。當你畫出一個弧形箭頭時，系統理解你希望物體按照這個軌跡移動。這種空間上的精確對應關係，使得複雜場景的控制變得前所未有的簡單。
二、技術核心：讓電腦學會"看懂"手繪指令
這項技術的精妙之處在於它極其簡單，卻異常有效。整個系統只使用兩種基本元素：簡短的文字命令和箭頭指示。這就好比學會了兩個最基本的"單詞"，卻能表達無數複雜的意思。
文字命令就像給朋友發的簡短消息，比如"轉身"、"跳躍"、"飛走"這樣的動詞短語。這些命令不需要複雜的語法結構，就像體育教練給運動員的口令一樣簡潔明了。關鍵是這些文字要直接寫在圖片上，就像給照片加標註一樣。
箭頭則承擔了空間定位的重要任務。它們不僅能指出動作的目標對象，還能表示運動的方向、路徑甚至是影響範圍。直線箭頭表示直接的移動方向，弧形箭頭可以指示旋轉或曲線運動，而多個箭頭組合起來甚至能描繪複雜的運動軌跡。
這兩種元素的組合使用產生了強大的表達能力。在一張鳥群飛行的照片上，你可以給不同的鳥畫不同的箭頭，有的向左飛，有的向右飛，有的保持原地。每隻鳥旁邊的文字和箭頭就像專門給它的"個人指令"，其他鳥不會受到影響。
更有趣的是多步驟指令的處理方式。研究團隊發現，通過給指令編號，電腦能理解動作的先後順序。比如在一張海豹照片上寫"1.跳入水中"、"2.游向岸邊"、"3.爬上石頭"，系統就會按照這個順序生成連續的動作序列。這就像給演員一份分步驟的劇本，每一步都清晰明確。
系統的工作原理是將這些視覺指令當作圖片的一部分來理解。就像人類看到路標時會自然地理解其含義一樣，訓練好的影片生成系統也具備了理解圖片中文字和符號的能力。當系統看到一個箭頭指向某個物體時，它會將這理解為一種空間關係和動作指示。
令人驚訝的是，這項技術完全不需要對現有系統進行任何修改或重新訓練。研究人員只是改變了輸入方式，讓原本只能理解文字描述的系統突然獲得了理解視覺指令的能力。這就好比發現一個人不僅能聽懂語言，原來還能理解手語，而且這種能力一直都在，只是沒有被充分利用。
為了確保系統正確理解指令，研究團隊設置了一個固定的文字提示："請按步驟執行指令"。這句話就像給系統的總指揮命令，告訴它要認真觀察圖片上的所有指示並付諸行動。有了這個"啟動指令"，系統就會仔細分析圖片中的每個文字標註和箭頭標記，然後生成相應的影片內容。
三、實際應用效果：從簡單動作到複雜場景的全面掌控
當理論變成現實時，這項技術展現出的效果讓人印象深刻。研究團隊進行了大量實驗，從最基礎的單一物體動作控制，到複雜的多物體協調運動，每一項測試都驗證了這種方法的實用性。
在文字理解能力的測試中，研究人員使用了專業的影片評估標準VBench，這是一個廣泛認可的影片質量測試工具。結果顯示，雖然通過圖片中嵌入的文字來控制影片生成的效果略低於直接使用文字描述，但差距很小，完全在可接受的範圍內。這就像用手寫便條和列印文件傳達同樣資訊，雖然清晰度可能略有差異，但資訊傳達的準確性基本相當。
更重要的是空間定位能力的測試。研究團隊設計了一個特別有趣的對比實驗：讓系統在一群相似動物中精確控制其中一隻的行為。比如在一張有十幾只貓咪的照片中，要求讓"從左數第五隻貓"做出特定動作。傳統的文字描述方法經常會搞錯目標，而影片內指令方法只需要在目標貓咪旁邊畫箭頭寫文字，準確率大大提高。
在動作控制方面，這項技術展現了令人驚訝的精細度。研究人員測試了四種基本動作類型。平移動作就像讓物體從一個地方移動到另一個地方，箭頭指向哪裡，物體就朝那個方向運動。旋轉動作則通過弧形箭頭來指示，物體會按照箭頭的彎曲方向自然轉動。
軌跡控制可能是最令人印象深刻的功能。當你在圖片上畫出一條曲線時，比如讓一隻鳥按照S形路徑飛行，系統真的能讓鳥兒沿著你畫的路線在空中翱翔。這就好比你在地圖上畫出行車路線，GPS不僅能理解路線，還能指導實際的駕駛行為。
姿態調整則展現了更細膩的控制能力。在企鵝的例子中，當指令是"低頭覓食"時，企鵝不僅會低下頭，還會做出符合覓食行為的自然動作。這種對細節的把握表明，系統不僅理解了動作指令，還具備了對動作含義的深層理解。
攝像機運動控制是另一個重要功能。雖然這不是技術的核心優勢領域，但研究顯示，通過在圖片頂部添加簡單的指令如"向左移動"、"放大"等，也能有效控制畫面的拍攝角度和焦距變化。這為影片製作提供了額外的創意空間。
在多物體控制的測試中，技術的優勢更加明顯。在一個有多隻鳥的場景中，研究人員可以讓其中兩隻"飛走"，同時讓第三隻"保持原地"。每隻鳥都收到了專屬的指令，系統能準確區分並執行不同的動作要求。這種精確的多目標控制在傳統文字描述方法中幾乎不可能實現。
最複雜的測試場景涉及多個物體執行不同的連續動作。在一個停車場的場景中，研究人員給三輛不同的汽車分配了不同任務：白色車"倒車"，藍色車"右轉"，紅色車"停止"。系統不僅正確識別了每輛車，還讓它們同時執行了各自的動作，整個場景看起來自然而協調。
為了驗證複雜指令的成功率，研究團隊進行了人工評估。他們生成了24個影片樣本，邀請人類評價員判斷每個指令是否被正確執行。結果顯示，簡單指令如"停止"的成功率高達95.8%，中等難度的"右轉"達到58.3%，而最困難的"倒車"也有20.8%的成功率。相比之下，傳統文字方法的成功率普遍更低，特別是在複雜動作的執行上差距明顯。
四、技術局限性與未來發展空間
儘管這項技術展現出了令人興奮的潛力，但研究團隊也誠實地指出了當前存在的一些限制。理解這些局限性對於正確評估技術的成熟度和應用前景同樣重要。
最直觀的問題是視覺污染。由於指令是直接畫在圖片上的，生成的影片中通常會保留這些標記。就好比你在照片上用馬克筆畫了箭頭和文字，這些痕跡會出現在最終的影片中。雖然這些標記在影片播放過程中往往會逐漸淡化或被遮擋，但完全消除它們仍然需要後期處理。
研究人員注意到一個有趣現象：影片生成系統似乎具備某種"自我清潔"傾向。在生成的影片中，原始的指令標記經常會被物體運動或場景變化自然地掩蓋掉。這表明系統在某種程度上"知道"這些標記不應該是最終場景的一部分。基於這個發現，研究團隊建議可以通過改進文字提示，明確要求系統移除可見的標註，來進一步改善影片質量。
另一個限制來自於指令的複雜性。當前的技術主要適用於相對簡單和直觀的動作指令。對於需要複雜推理或多步驟邏輯的任務，效果可能不夠理想。比如要求一個物體"避開障礙物移動到目標位置"這樣需要路徑規劃的指令，目前還難以通過簡單的箭頭和文字來準確表達。
評估方法的局限性也是一個重要問題。目前的研究主要依賴定性分析和小規模的人工評估，缺乏大規模、系統性的量化評估框架。這使得技術的可靠性和普適性還需要更多驗證。未來需要開發更完善的評估標準，以便更準確地衡量技術在不同場景下的表現。
研究中使用的指令都是人工精心設計的，而現實世界中存在大量自然的視覺信號，比如交通標誌、廣告牌、路標等。一個令人期待的發展方向是讓系統能夠理解和響應這些真實世界中的視覺指令。比如當畫面中出現"禁止通行"標誌時，系統能讓影片中的車輛自動停下或改變方向。
技術的泛化能力也有待提高。目前的測試主要集中在相對簡單的場景和動作上，對於更複雜的現實世界場景，比如繁忙的街道、複雜的室內環境等，技術的表現還需要進一步驗證。
儘管存在這些局限性，但研究的意義遠遠超出了當前技術本身。它開闢了一個全新的人機交互範式，讓普通人能夠以更直觀、更精確的方式控制AI系統的行為。這種方法不僅適用於影片生成，還可能擴展到其他領域，比如機器人控制、遊戲設計、虛擬現實等。
從技術發展的角度來看，這項研究證明了現有AI系統隱藏的巨大潛力。許多我們認為需要重新開發的功能，實際上可能已經存在於現有系統中，只是需要用正確的方式來激發。這種"發現式創新"可能比"發明式創新"更容易實現，也更容易推廣應用。
隨著技術的不斷完善，我們可以期待看到更多創新應用。比如教育領域，老師可以通過在圖片上簡單標記來製作生動的教學影片。設計師可以快速將靜態的設計概念轉化為動態演示。普通用戶可以輕鬆製作個性化的社交媒體內容。這些應用場景的實現，將讓更多人享受到AI技術帶來的便利。
說到底，這項來自新加坡國立大學的研究為我們展示了AI技術發展的一個重要方向：讓人工智慧更好地理解人類的自然表達方式。通過影片內指令技術，我們不再需要學習複雜的命令語言或者掌握專業的操作技能，只需要用最直觀的方式表達想法，AI就能理解並實現我們的意圖。
這種技術的出現，讓每個普通人都有可能成為影片創作者，用簡單的塗鴉和標記就能製作出專業水準的動態內容。雖然技術還有改進空間，但它已經證明了讓AI理解人類視覺語言的可行性。未來當這項技術更加成熟時，我們的數字創作方式可能會發生根本性的改變，就像從打字機到電腦的跨越一樣意義深遠。
對於想要深入了解技術細節的讀者，可以通過論文編號arXiv:2511.19401v1在相關學術資料庫中查找完整的研究報告，那裡有更詳細的實驗數據和技術分析。
Q&A
Q1：影片內指令技術是什麼原理？
A：影片內指令技術就像在照片上畫簡單的箭頭和寫幾個字，電腦就能理解你的意圖並生成相應的影片。它使用兩種基本元素：簡短的文字命令（如"跳躍"、"轉身"）和箭頭指示（指向目標物體或運動方向）。電腦會將這些視覺標記理解為具體的行動指令，然後讓畫面中的物體按照指示進行相應的動作。
Q2：這項技術比傳統的文字描述影片生成有什麼優勢？
A：最大優勢是精確定位和消除歧義。傳統方法需要複雜的文字描述，比如"讓從左數第三隻貓做動作"，容易產生誤解。而影片內指令直接在目標物體旁邊畫箭頭寫指令，系統能準確知道你指的是哪個物體。特別是在多物體場景中，每個物體可以有獨立的指令，避免了傳統方法中的混淆問題。
Q3：使用影片內指令技術需要重新訓練AI模型嗎？
A：完全不需要。這是該技術最令人驚訝的地方。研究人員發現現有的影片生成系統（如Veo 3.1、Kling 2.5等）本身就具備理解圖片中文字和符號的能力，只是之前沒有人想到這樣使用。只需要改變輸入方式，在圖片上添加指令標記，再配合"請按步驟執行指令"這樣的提示語，系統就能理解並執行視覺指令。
