這項由東京大學與Alaya Lab聯合完成的研究，以預印本形式發布於2026年8月5日，論文編號為arXiv:2608.05070v1，有興趣深入閱讀的朋友可以通過該編號查詢完整論文。
你有沒有玩過那種開放世界遊戲，裡面的NPC（非玩家角色）看起來栩栩如生，但當你走到他們面前，他們的眼神卻穿透你看向遠方，仿佛你根本不存在？那種感覺就像在聚會上熱情地向一個人打招呼，對方卻目光呆滯地盯著牆壁。這種"社交斷層"一直是影片遊戲和AI生成世界的一大遺憾——技術越來越強大，但裡面的角色始終不會真正"看見"你。
現在，一組來自東京大學與Alaya Lab的研究人員決定改變這一現狀。他們開發了一套名為**HelloWorld
**的系統，讓AI生成的影片世界中的角色，第一次能夠真正地朝你轉過身來、向你揮手、對你點頭，甚至開口說"Hi"。這項研究的核心突破在於：只需按下一個按鈕，螢幕里的角色——無論是人類、動物還是玩具機器人——都會在那個時刻感受到"有人在看著我"，並做出自然的社交回應。
為了評估這個系統到底有多好，研究團隊還同時建立了一個專門的測試基準，命名為**HelloWorldBench**，這是全世界第一個專門用來衡量AI世界中"社交互動質量"的評測體系。
**一、背景：AI造世界，卻造不出會"看你"的人**
在過去幾年裡，AI生成影片的技術突飛猛進。研究人員已經能讓AI模型"夢造"出各種逼真的場景——森林、城市、戰場——用戶甚至可以用鍵盤控制攝像機在這些場景里四處遊蕩，或者觸發某些事件。這類技術被稱為"影片世界模型"，你可以把它理解成一個能夠實時生成、響應互動的動態畫面生成器，就像是一個無限延伸的電影布景，你在裡面走到哪裡，它就渲染到哪裡。
然而，在這些令人嘆為觀止的生成世界裡，有一個功能始終缺席：你無法和裡面的角色建立真正的眼神接觸，無法讓他們感受到"你在這裡"。一些模型里的角色完全是靜止的，只是背景裝飾；另一些模型雖然能讓角色動起來，但那些動作都是"自說自話"的背景行為，就像咖啡館裡忙碌的路人，根本不會因為你的存在而改變任何事情。
研究團隊把這個空白稱為"社交互動的缺失"。在他們看來，一個真正完整的交互式世界，不僅應該讓你自由穿行，還應該讓你能夠與世界裡的居民建立真實的社交連接。這聽起來像是科幻小說里的場景，但HelloWorld讓它成為了現實。
**二、核心設計：一個按鈕，點燃一場相遇**
HelloWorld的工作邏輯可以用一個非常直觀的場景來理解。設想你正在用AI生成了一段影片：一片寧靜的草地上，兩個徒步旅行者正在行走，攝像機緩緩從右向左平移。在這個畫面里，你就是那個"看不見的觀眾"。
現在，HelloWorld給了你一個新按鈕，姑且稱它為"打招呼鍵"（論文中用字母F表示）。當你在某個時刻按下這個鍵，同時配上一段文字描述——比如"他們轉向觀眾揮手"——畫面里的兩個徒步旅行者就會在接下來的那幾秒鐘里，真的轉過身來，朝著鏡頭方向揮起手。然後，他們恢復正常，繼續前行，就像什麼都沒發生一樣。
這個過程有兩個關鍵要求：第一，角色的互動動作要自然可信；第二，攝像機該怎麼運動就怎麼運動，整個場景質量不能因為這個互動而變差。要同時滿足這兩點，比聽起來難得多。
為了做到這一點，HelloWorld採用了兩套互補機制，一套在"訓練階段"工作，另一套在"生成階段"工作。
**三、自我提煉：讓AI用自己的作品來教育自己**
訓練階段的核心技術被研究團隊稱為"自蒸餾流程"（self-distillation pipeline）。這個名字聽起來有點神秘，但背後的邏輯其實非常優雅，可以用釀酒來打比方：釀酒師先用一批原料釀出初級酒，再把這批酒蒸餾提純，得到品質更高的成品。HelloWorld做的事情類似——它先讓一個現成的影片生成模型（基礎模型）自由發揮，生成一批包含社交互動的影片片段，然後再用這些影片來訓練、升級這個模型本身，讓它在保留原有互動能力的基礎上，額外掌握控制攝像機運動的本領。
具體操作是這樣的：研究團隊精心設計了一批文字提示，描述各種既有社交互動、又有攝像機運動的場景，例如"兩個徒步旅行者在湖邊，攝像機從右向左平移，他們轉向觀眾揮手"。把這些提示交給基礎模型，它會生成一批影片。這些影片裡，角色能自然地做出互動動作，攝像機也會按照描述運動——但這個模型目前還不能精確地按照用戶指定的攝像機軌跡來生成影片。
接下來，研究團隊用一套叫做Pi3X的工具，對每段生成影片的第一幀圖像進行三維重建，得到一個"點雲"（你可以把它理解成用無數個空間中的點來描繪一個三維場景），同時還原出影片中攝像機實際走過的軌跡。
有了這個三維點雲和攝像機軌跡，就可以生成一段"扭曲影片"（warp video）。所謂扭曲影片，是把第一幀圖像按照攝像機的運動軌跡重新投影，模擬出"如果攝像機沿著這條路徑運動，場景看起來應該是什麼樣子"的參考畫面。這段扭曲影片不完整——被遮擋的部分、超出視野的部分都會出現空洞——但它提供了一個清晰的幾何參考，告訴模型"攝像機應該怎麼動"。
在訓練時，扭曲影片作為一種"歷史條件"被輸入給模型，同時模型的學習目標是重建原始的互動影片。關鍵的設計在於：原始文字提示中關於攝像機運動的描述被刻意去掉了，意味著模型只能從扭曲影片裡學習如何控制攝像機，而不能依賴文字。這樣一來，攝像機控制和互動質量兩條學習路徑互不干擾，模型能夠同時掌握兩者。
整個過程不需要任何人工收集的真實影片，也不需要任何人工標註，完全是模型"用自己的輸出來教育自己"。研究團隊在156段自動生成的影片上對模型進行了2000步的微調訓練，使用了一種叫做LoRA（低秩自適應）的輕量化訓練技術，相當於給模型換了一套更專精的"工作模式"，而不是把整個模型推倒重來。
**四、時機控制：免訓練的時間魔法**
知道"該做什麼"還不夠，還要知道"該在什麼時候做"。HelloWorld的第二套機制專門解決這個問題，而且完全不需要任何額外訓練——它是一個在生成階段即插即用的"時間控制開關"。
回到釀酒的比喻：如果說自蒸餾流程決定了酒的品質，那麼這個時間控制機制就決定了"什麼時候開瓶倒酒"。
技術上，這套機制叫做"時間交叉注意力掩碼"（temporal cross-attention mask）。要理解它，先要知道AI生成影片時內部發生了什麼。
AI生成影片的模型（基於一種叫做DiT，即擴散變換器的架構）在工作時，會不斷讓影片幀中的"視覺資訊"去關注文字提示中的"語義資訊"。比如，影片裡某一幀的畫面會去"詢問"文字里"揮手"這個詞，然後按照這個資訊更新自己的內容。這個"詢問-回應"的過程就叫做交叉注意力。
通常情況下，影片裡的每一幀都會對所有文字資訊一視同仁地關注，包括"揮手"這種互動描述。這就導致了一個問題：角色可能在整段影片裡都在揮手，或者在你完全沒想讓他揮手的時候開始揮。
HelloWorld的做法是：當用戶按下打招呼鍵，系統就確定了一個"互動窗口"——比如從第3秒到第6秒。然後，一個掩碼（mask，可以理解成一塊"遮光板"）被放置在交叉注意力機制上，規定：只有位於第3秒到第6秒之間的影片幀，才能"看到"文字里關於互動的描述（比如"揮手"、"點頭"）；窗口之外的幀，對這部分文字是"視而不見"的。
換句話說，這個掩碼就像是一個精確的"劇情觸發器"：在指定時間窗口內，互動劇情被激活；在窗口之外，角色回歸自然狀態，仿佛什麼都沒有發生。
更精妙的是，這套機制不僅作用於影片流，還作用於音頻流。如果角色需要說話，掌管語音生成的部分同樣會受到掩碼約束，確保聲音也在正確的時間出現。研究人員用Whisper（一款語音識別工具）來檢驗生成的音頻，驗證角色說話是否真的發生在按鍵後的時間窗口內。實驗證明，同時對影片和音頻施加掩碼，比只對影片施加掩碼的效果更好。
**五、評測基準：全球首個"社交互動"專項考場**
一項新能力需要新的考題來評測。研究團隊意識到，現有的影片世界模型評測框架只關注畫面質量和攝像機精度，完全不涉及"角色有沒有跟觀眾互動"這件事。於是，他們從零建立了HelloWorldBench。
這個基準的原材料來自一個知名圖片網站Unsplash，研究團隊從中篩選出120張高質量照片，涵蓋各類人物、動物、玩具和機器人，背景多樣，風格各異。對於每張照片，一個AI助手（LLM代理）會設計兩到四種與圖中角色相符的互動方式，比如人類向鏡頭揮手，或者狗搖動尾巴。此外，還設計了四種常見的攝像機運動模式：靜止、掃描、推進和環繞。互動發生的時間點則隨機分配到影片的前段、中段或後段。將這些要素組合，最終得到400個測試樣本，涵蓋264個角色實例和101種互動類型。
為了評測互動質量，研究團隊設計了三個專門的指標，分別回答三個問題。
第一個指標叫做ActAcc（動作準確率）：角色有沒有做出正確的動作？評測方法是把生成的影片交給一個視覺語言模型（AI裁判），問它一道八選一的選擇題："這個角色做了什麼？A. 打招呼 B. 跳舞……"正確答案是原來指定的互動類型，其餘七個是從測試集裡隨機選取的干擾項。正確回答的比例就是ActAcc。
第二個指標叫做TimeAcc（時間準確率）：互動有沒有在正確的時間發生？同樣是問AI裁判，但問題變成了："角色是在哪個時段跟攝像機互動的？A. 0到3秒 B. 3到6秒 C. 6到9秒 D. 沒有互動。"如果裁判判斷的時段和預設的互動窗口一致，就算答對。需要注意的是，如果裁判選擇了"沒有互動"，這個樣本會被排除在計算之外，而不會拉低TimeAcc的分數。
第三個指標叫做GazeDev（注視偏差，越低越好）：角色有沒有真的"看向"觀眾？這個指標只對217個包含人類角色的樣本生效。研究團隊使用了一個專門的注視估計工具UniGaze，在互動時間窗口內，計算角色眼神方向與攝像機光軸方向之間的平均角度偏差。角度越小，說明角色越是"看著你"；如果檢測不到臉部，則直接判定偏差為90度（相當於完全沒有看鏡頭）。
除這三個專項指標外，評測體系還保留了三個傳統指標：背景一致性（BgCons，衡量場景是否穩定）、畫面美學評分（Aesthetic）和攝像機控制精度（CamCtrl）。
**六、實驗結果：數字說明了什麼**
研究團隊把HelloWorld和六個對手放在HelloWorldBench上比拼，這六個對手分別是：WorldPlay、Matrix-Game 3.0、LingBot-World、SANA-WM、Warp-as-History，以及HelloWorld所基於的底層模型LTX-2.3本身。
在動作準確率方面，LingBot-World以50.5%的成績奪得了所有參賽者中的最高分，HelloWorld以41.4%緊隨其後，底層模型LTX-2.3得到42.5%。WorldPlay和Matrix-Game 3.0表現最差，分別只有10.5%和8.0%，因為它們傾向於生成靜止的場景，角色根本不動。
然而，時間準確率的數據才是HelloWorld真正大放異彩的地方。所有競爭對手的TimeAcc都徘徊在30%到41%之間——而三選一的隨機猜測概率本就是33.3%，也就是說，其他模型在控制"互動發生時間"這件事上基本相當於隨機亂猜。HelloWorld的TimeAcc直接達到了81.7%，是競爭對手最高水平（41.2%）的近兩倍。這意味著HelloWorld能夠高度精準地將角色的社交反應鎖定在用戶按鍵的那個時間窗口裡。
注視偏差方面，LTX-2.3底層模型的偏差為38.1度，HelloWorld以40.2度緊跟其後，說明HelloWorld在保持底層模型注視能力的同時，額外獲得了時間控制能力。相比之下，Matrix-Game 3.0的注視偏差高達77.2度，WorldPlay達到63.5度，說明這兩個模型生成的角色完全沒有朝向鏡頭的意識。
在影片質量方面，HelloWorld的背景一致性得分（96.9）和美學評分（5.27）均為所有參賽者中最高，說明自蒸餾訓練不僅沒有損害影片質量，反而略有提升。攝像機控制精度（82.9）也在所有方法中最優，確認了扭曲影片機制在將影片生成模型轉化為可控世界模型方面的有效性。
**七、消融實驗：拆開看看，哪個部件最關鍵**
研究團隊還做了一系列"拆解實驗"，分別驗證各個設計選擇的貢獻。
關於訓練數據的實驗分三種情況進行比較：用真實影片（不含社交互動）訓練的LoRA，只用包含人類角色互動的自生成影片訓練的版本，以及同時包含人類和非人類角色（動物、卡通人物）互動的完整自生成數據版本。結果顯示，使用自生成互動數據（無論是只有人類還是包含各類角色）都顯著提升了動作準確率和注視精度，而背景一致性、美學質量和攝像機控制基本不受影響。用真實影片訓練的版本在注視偏差上表現明顯較差（51.3度 vs 40.2度），研究團隊將此歸因於真實影片中本來就沒有角色朝向鏡頭的社交行為，模型從中學不到任何"看向觀眾"的信號。
關於時間掩碼的實驗則驗證了另一個發現：不加任何掩碼時，模型的動作準確率反而最高（42.5%），但時間準確率只有36.7%，因為角色可能在整段影片裡都在做互動動作，自然更容易被AI裁判檢測到，但時機完全不可控。加上影片掩碼後，時間準確率跳升至80.9%；再加上音頻掩碼，進一步提升至81.7%，語音時間準確率也從52.5%提升至69.1%。
**八、用戶研究：真人來評判**
數字指標固然重要，但最終的裁判還是人。研究團隊邀請了30位人類評判員，讓他們對HelloWorldBench中的41個樣本進行兩兩對比評測。每次比較，評判員會看到HelloWorld和某個競爭對手生成的同一場景影片，然後回答三個問題：哪個影片裡的互動動作更自然？哪個影片裡的角色更像在真正和你互動？哪個影片的場景質量更高？
結果顯示，HelloWorld在與所有四個競爭對手的對比中，在三個問題上均贏得超過66%的支持率。面對SANA-WM時，場景質量的支持率高達91.2%；面對真實影片訓練的LoRA時，互動感知的支持率達88.5%。這充分說明，HelloWorld的自蒸餾策略確實保住並增強了模型原本的社交行為生成能力。
**九、計算成本：代價有多大**
任何新能力都有代價。研究團隊詳細統計了各方法生成一段10秒影片所需的時間和計算量。HelloWorld生成一段影片需要60.2秒，每幀用時0.26秒，總計算量為9.4乘以10的15次方次浮點運算。相比底層模型LTX-2.3（50.3秒，每幀0.21秒），增加了約20%的時間開銷和36%的計算量，這是引入扭曲影片條件所付出的代價。
橫向對比來看，WorldPlay每幀需要0.56秒，LingBot-World每幀需要0.39秒，HelloWorld的每幀0.26秒在相近解析度下表現相當有競爭力。SANA-WM的計算量最低（3.2乘以10的15次方），但這也對應著較低的解析度和幀數。HelloWorld在1280×704解析度、241幀的高配條件下，效率依然處於中上水平。
**十、局限與未來：還有什麼沒做到**
研究團隊在論文中坦誠地指出了當前系統的局限。HelloWorld目前還不支持實時交互——生成影片需要一分鐘左右的時間，而不是像真正的遊戲那樣在毫秒間響應。整個系統的工作方式是預先指定攝像機軌跡和互動腳本，然後一次性生成完整影片，而不是根據你實時的行為動態調整。這與真正意義上的實時互動世界還有一段距離。
此外，系統目前還無法生成長影片，也無法在同一個影片序列中始終保持角色的外貌和身份一致——如果需要讓同一個人在後續多段影片裡再次出現，模型並不能保證他的長相、服裝等細節不變。研究團隊明確表示，未來的工作方向將集中在探索自回歸架構（一種能夠逐幀實時生成的模型結構）以實現真正的實時交互，同時推進長影片生成和角色身份的持續一致性建模。
說到底，HelloWorld做的事情，是讓AI生成的世界邁出了從"可以遊覽"到"可以交流"的關鍵一步。在此之前，你進入一個AI生成的世界，裡面的角色就像是精心製作的布景道具，無論你怎麼靠近，他們都不會真正回應你的存在。而現在，當你按下那個按鈕，畫面里的人物會在那一刻轉過身來，眼神落在鏡頭上，朝你揮手或點頭——這個動作雖然簡單，但它所代表的意義，是"這個世界知道你在這裡"。
這項改變並不依賴海量的人工標註數據，而是靠模型自己生成訓練素材、自己教育自己；控制互動時機的方法完全不需要額外訓練，只是在推理時增加一塊精準的"遮光板"。整套方案的工程美感，在於用最少的額外代價，撬動了一項此前從未有人系統解決的問題。
當然，離真正的"交互式AI世界"還有很長的路要走：實時響應、長期記憶、持續的角色身份……這些都是擺在研究者面前的開放問題。但HelloWorld證明了一件事：讓AI世界裡的居民"看見你"，技術上已經是可行的，而且比很多人預想的更接近現實。
有興趣深入探索這項研究的讀者，可以通過論文編號arXiv:2608.05070查閱完整論文，項目主頁也在GitHub上公開。
---
Q&A
Q1：HelloWorld是如何讓AI影片角色在指定時刻做出互動動作的？
A：HelloWorld在生成影片時，會在AI模型內部設置一塊"時間遮光板"（時間交叉注意力掩碼）。用戶按下互動按鈕後，系統確定一個時間窗口，只有這個窗口內的影片幀才能"看到"文字描述中關於互動的部分，窗口外的幀對互動描述視而不見。這樣，角色就只在指定時段內做出揮手、點頭等動作，前後恢復自然狀態。
Q2：HelloWorld訓練時需要人工收集和標註大量社交互動影片嗎？
A：不需要。HelloWorld採用"自蒸餾"方式，先讓基礎模型自己生成包含社交互動和攝像機運動的影片，再用這些自動生成的影片來訓練自己。整個流程不依賴任何外部數據收集，也不需要人工標註，模型完全靠"自我教育"獲得新能力。
Q3：HelloWorldBench是用來評測什麼的，和普通影片質量評測有何不同？
A：HelloWorldBench是全球首個專門評測AI影片世界中"社交互動"能力的基準。普通評測只關注畫面清晰度和攝像機是否準確運動，而HelloWorldBench新增了三個專項指標：角色是否做出了正確的互動動作（ActAcc）、互動是否發生在用戶指定的時間（TimeAcc）、角色眼神是否真的朝向了觀眾（GazeDev），全面衡量角色與觀眾建立社交連接的能力。
