在遊戲裡,如果你走到一扇門前,不確定能不能進去,通常的做法是先轉身往回走兩步,再跳兩下,看看能不能翻過旁邊的牆。
這些都是遊戲裡再普通不過的操作,可是想像一下,如果眼前的畫面由 AI 生成,模型就得跟上玩家的每一次臨時起意——突然停下,又突然轉身,又突然跑跳。這期間,每一幀都得穩定在線。
這就是 VAST 剛剛開源的實時世界模型 EdenLive 所能做到的。它是 Project Eden 系列中的實時生成式渲染器,遊戲、動畫預覽等可交互內容的規則和狀態仍由上游交互系統維護,白模、2D/3D 場景,或真實錄像,都能作為生成畫面的參考。
你讓角色往前走,或者把鏡頭轉向身後,交互系統將更新後的狀態轉化為灰盒畫面與場景描述,輸入 EdenLive,由模型實時渲染出對應的視覺效果讓你一邊玩,一邊看到 AI 實時生成的世界。
參考不必是一套已經做完美術的遊戲——任何視覺素材都可以。一個粗糙的 3D 白模、一段 2D 場景,甚至一段已有錄像,都可以提供結構和運動。同一段參考,換一張首幀、一句提示詞,就能得到寫實、手繪線稿、卡通、像素或油畫等完全不同的外觀。

EdenLive 堪稱是全能,可以跟著玩家的操作持續生成遊戲畫面,也可以保留一段影片的運動軌跡和鏡頭、把人物與環境換成另一種風格;到了具身場景,第一人稱的人手操作影片還能改寫成機械臂視角的版本。
為了做到這一點,EdenLive 實現的是一種「分工合作」:參考畫面決定結構、運動和鏡頭,生成模型負責重寫這些內容最終「看起來是什麼」。EdenLive 的三類輸入分工明確:參考影片決定場景布局、鏡頭運動、物體軌跡和事件發生的時間;目標首幀確定主體、材質、配色和畫風;文本提示詞補充風格和細節,交互中還能在事件發生時追加一句描述。這最終讓生成式渲染從離線的影片生成,進入長時遊戲交互、影片畫風轉換、具身數據增強等不同的場景。

在交互持續進行所需的長時生成能力上,EdenLive 取得了不錯的突破。基於 Gemini-3.8-Flash 對 45 個長時案例的兩兩盲評(每組交換順序各評一次,再按維度計算 Elo 分數),在參考遵循、首幀一致性、物理合理性、畫質和避免外觀泄漏五個維度上,EdenLive 14B 和 5B 全部排在第一和第二。以參考遵循為例,14B 得分 1704,比 AgentGarten 高出約 200 分。

更強悍的是 EdenLive 對於實時的跟隨能力。離線影片生成模型要先拿到完整輸入,再整段生成,接不進實時交互,EdenLive 卻能夠追著不斷變化的參考畫面往前走。按照團隊披露,EdenLive 5B 在單張消費級顯示卡 RTX 5090 上能以超過 24 FPS 生成 720P 畫面,並支持分鐘級連續生成。
這對遊戲製作來說尤其有意義,玩家按下攻擊鍵之後,最先工作的並不是 EdenLive。武器有沒有擊中對手、血量應該減少多少、角色又移動到了哪裡,都會先由上游交互系統作出判斷,並更新到遊戲狀態里。

在場景和動畫預覽中,參考可以是白模場景、美術做的粗動畫,或由精細模型渲染出的法線圖影片。參考不變,只換首幀和提示詞,就能在同一個場景、同一段動畫上比較不同的材質、光照和配色。鏡頭離開一處再轉回來,參考里的結構還在原處,EdenLive 按同樣的結構繼續渲染,不必從過去的畫面里重新推測。

在遊戲裡這種連續和一致性,還需要與玩家的操作協同。比如在進入升降裝置之後,隨著裝置下降,整個圍欄和網格不能走形,但外面的環境卻需要緩緩變化。
面向遊戲開發,VAST 同步開源了 EdenGolem(v0.1),一款給編程智能體使用的 skill。只要輸入一段玩法描述,智能體便會分四個階段,依次完成玩法設計、場景搭建、交互邏輯實現與界面完善,生成可獨立運行的 3D 灰盒遊戲。目前,EdenGolem 已支持解謎、射擊、駕駛、冒險、競技場、格鬥等多種遊戲類型。
除了根據簡單素材生成,EdenLive 也能夠理解現實素材,並實現轉換。像「閃身步」是真人教學,在保留構圖和運鏡的同時,人物、畫面和筆觸都動畫化。模型沿著原影片的動作和空間關係,重新生成每一幀,同時不照搬原影片的質感。

還有一個容易被忽略的用途:具身數據增強。

機器人訓練中,並不缺「人類怎樣擦桌子」的知識,缺乏的是「從機器人的眼睛看出去,機械手怎樣靠近物體、抓住物體並完成動作」的訓練素材。
獲得類似視角倒也不難,找一個人戴著頭戴相機,擦桌子、開抽屜、倒水,一天可以拍很多段。但真人錄像里出現的是人的手臂和五指,機器人部署時看到的卻是機械臂和夾爪,兩者的外形、運動範圍和遮擋方式都不同。模型如果主要用真人影片訓練,到了機器人攝影機裡,可能會遇到明顯的視覺分布差異。

通過 EdenLive 把真人的手替換成機械手,從而把素材轉換成更接近機器人實際工作時會看到的數據畫面。例如,人拿起水壺的動作、水壺與桌面的相對位置、第一人稱鏡頭的移動都保留,只把執行者改成機械手,可以幫助模型適應「機器人看到的畫面」。
不同的參考素材類型有不同的效果,自身也有不同的限制, 現成錄像只能提供鏡頭和動作,經過重渲染以後仍然是一段影片,可玩性來自上游代碼。但 EdenLive 背後有一套分工與規則,因此生成結果可以隨操作繼續變化。
世界模型需要解耦狀態與渲染
看這些演示,很容易以為玩家正在直接操縱一個影片模型。實際上,EdenLive 並不判斷遊戲裡發生了什麼,也不負責讓這個世界運轉。在今年 5月發布的Project Eden 中,VAST 將世界模型研究分為三層架構:持續演化的世界狀態,記錄物體位置與屬性、交互規則和動作的後果;狀態到畫面的接口,把當前狀態轉換成某個視角下的布局、幾何與事件約束;生成式渲染器,根據這些約束生成高保真畫面。EdenLive 實現後兩層,不限定第一層。
以格鬥遊戲為例,玩家按下攻擊鍵,指令仍然先進入上游交互系統。它判斷這一腳有沒有踢中對手、應該扣掉多少血量,隨後更新兩名角色的狀態和血條。

影片模型擅長生成看起來合理的畫面,卻無法獨自維護血量、碰撞、物體身份和勝負條件等規則,因此 EdenLive 把確定性狀態留給上游交互系統,把視覺呈現交給生成模型。
交互系統會把每次變化渲染成新的灰盒畫面,一個專門微調的視覺編碼器從中提取布局、鏡頭和動作;它不需要精細的皮膚、衣服和光影,只要把空間布局、運動軌跡,以及鏡頭怎樣移動交代清楚。

「規則歸交互系統,畫面歸模型」,這套分工解決了影片模型不擅長長期保存規則的問題,保證視覺元素的穩定呈現。當然,這套分工仍要經過更長時間、更複雜交互的檢驗。
世界模型不缺演示,缺的是用法
2026 年 1 月牛津學者的綜述把「視覺混淆」列為世界模型要解決的挑戰:畫面逼真不代表模型理解了因果和物理規律,並主張世界模型從生成畫面的視覺引擎,轉向能夠表示動態與約束的可操作模擬器。
在這條路線尚未成為世界模型的主流敘事時,今年 5 月 VAST 發布的 Project Eden 已經把交互系統維護世界狀態、生成模型負責視覺呈現寫進完整架構;幾個月後,EdenLive 又把其中的生成式渲染推進到實時、連續運行。

在市場上,類似方案到 8、9 月才開始密集出現。
此次開源包括 5B、14B 模型權重(各含雙向生成與少步流式生成兩個版本)、實時流式推理代碼、EdenGolem v0.1 和前端工作檯,同時公開技術報告。開發者可以接入自己的參考來源,測量延遲、穩定性與參考遵循程度。
伴隨 EdenLive 一同發布的,還有面向全球青年算法與研究人才的 V·STAR 頂尖人才計劃。招募方向覆蓋 3D 生成模型、3D 理解與 Agentic AI、世界模型三個方向。無論是全職還是實習生,V·STAR 將有機會直接參與核心項目,並拿到比頭部大廠更具競爭力的薪資,特別優秀者上不封頂,還有長期期權。

過去的世界模型演示,往往用一段影片證明模型能夠想像一個世界。EdenLive 則往前走了重要的一步。而當更多人把自己的代碼、場景和參考畫面接進來,技術也將逐漸發展為真正可用的創作工作流,世界將迎來更多可能性。
主頁:https://vast-eden.ai/?p=edenlive
代碼:https://github.com/VAST-AI-Research/EdenLive
模型權重:https://huggingface.co/VAST-AI/EdenLive
技術報告:https://assets.vast-eden.ai/assets/edenlive/EdenLive-tech-report.pdf
Unbound Loop:http://loop.unbound.io






