這項由康奈爾大學領導的研究於2026年發布，論文編號為arXiv:2606.02580，有興趣深入了解的讀者可以通過該編號查詢完整論文。
專業3D設計師在Blender（一款業內常用的3D製作軟體）里搭建一個場景，往往需要數小時甚至數天。他們要一步步地建模、貼材質、擺位置、調燈光，每一步都需要反覆試錯和調整。而這篇論文想解決的問題，聽起來幾乎像魔法：給AI看一張普通照片，讓它自動生成一個完整的、可以隨意編輯的3D Blender場景。不是簡單地"截圖存檔"，而是生成真正的程序代碼，你可以在裡面換顏色、改燈光、做物理模擬——就像拿到了那位設計師的工程文件一樣。
研究團隊將這套系統命名為SEIG，全稱是"分階段可執行逆向圖形學"（Staged Executable Inverse Graphics）。"逆向圖形學"這個概念可以這樣理解：正向圖形學是把3D場景渲染成一張圖，而逆向圖形學則是反過來，從一張圖還原出3D場景。這個反向過程之所以困難，在於同一張圖可以對應無數種3D場景——就像你看到一張椅子的照片，你無法確定椅子背面長什麼樣，更無法確定它的材質究竟是木頭還是塑料。
這項研究的核心思路，是讓AI像真正的3D設計師那樣分階段幹活，而不是一口氣把所有事情都做完。接下來，我們就順著這個思路，把這套系統從頭到尾講清楚。
一、為什麼"一口氣搞定"行不通
假設你要還原一道複雜菜餚的食譜，僅憑一張成品照片。如果你試圖同時猜測食材、火候、調料配比、擺盤技巧，你的腦子很快就會亂成一鍋粥。但如果你先確認主料是什麼，再想調料，再考慮烹飪方式，最後研究擺盤，每一步都專注在一件事上，成功率會高得多。
AI面臨的困境完全一樣。目前最強大的"視覺語言模型"（VLM，一種既能看圖又能理解文字、還能寫代碼的AI）已經具備了相當強的空間理解和代碼生成能力，但如果你要求它同時推斷一張圖里所有物體的幾何形狀、每個物體的材質紋理、整體的空間布局以及場景的燈光方式，它的表現會大打折扣。這不是因為AI"不夠聰明"，而是因為這幾件事之間相互影響、相互糾纏，一個判斷出了偏差，就會拖累所有其他判斷。
在SEIG之前，已經有一套叫做VIGA的系統嘗試解決這個問題。VIGA讓AI反覆地寫代碼、渲染、對比、修改，不斷循環直到結果看起來像原圖。這個思路沒有錯，但問題在於它把所有因素——形狀、材質、布局、燈光——全部混在一起同時優化，導致AI在一個巨大的"可能性空間"里漫無目的地搜索，很難收斂到一個好的結果。
SEIG的答案是：把這道"綜合大題"拆成幾道"單科小題"，每道題做完再做下一道。
二、分階段的"流水線"是如何運轉的
SEIG的工作流程可以類比成一條精密的裝配線，每個工位只負責一件事，前一個工位的成果會直接傳遞給下一個工位。
整條流水線的第一步，是讓AI仔細看這張參考圖，畫出一張"場景地圖"。AI會把圖中所有可見的物體都識別出來，記錄每個物體的視覺描述、大概的幾何形狀、材質外觀、以及它與其他物體的空間關係，並把這些資訊組織成一棵樹狀結構（稱為"場景圖"）。比如，對於一張咖啡桌的照片，AI可能會記錄：桌面是木質的、上面有一個白色陶瓷馬克杯、旁邊有一個綠色碟子、桌腿是金屬材質……每個物體都被分解到最基本的幾何元件，比如"球體""立方體""錐體"這樣的基礎形狀。
有了這張地圖之後，AI會嘗試用最簡單的幾何體在Blender里搭出一個粗糙的"腳手架"——就像建樓之前先搭起鐵架子，不好看，但能確保每個重要的東西都有一個位置，而且每個物體都有一個固定的名字，方便後續各階段精確定位和修改。在這個階段，AI還會粗略地設置燈光和攝像機，確保整個場景都能被看到，不會有什麼東西被裁掉或者曝光過度。
由於這個初始化階段決定了後續所有步驟的基礎，一旦出了大問題（比如漏掉了某個重要物體），後面很難補救。所以研究團隊讓AI同時生成四套不同的初始方案，然後由一個"選拔模組"挑選出物體覆蓋最完整、結構最合理的那套，作為後續工作的起點。
初始腳手架搭好之後，第一個精修階段是"幾何精修"。AI會逐個檢查每個物體的形狀，對照參考圖做出三類調整：直接修改網格和曲線來改變形狀；通過縮放、旋轉、對齊來調整物體的幾何變換；以及添加遺漏的部件或重新組織物體內部的層級結構。AI可以調用工具從不同角度渲染當前的場景，也可以把某個物體單獨"隔離"出來仔細端詳，還可以在發現某次修改讓效果變差時撤銷回去。這個階段結束後，場景里每個物體的形狀都應該與參考圖大致吻合了。
幾何形狀確定之後，第二個精修階段專注於"材質和外觀"。粗糙的腳手架階段給每個物體塗的可能只是一個單一的純色，而材質階段要用真正的物理材質（行話叫PBR材質）替換掉這些占位顏色。AI要為每個物體處理UV貼圖（一種展開3D表面以便貼紋理的方式），然後創建程序化紋理或圖像紋理，調整表面的顏色、粗糙程度、金屬感、透明度、凹凸感等屬性。為了防止材質階段的操作意外破壞前一階段好不容易調好的幾何形狀，系統給這個階段的AI設置了嚴格的權限限制，它只能修改材質相關的代碼。
材質完成之後，第三個精修階段處理"場景構圖和布局"。前兩個階段是以物體為中心逐個擊破的，而構圖階段是從整體視角出發，把所有已經精修好的物體擺放到正確的位置上。AI要對照參考圖，調整每個物體的相對大小、位置、旋轉角度、相互接觸關係以及整體的空間秩序。在這個階段，AI可以調整攝像機的角度來更好地與參考圖對比，也可以臨時切換到任意視角來判斷布局是否合理，但它不能修改任何物體的幾何形狀或材質。
最後一個精修階段是"燈光調整"。此時幾何、材質、布局都已經鎖定，AI只需要專注於讓整體渲染效果在色調、陰影、亮度和對比度上與參考圖匹配。AI會分析參考圖中的燈光線索，比如光線來自哪個方向、陰影是硬邊還是軟邊、整體色溫偏暖還是偏冷、有沒有明顯的曝光過度或欠曝……然後相應地調整Blender里的光源類型、位置、方向、能量、顏色、大小，以及渲染設置里的曝光值和色彩管理選項。由於燈光參數對渲染結果非常敏感，AI被要求每次只做小幅修改，並且遇到讓畫面變得太暗或太亮的改動時必須撤銷。
三、每個階段內部的"自我糾錯"機制
每個階段的精修並非一次性完成的，而是通過一個"生成器-驗證器"循環來反覆打磨。可以把它想像成一個工匠和一個質檢員的配合：工匠負責動手做，質檢員負責找問題，工匠根據反饋改進，改完再由質檢員檢查，直到通過才能進入下一道工序。
在每一輪循環里，生成器（AI的"動手"部分）會調用各種工具檢查當前場景狀態，寫出針對該階段的修改代碼，執行這些修改，然後渲染出一張圖。接著，驗證器（AI的"質檢"部分）會把這張渲染圖與參考圖對比，只關注當前階段負責的那一個方面——比如幾何階段的驗證器只看形狀對不對，不管顏色和燈光——然後給出一份具體的"待辦清單"，明確指出哪裡還有差距，應該怎麼改。這份清單會被輸入到下一輪生成器的上下文裡，給它明確的改進目標。一旦生成器的某次輸出滿足了待辦清單上的所有條件，驗證器就會批准通過，整個階段推進到下一步。
為了防止反覆循環導致AI的上下文越來越長、效果越來越差，系統為每個階段設置了輪次上限。幾何精修最多進行五輪，材質和構圖各三輪，燈光兩輪。如果到了輪次上限還沒通過驗證，驗證器會從歷輪結果中挑出最好的一個，強制推進到下一階段。
四、實驗結果：分階段到底有多大差別
為了檢驗這套系統的效果，研究團隊在兩個數據集上做了測試。一個是NeRF合成數據集，包含7個場景（排除了一個因為鏡面反射太強而難度過高的場景），每個場景選了5張圖；另一個是Edit3D數據集，包含13個以物體為中心的場景。所有測試都用同一個AI模型作為底層引擎（Claude Opus 4.7），不做任何額外訓練或微調，以便公平比較不同框架設計的效果差異。
對比對象是前文提到的VIGA系統，研究團隊對它進行了兩種配置的測試。第一種是完整版VIGA，它使用了SAM（一個專門用來分割圖像中物體的AI工具）和SAM-3D（一個能從單張圖生成3D網格的AI工具）來預處理場景，相當於VIGA擁有更多專業工具的輔助。第二種是僅VLM版VIGA，把那些專業工具全部關掉，只保留VLM本身的"寫代碼-渲染-對比-修改"循環，這樣就能和SEIG做一個公平的比較，看清楚框架設計本身的貢獻。
評估採用了六個指標，分別從不同層次衡量重建質量。像素級別的PSNR和SSIM衡量重建圖像與參考圖在像素層面的相似度；LPIPS和DreamSim是學習型感知指標，更接近人眼對圖像相似度的判斷；DINO和CLIP是語義相似度指標，衡量兩張圖在語義內容上的一致性。
在NeRF合成場景的測試中，SEIG在六個指標里的五個上取得了最好的成績，PSNR達到13.58，DINO達到0.7188，CLIP達到0.8830，均明顯優於兩個版本的VIGA。尤其值得關注的是，SEIG連完整版VIGA（有專業工具輔助的那個）都比下去了，這說明提升來自於框架設計本身，而不是工具數量的多寡。在Edit3D場景的測試中，結果同樣如此——SEIG在五個指標上領先，與兩個VIGA版本拉開了可見的差距。
這個發現與另外兩個相關研究得出的結論相呼應：無論是專門評測AI驅動3D編輯能力的BlenderGym基準，還是評測AI逆向渲染場景理解的IR3D-Bench，都發現當前AI系統在3D場景重建中的主要瓶頸是視覺精準度，而不是工具的豐富程度。換句話說，給AI配備更多專業工具，不如讓它更有條理地使用它本身已有的能力。
五、從定性角度看：AI是如何理解一張圖的
數字指標之外，定性比較同樣能說明問題。研究團隊在論文中展示了多個具體案例的重建對比。
在一個籃子裝麵包的場景里，由於參考圖中籃子內容大部分被遮擋，AI無法確切知道裡面裝的是什麼。SEIG根據可見的輪廓和常識，生成了一個裝著圓形麵包的場景——這個解讀和真實的麵包棒相比雖然不完全正確，但在視覺上是連貫合理的，符合可見資訊的約束。相比之下，兩個版本的VIGA在同一張圖上甚至無法生成一個結構完整的籃子，暴露出的不是"猜測偏差"而是"根本沒猜出來"的問題。這個對比清晰地說明，分階段框架帶來的是更強的"組合式推理"能力，而不只是更好的視覺匹配。
在一個擬人角色的場景里，SEIG避開了一個叫"Janus問題"的經典陷阱——這個問題來自北歐神話里的雙面神，指的是AI從單張正面圖生成3D人物時，會把臉部特徵同時渲染到頭的正面和背面，導致一個腦袋長了兩張臉。完整版VIGA因為使用了SAM-3D來生成基礎3D網格，反而更容易遇到這個問題。SEIG從基礎幾何體組合搭建角色，沒有依賴單視角3D重建，所以自然地繞開了這個問題。
從流水線的中間結果來看，分階段重建的逐步改進非常直觀。以一個裝有馬克杯和茶碟的桌面場景為例：初始化階段產出的是幾個白色幾何體的粗糙擺放；幾何精修階段讓馬克杯有了杯口、杯把和底座的基本形態；材質階段給杯子加上了白色瓷釉和咖啡紋理，給桌面加上了木紋；構圖階段調整了所有物體的相對位置和大小，讓整體布局接近參考圖；最後燈光階段讓整體的色調和陰影方向與參考圖匹配。每一步的貢獻都清晰可見。
六、重建完成之後：這個3D場景能拿來做什麼
SEIG最大的一個優勢，是它輸出的不是一個"黑盒"，而是一套結構清晰的Blender工程文件。這意味著重建完成後，這個場景可以直接支持各種下游操作，不需要任何額外訓練。
重新打光是最直接的應用。由於燈光在流水線中是作為獨立階段處理的，燈光參數以單獨的代碼儲存在Blender文件里。這意味著只需要修改或替換光源，就可以把同一個場景渲染成完全不同的光照效果，比如讓一個掛有吊燈的場景在溫暖的暖黃光和冷峻的藍紫光之間切換，或者讓一艘帆船在陽光下和月光下呈現出截然不同的氛圍，整個過程不需要重新運行流水線。
物體編輯同樣得益於流水線的分階段結構。每個物體都是在幾何階段和材質階段中單獨構建的，構圖階段只是把它們組合在一起，因此場景圖裡的任何一個節點都可以被單獨選中、移動、複製、更換紋理或替換為其他物體。論文展示了四個例子：在一架飛機場景里複製機翼、修改機身紋理；在一個城堡場景里修改塔樓形狀、把場景里的樹木替換成新的物體。所有這些操作都是直接在已有的Blender文件上做的小幅修改。
物理模擬是另一個令人印象深刻的應用。由於SEIG生成的場景由一系列獨立的、有名字的網格物體組成，Blender內置的物理引擎可以直接在上面運行。研究團隊展示了兩個例子：對一個桌面場景施加一個"晃動桌子"的外力，馬克杯和茶碟會像真實物體一樣滑動碰撞；把一個球體丟到一張沙發上，沙發墊會像真實的軟墊一樣凹陷變形。這兩個例子都不需要對場景做任何額外處理，比如補洞（將網格中的空洞填補封閉）或重新建模——這是因為SEIG生成的是以物體為單位分解的網格，而不是一個融合在一起的整體隱式表示，因此可以直接為每個物體添加對應的物理屬性。
此外，由於Blender場景可以從任意角度渲染，重建出的3D場景自然支持多角度觀察，這在沒有現實世界中物體對應的參考視角時尤其有價值。
七、這套方法還有哪些不足
研究團隊在論文中坦誠地指出了兩個主要局限性。
第一個局限是早期錯誤的傳播效應。既然是分階段的流水線，前一階段的輸出會成為後一階段的輸入。如果幾何精修階段對某個物體的形狀判斷出了明顯偏差，那麼材質階段、構圖階段和燈光階段都會在這個錯誤的基礎上運作，後期階段很難憑藉局部的調整來彌補早期的根本性錯誤。一個可能的改進方向是在所有階段都完成之後，增加一輪"全局回顧"，讓AI重新審視所有因素並做整體性的微調——但這樣做會顯著增加計算量和時間成本。
第二個局限是計算成本較高。每個階段的"生成器-驗證器"循環都需要多次調用AI模型的接口，整條流水線積累下來的接口調用次數遠多於一次性生成的方法，因此運行一個場景的時間和費用都明顯更高。這在當前階段更像是研究性質的驗證，如果要大規模推廣，成本優化是必須面對的問題。
說到底，SEIG做的事情可以這樣概括：它把一個"太難太糾纏"的大問題，拆成了幾個"雖然還是有挑戰，但各自獨立"的小問題，然後讓AI像一個有條理的設計師一樣，一步步把答案拼出來。結果證明，這種"笨方法"反而比試圖一步到位的"聰明方法"更管用。
這對研究者來說是一個值得深思的信號：面對今天的AI，任務分解的方式，可能比工具的豐富程度更能決定最終效果的上限。而對於普通用戶來說，這項研究預示著一個可能的未來：隨手拍一張自己喜歡的房間布置，AI就能幫你還原成可以編輯、可以改色、可以換燈光的3D設計稿。有興趣深入了解技術細節的讀者，可以通過arXiv編號2606.02580找到這篇論文的完整版本。
Q&A
Q1：SEIG和VIGA有什麼本質區別？
A：VIGA把幾何、材質、布局、燈光的重建全部混在一起同時優化，而SEIG把這四件事拆成四個獨立階段依次完成，每個階段只專注一個任務，前一階段的結果作為下一階段的基礎。實驗結果顯示，即使SEIG不藉助任何專業工具輔助，重建質量也優於有專業工具加持的VIGA。
Q2：SEIG重建出來的3D場景為什麼能直接做物理模擬？
A：因為SEIG生成的是以獨立物體為單位組織的Blender工程文件，每個物體都是單獨的網格，可以直接為它們添加物理屬性。相比之下，很多其他3D重建方法生成的是一個融合在一起的整體表示，要做物理模擬必須先把它切分成獨立物體，操作複雜且容易出問題。
Q3：SEIG從一張圖重建3D場景大概需要多長時間、花多少錢？
A：論文中沒有給出具體數字，但研究團隊指出SEIG的計算成本明顯高於一次性生成的方法，因為每個階段內部都有多輪"生成器-驗證器"循環，每輪都需要調用AI模型接口，整體下來接口調用次數較多。這是該方法當前階段的主要局限之一，大規模實用化還需要成本優化。
