這項由南洋理工大學S-Lab實驗室的廖康等研究人員領導的突破性研究發表於2025年1月，論文編號為arXiv:2510.08673v1。有興趣深入了解的讀者可以通過該編號查詢完整論文。這項研究首次將兩個看似獨立的AI能力——理解圖像中的相機角度和根據指令生成特定視角圖像——統一到了一個名為"Puffin"的模型中。
過去，人工智慧在處理圖像時就像兩個各自為政的專家：一個擅長分析照片是從什麼角度拍攝的，另一個則專門根據要求生成特定角度的圖像。這種分離不僅效率低下，還經常導致理解和生成之間的不一致。研究團隊意識到，真正的空間智能需要將這兩種能力融合，就像人類大腦在觀察和創造空間內容時能夠無縫切換一樣。
研究團隊的核心創新在於提出了"用相機思考"的概念。傳統方法試圖直接從數字參數中理解相機角度，但這些數字對AI來說過於抽象。研究團隊巧妙地將相機參數轉換為攝影術語，比如將傾斜角度稱為"荷蘭角"，將俯視角度稱為"俯拍"。這就像給AI配備了一本攝影詞典，讓它能用人類攝影師的語言來思考和表達空間關係。
為了訓練這個統一模型，團隊構建了一個包含400萬張圖像的龐大數據集"Puffin-4M"，每張圖像都標註了詳細的相機參數、描述文本和空間推理過程。這個數據集涵蓋了室內外各種場景和相機配置，為模型提供了豐富的學習素材。
一、突破傳統邊界：將理解與生成完美融合
在人工智慧的世界裡，理解和創造往往被視為兩個獨立的技能。就像學校里的語文課和美術課分開上一樣，AI系統通常要麼擅長分析圖像內容，要麼專精於生成圖像，很少有模型能在兩個領域都表現出色。然而，現實世界的視覺智能需要這兩種能力的無縫協作。
Puffin模型的革命性在於它打破了這種人為的界限。研究團隊發現，相機理解和圖像生成本質上是同一枚硬幣的兩面：一個是解碼現實世界的幾何關係，另一個是將這些關係編碼回視覺內容。這種洞察促使他們設計了一個統一的架構，讓模型既能讀懂照片的空間資訊，又能根據空間要求創造新的視覺內容。
模型的核心架構巧妙地結合了大型語言模型和擴散生成模型。當處理理解任務時，幾何對齊的視覺編碼器提取圖像的空間特徵，語言模型則負責將這些特徵轉換為人類可理解的描述和精確的相機參數。當執行生成任務時，系統流程恰好相反：語言模型接收文本描述和相機參數，通過連接器模塊將語義資訊傳遞給擴散模型，最終生成符合指定視角的圖像。
這種雙向處理能力帶來了意想不到的協同效應。理解任務中學到的空間知識能夠指導生成過程產生更準確的視角控制，而生成訓練中的視覺細節處理又反過來增強了理解任務的幾何感知能力。這就像一個人既會讀地圖又會畫地圖，兩種技能相互促進，最終達到更高的空間認知水平。
二、"用相機思考"：讓AI掌握攝影師的語言
傳統的相機理解方法就像讓一個從未接觸過攝影的人直接理解"俯仰角-15度，滾轉角30度，視場角75度"這樣的技術參數。這些數字對AI來說同樣晦澀難懂，很難建立與視覺特徵之間的直觀聯繫。研究團隊的突破性貢獻在於發明了"用相機思考"的方法，將抽象的數字參數轉換為生動的攝影術語。
這個轉換過程就像給AI配備了一位經驗豐富的攝影導師。當模型看到一張傾斜的照片時，它不再簡單地輸出"滾轉角-20度"，而是首先觀察畫面中的空間線索：地平線的傾斜、建築物的傾倒感、重力方向的偏移。然後，它會用攝影師的語言描述這些觀察："這張照片展現了明顯的逆時針荷蘭角，從傾斜的地平線和建築物的傾倒可以看出相機發生了顯著的左傾旋轉。"
這種方法的精妙之處在於它建立了視覺線索、語言描述和數值參數之間的三重對應關係。模型學會了識別天空占比大小與俯仰角的關係，理解了前景背景比例與視場角的聯繫，掌握了各種視覺元素傾斜度與滾轉角的對應。這種多層次的理解讓模型不僅能輸出準確的數值，還能解釋得出這些數值的原因。
更重要的是，這種思考方式在生成任務中同樣發揮關鍵作用。當接收到"生成一張大俯仰角室內照片"的指令時，模型會首先推理出大俯仰角在室內環境中意味著什麼：天花板、吊燈等頂部元素應該占據畫面主要部分，地面元素應該被壓縮，整體透視效果應該呈現向上的視角。這種語義化的空間推理指導著最終圖像的生成過程。
三、海量數據集的精心構建：400萬樣本的空間智能訓練場
任何強大的AI模型都離不開高質量訓練數據的支撐，而空間智能的訓練數據構建面臨著獨特的挑戰。市面上現有的數據集要麼專注於理解任務，要麼針對生成任務，很少有數據集能夠同時滿足兩種需求。更關鍵的是，現有數據集缺乏詳細的空間推理過程標註，這正是"用相機思考"方法所必需的核心要素。
研究團隊從零開始構建了Puffin-4M數據集，這個命名直接反映了其400萬樣本的龐大規模。數據構建過程就像建造一座巨大的虛擬攝影棚，團隊首先收集了約20萬張高質量的全景圖像，這些圖像來自公開數據集和在線平台，甚至包括從Google街景獲取的12個城市的實地全景數據。許多圖像的解析度達到4K甚至10K，為後續的透視圖像生成提供了豐富的細節。
接下來的步驟就像一位虛擬攝影師在每個全景場景中進行無數次拍攝實驗。對於每張全景圖，系統使用標準相機模型生成多個透視視角的圖像，相機參數在廣泛的範圍內均勻採樣：滾轉角和俯仰角各自在-45度到45度之間變化，垂直視場角則從20度覆蓋到105度。這種參數化的採樣確保了數據集涵蓋了從極端傾斜的藝術角度到常規的水平視角，從微距特寫到超廣角全景的各種拍攝情況。
數據集的核心創新在於每個樣本都包含三種不同層次的標註資訊。首先是基礎的場景描述，由先進的視覺語言模型生成，後續經過語言模型的精煉優化，確保描述既準確又適合圖像生成任務。其次是精確的數值相機參數，這些參數不僅包括傳統的滾轉、俯仰和視場角，還包括像素級的相機映射，為細粒度的空間控制提供支撐。
最為獨特的是空間推理過程的詳細標註。對於每張圖像，系統會生成一段詳細的思考過程，描述如何從視覺線索推斷出相機參數。這些標註就像攝影導師的課堂筆記，詳細解釋了"為什麼天空占據畫面上半部分說明這是俯視角度"，"為什麼建築物的傾斜表明存在荷蘭角效果"等空間推理邏輯。
為了進一步增強模型的實用性，數據集還包含了跨視角的圖像對，支持從一個視角想像另一個視角的內容。這部分數據讓模型具備了空間想像能力，能夠回答"如果我向右轉會看到什麼"這樣的問題。同時，團隊還構建了攝影美學評價的子數據集，讓模型學會從美學角度評價不同相機角度的效果，為攝影指導應用奠定基礎。
四、模型架構的巧思：統一框架下的雙重技能
Puffin模型的架構設計體現了研究團隊對統一框架的深刻理解。整個系統就像一個雙語翻譯專家，既能從視覺語言翻譯到空間參數，也能從空間參數翻譯到視覺內容。這種雙向能力的實現需要精心設計的組件協作。
在理解任務中，幾何對齊的視覺編碼器擔任著關鍵角色。與傳統的視覺編碼器不同，這個組件專門針對空間幾何資訊進行了優化。它不僅能提取語義特徵，更重要的是能保留幾何保真度。這就像給模型配備了一副專業的測量眼鏡，能夠精確感知畫面中的線條、角度、透視關係等幾何資訊。
語言模型部分則負責將視覺特徵轉換為人類可理解的描述和精確的參數預測。通過漸進式解凍和聯合微調的訓練策略，語言模型學會了將低層次的幾何線索與高層次的語言推理聯繫起來。這個過程分階段進行，確保了訓練的穩定性和空間感知能力的逐步建立。
在生成任務中，系統的工作流程恰好相反但同樣精妙。連接器模塊充當著語言模型和擴散模型之間的橋樑，它使用可學習的查詢機制，將語言模型的隱藏表示轉換為擴散模型能夠理解的條件信號。這種設計允許語義理解和幾何控制的有機融合。
特別值得注意的是，模型同時使用離散的相機標記和連續的相機映射作為輸入。離散標記捕捉全局的相機設置，而連續映射則提供像素級的幾何上下文。這種雙重表示就像給畫家提供了畫筆的整體運動軌跡和每個筆觸的細節控制，確保生成的圖像既符合全局的空間設定，又在局部細節上保持幾何一致性。
訓練過程採用了四個階段的策略。第一階段專注於模態對齊，讓視覺編碼器、語言模型和擴散模型學會相互理解。第二階段進行監督微調，在基礎數據上優化整個框架。第三階段引入"用相機思考"的訓練數據，教會模型進行空間推理。最後階段通過指令調優，讓模型具備處理各種跨視角任務的能力。
五、實驗驗證：全面超越專業化模型的表現
任何研究的價值最終都要通過實驗來驗證，Puffin模型的測試結果讓人印象深刻。研究團隊設計了全面的評估體系，不僅與現有的專業化模型進行比較，還構建了新的基準數據集來評估統一模型的獨特能力。
在相機理解任務上，Puffin與多個經典方法進行了對比，包括傳統的幾何方法如SVA和UVP，以及學習方法如DeepCalib、ParamNet和GeoCalib等。測試在三個公認的數據集上進行：MegaDepth、TartanAir和LaMAR，評估指標包括角度誤差的中位數和不同閾值下的準確率曲線面積。
結果顯示，Puffin在大多數測試中都達到了最佳或接近最佳的性能。特別是在團隊構建的挑戰性數據集Puffin-Und上，模型展現出了顯著的優勢。這個數據集專門包含了幾何特徵稀少和相機角度極端的困難樣本，正是傳統方法容易失效的場景。Puffin能夠在這些具有挑戰性的條件下保持穩定的性能，證明了"用相機思考"方法的有效性。
在圖像生成任務上，評估的挑戰在於如何客觀衡量生成圖像的空間準確性。團隊採用了創新的評估方法：使用最先進的相機理解算法來分析生成圖像的相機參數，然後與目標參數進行比較。這種方法雖然引入了評估算法本身的誤差，但提供了目前最可靠的定量評估方式。
與GPT-4o、Qwen-Image、Nano Banana等先進的多模態模型相比，Puffin在空間控制準確性上展現出了壓倒性的優勢。這些通用模型雖然能生成高質量的圖像，但在精確的空間控制方面存在明顯不足。即使研究團隊嘗試通過轉換參數表示方式（從弧度轉為度數，或使用攝影術語）來幫助這些模型理解空間要求，效果改善仍然有限。
特別有趣的是對不同相機參數控制難度的分析。實驗發現，現有的圖像生成模型在滾轉角控制上表現最差，這與相機理解任務中滾轉角最容易估算的情況形成了有趣的對比。研究團隊分析認為，這種現象反映了訓練數據的偏差：大多數攝影作品都傾向於保持水平構圖，導致生成模型缺乏傾斜角度的訓練樣本，而理解模型則能從幾何線索中輕鬆識別傾斜。
六、多元化應用展示：從攝影指導到3D重建
Puffin模型的統一架構不僅在基礎任務上表現出色，更在多種實際應用中展現了獨特的價值。這些應用場景證明了統一空間智能模型相比專業化模型的顯著優勢。
空間想像功能讓模型能夠根據當前視角和目標相機參數，描述新視角下可能看到的場景。這種能力就像給用戶配備了一個虛擬的空間嚮導，能夠回答"如果我向左轉會看到什麼"這樣的問題。實驗中，模型能夠合理推測室內環境中不同方向可能存在的家具布局，或者戶外場景中其他角度可能觀察到的建築和景觀。
世界探索應用更進一步，不僅描述還能實際生成其他視角的圖像。用戶提供一張初始視角的照片，指定目標視角的相機參數，模型就能生成相應的新視角圖像。為了驗證生成結果的空間一致性，團隊使用了3D重建技術，將初始視角和生成視角的圖像進行三維建模。結果顯示，生成的圖像與初始圖像能夠成功配准，形成連貫的3D空間，證明了生成結果的幾何準確性。
攝影指導功能展現了模型在美學評價方面的能力。系統能夠分析當前照片的構圖，然後建議相機參數的調整方向以獲得更好的攝影效果。這種建議基於對四個關鍵攝影要素的評估：視角創新性、主體強調、構圖平衡和空間和諧。模型學會了識別什麼樣的相機角度能夠更好地突出拍攝主體，什麼樣的構圖更符合美學原則。
虛擬3D物體插入應用展示了模型在增強現實領域的潛力。通過準確估計照片的相機參數，模型能夠為虛擬物體的插入提供精確的空間定位資訊。這種能力在遊戲開發、建築可視化、產品展示等領域具有重要價值。
跨視角任務的成功實現證明了統一框架的核心優勢：理解和生成能力的相互促進。在傳統的分離式方法中，理解模塊和生成模塊各自獨立訓練，難以保證輸出的一致性。而Puffin的統一訓練讓兩種能力共享同一套空間表示，確保了理解結果能夠有效指導生成過程，生成的內容也符合理解模塊的預期。
七、深度分析：統一訓練帶來的協同效應
研究團隊通過詳盡的消融實驗揭示了統一訓練相比獨立訓練的顯著優勢。這些實驗就像精密的外科手術，逐一分離了模型的各個組件，分析每個部分對整體性能的貢獻。
首先，"用相機思考"機制的有效性得到了明確驗證。對比實驗顯示，加入空間推理過程的模型在相機理解任務上的表現明顯優於直接回歸方法。這種改善在俯仰角和視場角估計上尤為明顯，因為這兩個參數依賴於更複雜的上下文理解。模型學會了通過觀察天空比例來推斷俯仰角，通過分析畫面包含的內容範圍來估計視場角。
架構選擇的重要性也得到了充分證明。直接微調現有的視覺語言模型（如InternVL或Qwen2.5-VL）的效果遠不如使用幾何對齊視覺編碼器的版本。這個發現強調了針對特定任務優化組件的必要性，通用模型的視覺編碼器雖然在語義理解上表現出色，但在幾何細節保持方面存在不足。
連續相機映射的引入帶來了生成任務上的質量躍升。與僅使用離散相機參數相比，加入像素級幾何資訊讓生成的圖像在空間一致性上有了顯著改善。特別是在處理複雜幾何配置（如大角度傾斜）時，連續映射提供的細粒度控制證明是不可替代的。
最令人意外的發現是理解和生成任務之間的正向相互作用。單獨訓練理解任務的模型性能明顯低於聯合訓練的版本。分析表明，生成過程中的擴散損失為視覺特徵提供了額外的監督信號，這種底層的外觀細節優化間接增強了幾何感知能力。同樣，理解任務中學到的空間先驗知識也為生成過程提供了有價值的指導，特別是在視場角控制這樣需要全局空間理解的任務上。
統一訓練的另一個優勢體現在數據效率上。相比需要分別為理解和生成任務準備專門數據集的傳統方法，統一框架能夠讓同一份數據同時服務於兩種任務，顯著提高了數據利用效率。這種設計在數據獲取成本高昂的專業領域（如醫學影像或科學可視化）具有特別重要的意義。
八、技術挑戰與未來展望：邁向完美空間智能的征程
儘管Puffin模型已經取得了令人矚目的成果，但研究團隊也誠實地指出了當前方法的局限性和未來的改進方向。這種坦誠的態度體現了嚴謹的科學精神，也為後續研究指明了方向。
當前最明顯的限制是單一解析度的訓練數據。所有圖像都被統一調整為512×512像素，這種設計簡化了模型架構但也限制了應用範圍。在處理不同寬高比的圖像時，系統需要進行中心裁剪和縮放，這個過程可能丟失重要的語義資訊，特別是在寬高比偏離正方形較多的情況下。研究團隊建議未來的工作應該構建多尺度的訓練數據集，讓模型能夠原生支持各種解析度和寬高比的圖像。
評估方法的完善是另一個重要的研究方向。目前對生成圖像空間準確性的評估依賴於離線的相機理解算法，這種方法雖然是目前最可行的選擇，但引入了額外的誤差源。特別是對於只有細微空間差異的生成圖像，現有的評估方法可能無法準確捕捉質量差異。研究團隊建議開發更強大的相機理解模型作為評估器，並設計更精確捕捉幾何一致性的基準測試。
模型的跨視角能力還有很大的提升空間。雖然通過指令調優實現了基礎的跨視角功能，但在複雜場景和大角度變換下的性能仍需改善。特別是當視角變化導致場景內容發生顯著改變時（如從正面視角轉向側面視角，大量內容被遮擋或新內容進入視野），模型的空間想像能力面臨挑戰。
計算效率的優化是實際部署中的重要考慮因素。當前的統一模型需要同時維護語言模型和擴散模型兩套參數，在推理時的計算開銷相對較大。研究團隊建議探索更輕量化的架構設計，如模塊化的專家系統或動態激活的稀疏模型，在保持性能的同時降低計算需求。
數據集的進一步豐富也是重要的發展方向。雖然Puffin-4M已經具有相當的規模，但在某些特殊場景（如極端光照條件、複雜幾何結構、動態內容）下的樣本仍然有限。特別是真實世界的畸變效果、鏡頭特性、傳感器噪聲等因素在當前的合成數據中未能充分體現。
展望未來，研究團隊設想了多個激動人心的擴展方向。相機中心的影片理解和生成是一個自然的延伸，讓模型能夠處理時序資訊，理解和生成具有時間連貫性的視角變化。多相機系統的支持將使模型能夠處理立體視覺和多視角重建任務。與機器人系統的集成則可能開啟空間智能在物理世界中的實際應用。
更長遠的願景是建立真正的通用空間智能系統，不僅局限於靜態圖像的理解和生成，而是能夠處理任意形式的空間資訊，包括點雲、網格、體積表示等。這樣的系統將成為增強現實、虛擬現實、自動駕駛、機器人導航等領域的核心技術基礎。
說到底，Puffin模型的真正價值不僅在於其技術成就，更在於它為我們展示了統一人工智慧系統的潛力。通過打破理解與生成之間的人為邊界，研究團隊證明了整體往往大於部分之和的基本原理。這種統一的思路不僅適用於空間智能，也為其他AI領域的發展提供了有價值的啟示。
隨著計算能力的不斷提升和數據資源的日益豐富，我們有理由相信，像Puffin這樣的統一模型將成為未來AI系統的主流設計範式。它們不再是解決單一問題的專用工具，而是具備多元能力的智能助手，能夠在複雜的現實場景中提供全方位的支持。這項研究為我們描繪了一個充滿可能性的未來，在那裡，人工智慧真正成為人類探索和創造空間世界的得力夥伴。
Q&A
Q1：Puffin模型是什麼？
A：Puffin是由南洋理工大學開發的首個統一相機中心多模態AI模型，它能夠同時理解圖像的相機拍攝角度和根據指定角度生成新圖像。與傳統需要兩個獨立系統分別處理理解和生成任務不同，Puffin將這兩種能力融合在一個模型中，實現了更高效和一致的空間智能處理。
Q2：什麼是"用相機思考"方法？
A："用相機思考"是Puffin模型的核心創新，它將抽象的相機數字參數轉換為攝影師常用的術語。比如將傾斜角度稱為"荷蘭角"，將俯視角度稱為"俯拍"。這樣AI就能像攝影師一樣思考空間關係，通過觀察天空比例、建築傾斜等視覺線索來推理相機角度，而不是直接處理難以理解的數字參數。
Q3：Puffin模型有哪些實際應用？
A：Puffin有多種實用功能：空間想像功能能描述從其他角度會看到什麼場景；世界探索功能可以生成其他視角的實際圖像；攝影指導功能能分析照片構圖並建議改進的拍攝角度；還能支持虛擬物體插入和3D重建等應用。這些功能在遊戲開發、建築可視化、攝影教學等領域都有重要價值。
