這項由亞馬遜Prime Video、特拉維夫大學與耶路撒冷希伯來大學聯合開展的研究，以預印本形式發布於2026年6月30日，論文編號為arXiv:2606.32033。有興趣深入了解的讀者可通過該編號在arXiv平台查閱完整論文。
一、從"平面世界"到"球形世界"：為什麼這個問題如此棘手
當你戴上VR眼鏡，被一個360°的虛擬世界完整包裹時，你可能不會想到，為這個球形世界"畫出"內容，對當今最先進的AI來說，其實是一件非常彆扭的事情。
現代AI圖像生成模型，比如大家熟知的那種"輸入文字就能生成圖片"的系統，本質上是在一張普通的矩形畫布上工作的。它們被訓練在平面圖片上，就像一個從來只畫過普通照片的畫家，突然被要求在一個球體表面上作畫一樣。球體表面有個非常特殊的規則：如果你沿著赤道方向一直走，你會回到原點，也就是說，球體的左邊緣和右邊緣其實是同一條線，不能有任何斷裂。另外，在南北極點，所有的經線都匯聚成一個點，這裡的畫面需要特殊處理，否則就會出現奇怪的拉伸或花紋。
普通AI生成的圖片，如果直接拉伸成360°全景圖（學術上叫做"等距圓柱投影"，英文縮寫ERP，你可以理解為把地球儀的表面剝開展平成一張長方形地圖），就會在左右兩端出現明顯的"裂縫"，就像一張世界地圖的左右兩端無法拼合在一起一樣，同時南北極點處的畫面也會一團混亂。
解決這個問題的傳統方案大致分為兩類。一類是"重新培訓"畫家——把AI模型在大量360°全景圖上重新訓練一遍，讓它學會球形世界的規則。這個方法代價極大，不僅需要收集稀缺的高質量全景圖數據，還需要消耗巨大的計算資源，而且一旦換了新的基礎模型，整個訓練過程就得重來。另一類是"邊畫邊修"——不重新訓練模型，而是在生成圖片的過程中，不斷地將畫面分割成小塊、拼接、修補，這就像用無數小碎片拼出一個球形的拼圖，雖然最終能拼出來，但速度極慢，而且拼縫處往往不夠自然。
研究團隊提出的SpheRoPE，走的是第三條路：不重新訓練模型，也不做複雜的拼接修補，而是直接在AI"理解空間位置"的底層機制上動手術，讓它天生就懂球形世界的規則。這是全球首個既無需訓練、又無需優化疊代的360°全景生成框架。
二、AI是如何"感知"位置的：從"路標系統"說起
在深入了解SpheRoPE的創新之前，有必要先理解一件事：AI模型是怎麼知道圖片中每個像素在哪裡的？
現代圖像生成AI採用一種叫做"旋轉位置編碼"（RoPE）的技術來處理這個問題。你可以把它理解成一套城市路標系統。在一座普通的城市裡，每個路口都有一個唯一的編號，比如"東3街與北5路的交叉口"。AI就是靠這套編號來區分"這個像素在左上角"還是"那個像素在右下角"的。具體來說，RoPE會給每個位置賦予一組不同頻率的"旋轉信號"，高頻率信號像是精細的門牌號，負責區分相鄰的細節；低頻率信號像是大區域的區劃標識，負責確定整體的方位感。
然而，這套路標系統是為普通的方格城市設計的。在方格城市裡，最左邊和最右邊是兩個完全不同的地方。但是，在球形世界裡，"最左邊"和"最右邊"其實是同一條街——經度-180°和經度+180°是同一條線。而且在南北極，所有的街道都匯聚成一個點，所有的橫向路標都指向同一個地方。原有的路標系統完全沒有考慮到這些特殊的球形規則，因此用它來生成全景圖，就註定會出問題。
SpheRoPE的核心思想，就是對這套路標系統進行精準改造，讓它既能保留原有的細節感知能力，又能理解球形世界的特殊規則。
三、SpheRoPE的"改造手術"：高頻低頻各司其職
研究團隊發現，直接把整套路標系統改成球形版本是行不通的。原因在於，高頻信號和低頻信號承擔著截然不同的任務。如果把高頻信號也改成球形的，就像把城市裡每一個門牌號都換成彎曲的經緯度坐標，會導致相鄰像素之間的細節信號出現嚴重的"錯位"，生成的圖像會出現模糊、摩爾紋等難看的偽影。
於是，研究團隊做了一個精妙的區分：對高頻信號和低頻信號採用不同的改造策略。
對於高頻信號，改造方式叫做"循環線性編碼"。原理是：高頻信號本來就像一根高速振盪的彈簧，在整張圖的寬度範圍內會完成許多個完整的振盪周期。只要確保這些振盪在左右兩端能夠完美對齊——即最左邊和最右邊恰好處於同一個振盪相位——那麼高頻信號就能自然地"首尾相接"。研究團隊通過一個叫做"諧波量化"的技術來實現這一點：把每個高頻信號的頻率微調到最接近的整數倍，確保它在整張圖的寬度上恰好完成整數個振盪周期。這樣，左右兩端的高頻信號就能無縫對接，局部紋理的拼縫問題迎刃而解。
對於低頻信號，處理則要複雜得多。低頻信號在整張圖的寬度上振盪得很慢，甚至連一個完整的周期都完成不了。如果強行把它們量化成整數倍，就需要大幅改變信號頻率，這會徹底打亂AI對整體空間布局的感知，就像突然把城市的區劃地圖全部替換掉一樣，AI會完全找不到北。
對於這部分信號，研究團隊採用了一個更根本的解決方案：把它們從線性坐標系徹底換成球面坐標系。具體來說，對於圖片中的每一個像素位置，研究團隊先根據它在全景圖中的行列位置，計算出它對應的球面坐標——經度和緯度，然後再把這個坐標轉換成三維空間中的X和Y坐標（三維笛卡爾坐標）來表示位置。這樣的好處是：當經度從-180°變化到+180°時，X和Y坐標會畫出一個完整的圓，自然地回到原點，完美實現左右邊緣的銜接。在極點處，無論經度是多少，X和Y坐標都會收斂到同一個數值，完美實現極點處的匯聚效果。
研究團隊還引入了一個"分割點"的概念：通過計算每個頻率信號是否能夠完整地量化為整數倍，自動找到高頻和低頻的邊界，讓兩種編碼策略各自接管自己擅長的頻率範圍。在論文附帶的可視化圖中，可以清晰地看到，原來的線性編碼在左右邊緣處有明顯的色彩斷裂，而SpheRoPE的編碼則在邊緣處平滑過渡，在極點處顏色均勻匯聚，正是球形世界所需要的效果。
四、讓AI"主動"往全景方向想：語義失真引導技術
僅僅改造路標系統還不夠。研究團隊還觀察到一個有趣的現象：當你用"360°全景圖"這樣的描述詞來提示現有的AI模型時，它其實已經能生成一些有全景感覺的圖片了——畫面會有極點拉伸的效果，地平線也會有一些彎曲感。這說明AI在訓練過程中確實接觸過一些全景相關的內容，在它的"潛意識"里已經有了一些全景圖的概念，只是這種感知不夠強烈、不夠精確。
研究團隊把這個發現用於另一個機制：語義失真引導（Semantic Distortion CFG）。
現有AI圖像生成技術普遍使用一種叫做"無分類器引導"（CFG）的技巧來增強文字提示的影響力。這個技巧的原理，就是讓AI在生成每一步時，同時計算"按照提示詞生成"和"不按任何提示詞生成"兩個方向的差異，然後沿著差異方向加速前進，使最終結果更貼近提示詞所描述的內容。
SpheRoPE把這個雙向機制擴展成了三向機制。在原有的"按提示詞"和"不按提示詞"兩個方向之外，加入了第三個方向：按照一個專門描述等距圓柱投影幾何特徵的"幾何提示詞"生成。這個幾何提示詞的內容大致是在描述全景圖應有的視覺特徵，比如"無縫360°全景，準確的球形幾何，連續的水平環繞"等。
在每一步生成過程中，AI會同時計算三個預測結果：按照用戶提示詞的預測、按照空白提示詞的預測、以及按照幾何提示詞的預測。最終的生成方向，是這三個預測的加權組合：主要沿著用戶提示詞的方向前進，同時額外增加一個"向幾何提示詞方向偏轉"的分量。兩個參數獨立控制，用戶可以根據需要調整語義強度和幾何強度之間的平衡。當幾何強度為零時，整個機制自動退化為標準的雙向引導，不影響原有功能。
這個機制的精妙之處在於，它利用了AI模型已有的全景感知能力，通過巧妙的引導方式將其激活並放大，而無需修改模型的任何參數。
五、VAE解碼器的邊緣修復：一個被忽視的細節
除了上述兩個核心機制之外，研究團隊還注意到一個容易被忽視的問題。現代圖像生成AI通常會先在一個壓縮的"潛在空間"里生成圖像，然後通過一個叫做VAE（變分自編碼器）的解碼器，把壓縮圖像還原成最終的高清圖片。VAE解碼器內部使用卷積操作，而卷積操作默認在圖像邊緣填充零值，這會導致即使SpheRoPE已經在潛在空間裡完美處理了左右邊緣的銜接，解碼器在還原圖像時依然會在邊緣引入新的斷裂。
對此，研究團隊借鑑了360Anything方法的思路，採用了"循環填充"技術：在VAE解碼之前，將圖像的左端內容複製到右側邊緣之外，右端內容複製到左側邊緣之外，讓解碼器在處理邊緣時能夠"看到"另一端的內容，從而實現真正連續的周期性邊界。解碼完成後，再把額外填充的部分裁掉。這個操作幾乎不增加任何計算開銷，卻能徹底消除VAE解碼引入的邊緣斷裂。
六、實驗結果：零訓練能打敗精心調教的專業模型嗎
研究團隊在多個標準測試集上對SpheRoPE進行了評估，結果相當出色。
在靜態全景圖生成方面，研究團隊使用了ODI-SR數據集，這個數據集包含1200張各種室內外場景的真實全景圖，所有參與評測的方法都沒有在這個數據集上訓練過。評測指標涵蓋了兩類：一類是通用圖像質量指標，通過從全景圖中截取視角圖片來計算，包括FID（衡量生成圖片與真實圖片分布的距離）、KID、IS（衡量圖片質量和多樣性）和CLIP相似度；另一類是全景專用指標，包括FAED（專為全景圖設計的質量評估指標）和DS（不連續性得分，直接衡量左右邊緣的縫合質量）。
在全景專用的FAED指標上，使用Flux.2骨幹網路的SpheRoPE取得了所有方法中的最佳成績，得分為25.40，明顯優於需要完整重新訓練的PAR方法（34.79）和使用LoRA微調的DiT360方法（43.42）。這意味著，在全景圖的整體結構完整性方面，零訓練的SpheRoPE比那些花費大量資源專門訓練的方法表現得更好。在不連續性得分上，SpheRoPE也保持在有競爭力的水平，說明邊緣拼接效果良好。在通用圖像質量指標上，SpheRoPE的FID和KID成績與訓練方法相當，其中KID和IS成績與專門訓練的PAR方法持平。
在360°影片生成方面，研究團隊將SpheRoPE應用於LTX 2.3影片模型，並在兩個提示詞集合上進行了測試：一個是來自SphereDiff方法的20個場景描述，另一個是研究團隊專門設計的20個高挑戰性場景（包含快速運動、多主體交互、複雜光照變化等）。在SphereDiff-20測試集上，SpheRoPE在所有六個VBench評估維度上均排名第一，包括圖像質量、文字對齊度、時序穩定性、運動流暢度以及主體一致性和背景一致性。在高挑戰性的Stress-20測試集上，SpheRoPE在五個維度上排名第一，唯一落後的是CLIP文字對齊分數，被DynamicScaler方法以多次拼接的方式超過，但DynamicScaler的生成速度比SpheRoPE慢了整整46倍（每幀51秒對比1.1秒），而且在時序穩定性上表現最差。
研究團隊還進行了基於大型語言模型的全面評估，使用GPT-4o從14個不同視角對每張全景圖的失真程度、邊緣連續性、圖像質量和美觀度四個維度進行1到5分的評分。SpheRoPE在邊緣連續性和圖像質量上大幅超越SphereDiff，生成速度比SphereDiff快超過20倍（62秒對比1274秒每張圖）。
最能說明問題的是用戶偏好研究。研究團隊招募了18名評估者，讓他們在交互式360°全景圖查看器中，對SpheRoPE與六個競爭方法的生成結果進行盲測對比，共收集320對評判結果。結果顯示，評估者在綜合質量上以56.5%到95.2%的比例偏向SpheRoPE，在文字對齊度上以50%到95.2%的比例偏向SpheRoPE，並且在與所有六個方法的對比中均保持明顯優勢。
七、消融實驗：每個設計選擇都有其必要性
研究團隊通過系統的消融實驗，驗證了每個設計選擇的必要性。
當只使用高頻循環編碼、不使用低頻球面編碼時，生成圖片的左右邊緣確實能夠拼接，但由於低頻RoPE信號偏離了模型訓練時的分布，全局結構出現嚴重異常，畫面中出現了奇怪的失真和偽影。當只使用低頻球面編碼、不使用高頻循環編碼時，全局球面拓撲和極點匯聚效果良好，但局部紋理細節模糊，有嚴重的模糊感或摩爾紋，因為球面坐標變換破壞了相鄰像素之間的線性距離關係。只有兩種編碼策略協同工作，才能同時保證全局拓撲正確和局部紋理清晰。
同樣，單獨使用SpheRoPE時，邊緣連續性大幅改善，但全局圖像的真實感和分布符合度（FAED）有所下降，因為模型在被強制的球形位置編碼約束下，對整體場景布局的把握變差了。單獨使用語義失真引導時，全局圖像質量改善，但邊緣拼接問題依然存在。兩者結合才能達到最佳效果。
研究團隊還驗證了頻率分割閾值、球面編碼的半徑縮放、幾何提示詞的具體內容、語義失真引導的強度參數，以及引導在去噪過程中的時序分配（是前期集中引導還是後期集中引導）等多個超參數的影響。結論是：引導主要在去噪的前期階段發揮作用，後期集中引導幾乎沒有效果；方法對超參數的選擇在合理範圍內（大約三到十之間）相當穩健，不同參數下的結果差異很小。
八、插件式靈活性：一個方法打通所有場景
SpheRoPE的另一個重要優勢是其架構無關性。由於研究團隊只修改了位置編碼邏輯和引導機制，而沒有觸碰模型的任何參數，因此這套方法可以直接插入任何使用RoPE位置編碼的生成模型。研究團隊在Flux.1、Flux.2兩個圖像生成骨幹網路以及LTX 2.3影片生成骨幹網路上均進行了驗證，三者都能產生高質量的360°全景輸出。
更令人欣喜的是，由於模型參數完全未改變，模型原有的所有條件控制能力都得以保留。研究團隊展示了圖像條件生成的效果：輸入一張普通照片（比如戴著彩色眼鏡的柯基犬，或者手持玩具的宇航員），SpheRoPE可以直接生成以該圖像為參考的360°全景圖，並且精細的身份特徵和風格都得到了準確保留。對於LTX 2.3，研究團隊還實現了全球首個零訓練360°影片與音頻同步生成——生成的全景影片帶有自然同步的音效，為沉浸式媒體創作開闢了全新可能。
這種靈活性也意味著，隨著基礎模型的不斷更新疊代，SpheRoPE可以立即應用於新模型，無需重新適配，完全規避了傳統訓練方法"模型一更新就要重訓"的痛點。
九、方法的邊界：誠實面對局限性
研究團隊在論文中也坦誠地指出了SpheRoPE的局限性，這些局限性同樣值得關注。
方法有兩個前提條件：其一是基礎模型必須使用RoPE位置編碼，若基礎模型採用其他位置編碼方式（如固定正弦編碼或可學習的絕對位置編碼），則需要完全不同的改造思路；其二是基礎模型必須在訓練過程中接觸過全景圖或類似全景圖的內容，SpheRoPE能做的是放大和引導這些潛在的全景感知能力，而不是憑空創造。
在失敗案例方面，當提示詞帶有強烈的"透視感"先驗——比如"工作室燈光"、"淺景深"這類典型的普通相機拍攝效果——模型可能會生成普通的透視圖而非真正的全景圖。另外，當場景內容較為簡單時，模型可能會通過重複結構性元素來填充整個360°視野。
在影片生成方面，目前為了防止模型在幀間破壞球形拓撲約束，不得不通過提示詞強制限制場景必須"靜止"、相機必須固定，只允許極細微的大氣動態。生成包含複雜主體運動或鏡頭運動的360°影片，目前仍是未解決的挑戰。
在計算開銷方面，語義失真引導需要在每個去噪步驟中計算三個預測而非標準CFG的兩個，意味著網路前向計算次數增加了1.5倍，推理時間相應增加。
歸根結底，SpheRoPE做到了一件在此之前沒有人做過的事：完全不修改AI模型的參數，只通過改變AI"感知空間位置的方式"和"被引導的方向"，就讓一個普通的平面圖像生成AI無縫轉變為能夠生成360°全景圖的系統，而且效果可以與那些專門花費大量資源訓練過的系統相媲美，甚至在某些關鍵維度上超越它們。
這就好像一位教練不去改變運動員的身體條件，只是給他換了一副能看到周圍180°範圍的寬視野眼鏡，並告訴他"你在打球的時候要記得考慮身後也有對手"——運動員立刻就能利用自己已有的技能，以全新的方式應對全方位的比賽。
對於普通用戶來說，這意味著在未來，當你希望為VR內容、虛擬場景或沉浸式體驗生成360°背景時，你可能不需要等待專門訓練的全景生成模型更新，只需要使用最新的圖像影片生成模型，配合這套推理時的小改動，就能直接產出高質量的全景內容。而對於研究者來說，SpheRoPE打開了一個新的思路：位置編碼本身就是幾何知識的載體，精心設計的位置編碼改造，或許能夠以極低的代價將各種空間幾何約束注入到現有的生成模型中。
Q&A
Q1：SpheRoPE方法需要重新訓練AI模型嗎？
A：不需要。SpheRoPE是完全零訓練、零優化的方法，它只修改AI模型在推理時感知空間位置的方式，以及引導生成方向的邏輯，不改變模型的任何參數，因此可以直接插入到任何使用旋轉位置編碼（RoPE）的現有生成模型中使用。
Q2：360°全景圖中左右邊緣不銜接的問題，SpheRoPE是怎麼解決的？
A：SpheRoPE採用了兩套協同策略：對高頻位置信號進行諧波量化，確保信號在圖像寬度範圍內完成整數個振盪周期，從而在左右邊緣自然對齊；對低頻位置信號則徹底替換為球面三維坐標，由於經度在-180°到+180°之間構成閉合圓形，坐標自然首尾相接。另外，VAE解碼器也採用循環填充來消除解碼階段引入的邊緣斷裂。
Q3：SpheRoPE生成360°全景影片時為什麼只能是靜態場景？
A：因為SpheRoPE是通過修改位置編碼來強制模型遵守球形拓撲規則的，一旦場景中存在複雜的物體運動或鏡頭移動，模型在幀與幀之間維持球形約束的難度會大幅上升，容易破壞全景圖的幾何一致性。目前研究團隊通過提示詞限制場景靜止、相機固定來規避這一問題，生成包含複雜運動的360°影片仍是未來研究的挑戰。
