這項由上海交通大學與螞蟻集團聯合完成的研究，以預印本形式於2026年7月1日發布在arXiv平台，論文編號為arXiv:2607.00461，題為《Multimodal Continuous Reasoning via Asymmetric Mutual Variational Learning》。有興趣深入了解技術細節的讀者可通過該編號查閱原文。
一、從"強迫用文字描述顏色"說起
假設你是一位畫家，擅長用色彩和線條來思考和表達。有一天，有人告訴你：從今以後，你必須先把腦子裡所有的視覺想法翻譯成文字描述，再根據文字來作畫。你會發現，無論你怎麼努力，文字永遠無法完整傳達那種對顏色漸變、空間層次的直覺感受——資訊在翻譯過程中不可避免地流失了。
當今的多模態大語言模型（可以理解圖片和文字的AI）面臨的正是這種困境，研究團隊將其稱為"語言空間瓶頸"。這些AI在處理圖片時，被迫把所有中間推理步驟都壓縮成一串文字——哪怕這些推理步驟本質上是空間性的、連續性的、高維度的視覺感知。就像那位畫家被迫用文字思考一樣，資訊的流失讓AI在做複雜視覺判斷時容易產生"幻覺"（說出一些圖片裡根本沒有的東西），或者推理邏輯從視覺內容上飄離。
研究團隊提出的解決方案，叫做"非對稱互學習變分學習"（Asymmetric Mutual Variational Learning，簡稱AMVL
）。核心思路是：讓AI直接在一個連續的、類似內心獨白的隱藏空間裡進行推理，而不是把推理過程翻譯成文字。這個隱藏空間承載的資訊密度遠比文字高得多，就像直接用顏料在腦海中調色，而不是先把顏色寫成"紅色加一點藍色再加兩滴白色"。
二、一個隱藏的致命弱點：考試時的"參考答案作弊"
在探討AMVL的核心機制之前，必須先理解一個讓研究團隊花費大量精力去解決的根本性問題，因為正是這個問題導致此前所有類似嘗試都不夠理想。
設想這樣一個場景：學校訓練學生解題能力，讓他們用兩種角色練習——一種是"考試時的真實狀態"（只能看到題目），另一種是"對答案時的狀態"（可以同時看到題目和標準答案）。訓練的邏輯是：讓"考試狀態"學會模仿"對答案狀態"的思維方式。
問題來了：當學生處於"對答案狀態"時，他完全可以偷懶——直接把答案背下來，而不是真正理解解題過程。這種"答案依賴"在訓練階段完全不會暴露，因為他確實每次都能模擬出"正確的推理軌跡"。但到了真正考試時，沒有答案可看，這種依賴答案的推理方式徹底失效了。
這正是此前所有"連續潛在推理"方法的致命缺陷。在技術語言中，這被稱為"答案泄漏"（answer leakage）：AI在訓練時用來推斷隱藏推理狀態的"後驗分布"（可以理解為"已知答案時的推理模式"），會偷偷依賴答案走捷徑。然後，訓練過程又要求"先驗分布"（"只看題目時的推理模式"）去模仿這個被污染的推理模式。結果，真正推理時使用的"先驗分布"，帶著那些答案相關的偏見，卻面對一個沒有答案的世界，完全找不到北。
研究團隊為這個現象建立了嚴格的數學理論。他們將後驗分布的均值分解為兩部分：一部分是真正基於輸入內容的推理，另一部分是被答案扭曲的偏移量。他們在論文中用嚴密的數學證明了：標準的ELBO訓練方法（一種常用的變分推理訓練方式）會讓先驗分布吸收這些答案相關偏移量的平均值，從而被"污染"。這種污染的程度可以用一個明確的數學量來衡量，研究團隊稱之為"先驗污染量"，其大小正比於答案帶來的平均偏移向量的模長。
三、破解作弊的雙重約束：AMVL如何從兩側收緊韁繩
理解了"考場作弊"的問題之後，AMVL的設計思路就非常直觀了。既然問題出在"對答案的推理模式偷懶依賴答案"，那就從兩個方向同時施加約束：一方面讓"考試狀態"的推理向"對答案狀態"的推理靠攏，另一方面也要限制"對答案狀態"的推理不能跑得太遠，必須保持在"考試狀態"能夠觸達的範圍內。
AMVL使用了兩個相互配合的訓練信號，各自承擔不同的任務，研究團隊形象地稱之為"雙向校準"。
第一個信號叫做"前向KL對齊"，作用於"先驗分布"（考試狀態的推理模式）。它的任務是：看看"對答案狀態"的推理去了哪裡，然後把"考試狀態"的推理拉過去。這就像老師告訴考生："你解題時的思路方向，應該和你對完答案之後理解的方向一致。"在技術實現中，使用了"停止梯度"技巧（stop-gradient），確保這個信號只影響先驗分布的參數，而不會反過來影響後驗分布——單純是先驗在學習，後驗在這裡是固定的老師。
第二個信號叫做"反向KL正則化"，作用方向恰好相反，它約束的是"後驗分布"（對答案狀態的推理模式）。它的任務是：不讓"對答案狀態"的推理飄到"考試狀態"完全夠不到的地方。換句話說，對答案時可以比考試時思路更開闊，但不能開闊到另一個次元。同樣使用了停止梯度，確保這個信號只約束後驗分布，不干涉先驗。
在數學上，這兩個信號都具有"質量覆蓋"特性：優化的目標是讓一個分布去覆蓋另一個分布的支撐範圍，而不是簡單地對準某個最高點。前向KL迫使先驗去覆蓋後驗的整個分布範圍，後向KL迫使後驗去覆蓋先驗的整個分布範圍。兩者共同作用，建立起一種"互相覆蓋"的動態平衡，讓這兩種推理模式不會離彼此太遠。
研究團隊在論文中用嚴格的數學（命題C.4及其證明）證明了：在局部線性響應模型的假設下，AMVL的"答案泄漏係數"與標準ELBO訓練的泄漏係數之間滿足一個精確的比值關係——AMVL的泄漏係數等於ELBO泄漏係數除以（1加上一個正數），這意味著只要反向KL的權重大於零，先驗的污染程度必然小於單純的ELBO訓練。而且這個改善程度隨著反向KL權重增大而單調遞增，當後驗越"自信"（方差越小）時，反向KL的糾偏效果越強——這是一個非常合理的性質，因為後驗越自信意味著它越依賴答案走捷徑，這時候反向KL的約束力恰好也越強。
四、把這套機制裝進一個真實的AI模型里
理論再美好，也需要落地實現。研究團隊將AMVL嵌入了一個基於Qwen2.5-VL-7B-Instruct的實際多模態大語言模型中，整個改造過程相當克制——只增加了幾個輕量級的組件，沒有重新設計整個模型架構。
具體做法是：在輸入文本和目標答案之間，插入k個特殊的"占位符"標記（叫做latent標記）。這些占位符就像一排空白格子，專門為AI的連續推理狀態預留了位置。模型在處理這些格子時，會產生對應的隱藏狀態向量，這些向量就被用來參數化先驗分布和後驗分布——兩者都被建模為"對角高斯分布"，也就是說每個潛在變量都是一個均值加上方差的簡單概率分布，彼此之間相互獨立。
負責把隱藏狀態向量轉化為分布參數的組件，被設計為一個"LLM原生變分頭"：它使用了與底層語言模型完全相同的技術組件（RMSNorm歸一化和SwiGLU激活函數），保持了架構上的一致性，並且只增加了極少的參數量。同一個變分頭被先驗和後驗共用，區別僅在於輸入模型的上下文是否包含目標答案。
採樣潛在變量時使用了標準的"重參數化技巧"：從均值加上噪聲乘以標準差來採樣，這樣整個過程對參數可微，梯度可以順利反傳。採樣出來的潛在變量經過一個"潛在注入器"映射回模型的隱藏維度，替換掉占位符位置原來的嵌入，然後模型基於這些連續推理狀態來生成最終答案。
訓練時，潛在變量從後驗分布採樣（因為知道答案），答案的生成損失基於這些後驗樣本計算；推理時，潛在變量從先驗分布採樣（不知道答案），依賴雙向校準確保這個先驗能產生有效的推理狀態。
對角高斯分布的另一個好處是：前向KL和反向KL都有封閉形式的解析表達式，不需要蒙特卡洛採樣來估計，計算高效且穩定。具體公式是對每個維度分別計算方差比值項、均值差的加權項以及對數行列式項之和，所有項都可以直接代入均值和對數方差向量來計算。
默認配置中，潛在槽數量k設為8，每個潛在變量的維度d設為512，這兩個超參數的選擇經過了專門的消融實驗驗證。
五、訓練的穩定性：讓兩側約束不相互打架
雙向約束聽起來美好，但訓練時如果兩側同時發力，可能導致不穩定。研究團隊設計了一套精心的調度策略來解決這個問題，被稱為"非對稱KL調度"。
前向KL的權重從訓練開始就逐步線性增加，在前2000步內從0爬升到1.0，讓先驗先有機會開始追蹤後驗、建立基本的校準。反向KL的權重則延遲啟動——在前1000步內保持為0，之後再花2000步線性增長到0.5（一個相對較小的值）。這種"先讓先驗校準，再約束後驗"的策略，避免了在先驗還很弱的時候就強行約束後驗導致的"過度正則化"。
整體訓練目標是三項損失的加權和：標準的下一個詞預測損失（保證模型能正確生成答案）、前向KL損失（校準先驗）和反向KL損失（正則化後驗）。視覺編碼器在整個訓練過程中保持凍結，語言主幹和變分模組聯合優化，使用AdamW優化器、bf16混合精度、梯度檢查點和餘弦學習率調度，整個訓練在16塊NVIDIA A100 GPU上運行約20小時。
訓練數據來自四個互補的多模態推理數據集：Visual-CoT（提供逐步分解的多模態推理樣本）、ReFocus（強調精細空間和區域層面的視覺推理）、CogCoM（專注於複雜的多跳演繹推理）和Zebra-CoT（強化關係性和組合性推理），合起來覆蓋了從細粒度視覺定位到複雜多步邏輯推斷的廣泛認知任務譜系。
六、實驗結果：在哪些任務上贏得多明顯
研究團隊在三類基準上系統評測了AMVL，對應三種不同的測試維度。
第一類是細粒度視覺感知，使用了V*、HRBench4K和HRBench8K三個基準。這類任務考察AI從高解析度圖片中定位和識別細節的能力——比如在一張密集的街景圖中找到某個特定物體的位置，或者判斷兩張圖片中的細微差異。在這類任務上，AMVL的平均得分為74.97，相比基礎的Qwen2.5-VL-7B模型提升了5.57分。其中在V*上提升了7.85分，在HRBench8K上提升了4.75分，表現超過了所有其他基於同一底座模型的方法，包括使用像素級推理的DeepEyes和PixelReasoner，以及其他連續潛在推理方法LVR、Mull-Tokens和Monet。
第二類是複雜視覺推理，使用了BLINK基準，這是一個包含多種需要深度視覺認知的任務集合，比如IQ測試圖形、拼圖推理、藝術風格識別、多視角理解等。AMVL在BLINK上的平均提升幅度高達10.83分，遠超其他方法。其中最令人印象深刻的是"拼圖"任務（Jigsaw），這類任務需要理解拓撲結構關係，AMVL的得分從基礎模型的45.33躍升至77.33，提升了整整32分。在IQ測試任務上提升了12.67分，在多視角推理任務上提升了14.29分。相比之下，其他離散推理方法和連續潛在推理方法的提升都遠沒有這麼顯著，比如Mull-Tokens在多視角推理上的提升（60.15）雖然也不錯，但AMVL的55.64在綜合表現上更加全面均衡。
第三類是分布外泛化測試，使用了VisualPuzzles基準，這個基準包含了算法推理、類比推理、演繹推理、歸納推理和空間推理等更抽象的類別，測試的是模型在沒有見過這類數據的情況下能否舉一反三。AMVL的7B模型在整體得分上達到33.90，超過了包括一個720億參數的大型模型LLaVA-OneVision-72B（得分30.80）在內的所有對比方法——用一個小得多的模型，在從未專門訓練過的任務上打敗了體量大十倍的模型，這說明AMVL學到的推理能力具有真正的泛化性，而不僅僅是針對特定數據集的過擬合。
七、消融實驗：驗證每個設計選擇是否真的有用
研究團隊做了大量的消融實驗，一一驗證AMVL中每個設計選擇的必要性，這些實驗的結果對理解AMVL的內部機制非常有幫助。
關於雙向校準的必要性，研究團隊對比了只用前向KL、只用反向KL、以及完整AMVL三種情況。只用前向KL時，雖然比純粹的下一詞預測好很多，但後驗仍然不受約束，可以自由漂移到先驗覆蓋不到的區域。只用反向KL時，後驗的擴散性得到了控制，但先驗沒有被明確引導去學習後驗找到的有用推理狀態。兩者缺一不可。更有趣的是，只有前向KL時，性能（V*上82.72，HRBench4K上72.12）已經超過了純NTP（81.15，70.50），而完整AMVL（84.29，72.12）在V*上進一步提升，說明兩個方向的校準確實帶來了疊加效果。
關於前向KL和反向KL的啟動順序，研究團隊對比了"反向先啟動"和"前向先啟動"兩種調度策略，結果顯示前向先啟動明顯更好（V*上84.29 vs. 80.63）。這印證了設計邏輯：先讓先驗有機會跟上後驗，建立基本的對齊基礎，再開始約束後驗的漂移範圍，避免在先驗還很弱的時候就強行把後驗拉回來導致過度壓縮。
關於潛在槽數量，從4個增加到8個時性能明顯提升，但從8個增加到16個時性能反而下降。研究團隊解釋說，連續向量本身資訊密度極高，8個已經足夠承載複雜推理所需的資訊，繼續增加只會引入冗餘和"資訊稀釋"，讓變分優化更難收斂。類似地，潛在維度從512增加到768時性能也下降了，原因是過度參數化加重了雙向KL優化的負擔。
關於變分頭的架構，輕量級的LLM原生變分頭（使用與底層模型相同的歸一化和激活函數組件）明顯優於簡單的線性頭、標準MLP頭，以及更深的版本。研究團隊認為，變分頭的主要任務是從模型隱藏狀態中讀出分布參數，而不是獨立編碼資訊，與底層架構保持一致有助於與主幹網路更好地配合。
關於停止梯度的設計，去掉任何一個停止梯度都會導致性能下降，尤其是去掉先驗對齊中後驗的停止梯度時下降最明顯。這說明這種"教師-學生"式的單向信號傳遞是關鍵的設計決策，而不僅僅是工程上的小技巧。
八、潛在空間裡到底裝了什麼：可視化分析
為了驗證這些連續推理狀態確實在做有意義的事，而不只是一堆隨機噪聲，研究團隊對潛在空間的性質進行了定性和定量分析。
在視覺定位分析中，研究團隊用遮擋法測試每個潛在標記對圖片哪些區域最敏感——遮住圖片的一塊區域，看潛在表示變化多大，變化越大說明該標記對那個區域越關注。結果顯示，不同的潛在標記關注圖片的不同區域，並且這些區域與問題的內容高度相關。比如當問題詢問圖中摩托車的顏色時，多個潛在標記都在圖中摩托車及其周圍區域顯示出強烈響應；當問題詢問梳子的顏色時，響應模式轉移到了梳子所在區域。不同標記呈現出既有重疊又有差異的關注模式，整體上形成一個從粗到細逐步精化的視覺抽象序列，而不是8個標記都堆在同一個地方。
在定量幾何分析中，研究團隊計算了8個潛在標記的均值兩兩之間的餘弦相似度，發現存在明顯的帶狀結構：相鄰標記更相似，遠離的標記相似度較低，說明這8個標記形成了一條平滑但非退化的推理軌跡，既沒有完全重複也沒有雜亂無章。研究團隊還測試了將圖片和文字分別隨機打亂時對潛在表示的影響，發現圖片打亂帶來的干擾遠大於文字打亂，說明這個連續推理空間確實強烈植根於視覺輸入，不是在走文字捷徑。
通過對訓練目標的消融對比，研究團隊還定量分析了不同訓練方式下先驗和後驗分布的"擴散程度"。結果顯示，純NTP訓練時先驗和後驗的擴散程度都最大（先驗1.92，後驗2.23），兩者之間的配對L2距離高達16.95，餘弦相似度甚至為負數（-0.019），意味著先驗和後驗在推理空間中朝著完全相反的方向走——這是極度混亂的"考場作弊"狀態的幾何體現。加入反向KL後，擴散程度急劇下降，先驗後驗配對距離縮短到3.70，餘弦相似度升至0.96，但缺少前向KL的引導使得性能沒有達到最優。完整AMVL在先驗擴散度（0.68）和後驗擴散度（0.83）之間達到了一個平衡，先驗略比後驗分散（說明先驗保持了一定的表達能力，沒有被過度壓縮），整體對齊質量（配對L2為5.43，餘弦相似度0.89）好於只用前向KL的版本，而且下游任務性能最優。這說明最有效的推理空間不是那個幾何上最緊湊的，而是那個在訓練表達力和推理兼容性之間達到最佳平衡的。
說到底，AMVL做的事情可以用一句話來概括：它讓AI學會在一個私人的、高密度的思考空間裡醞釀推理，而不是被迫把所有想法都說出來才能往下走。這種思考方式更接近人類的直覺——我們在解決一道空間推理題的時候，腦海里浮現的不是文字，而是圖形在旋轉、拼接、比較的直覺畫面。
這項研究揭示的一個更深層的道理是：在機器學習中，"訓練時能做"和"推理時能做"之間的鴻溝往往比我們想像的更深。當訓練時的模型擁有推理時沒有的資訊時（比如知道答案），不加約束的訓練會讓模型以一種依賴這些資訊的方式運作，而這種依賴在推理時會突然消失，留下一個茫然的模型。AMVL通過雙向約束同時從兩側收緊這個鴻溝，提供了一個比單純"前向對齊"更完整的解決思路。
當然，這項研究目前的實驗驗證局限在7B參數規模的模型上。研究團隊也坦承，一個重要的後續方向是在700億參數以上的更大模型上驗證這套方法是否依然有效，以及更大的模型容量是否會自發產生更複雜的潛在推理結構。另外，當前的理論分析聚焦於後驗均值層面的答案泄漏，對後驗方差或更高階統計量造成的泄漏還有待未來工作深入探討。
有興趣深入了解AMVL數學細節的讀者，可以通過arXiv編號2607.00461查找完整論文，裡面包含了所有命題的完整證明和更詳盡的實驗配置。
Q&A
Q1：AMVL解決的"答案泄漏"問題是什麼意思？
A：答案泄漏是指AI在訓練時，推斷中間推理狀態的模組（後驗分布）可以看到標準答案，因此會依賴答案走捷徑而不是真正基於輸入推理。訓練時又要求推理模組（先驗分布）去模仿這個依賴答案的推理，結果先驗被"污染"。真正推理時沒有答案可用，被污染的先驗完全失效，這就是嚴重的訓練-推理不匹配。
Q2：AMVL中的前向KL和反向KL分別在做什麼事？
A：前向KL負責讓先驗分布學習靠近後驗分布找到的推理狀態，就像學生看老師解題後調整自己的思路方向。反向KL方向相反，它約束後驗分布不能飄到先驗完全夠不到的地方，避免後驗過度依賴答案走捷徑。兩者配合，讓訓練推理模式和測試推理模式相互靠攏而不是越走越遠。
Q3：AMVL在BLINK基準的拼圖任務上提升了32分是真的嗎，這是什麼概念？
A：是真實的實驗結果。基礎Qwen2.5-VL-7B在拼圖任務上得分45.33，AMVL提升至77.33，提升了約32分。拼圖任務要求AI理解圖片碎片的拓撲關係，非常依賴空間感知能力而非語言表達，這恰好是連續潛在推理最擅長的場景——不需要把空間關係翻譯成文字，直接在連續空間內推理，資訊不流失。
