這項由麻省理工學院電腦科學與人工智慧實驗室（MIT CSAIL）和耶路撒冷希伯來大學電腦科學與工程學院聯合開展的研究，發表於2026年第43屆國際機器學習大會（ICML 2026），會議地點為韓國首爾，收錄於PMLR第306卷。有興趣深入了解的讀者可以通過論文編號arXiv:2607.07470查詢完整論文。
**一個讓所有人都困惑的謎題**
手機里的人臉識別、購物網站的商品推薦、醫院裡的CT影像分析——這些技術的背後，都離不開一種叫做"圖像表徵學習"的核心能力。說白了，就是讓電腦學會"看懂"圖片。過去十年，研究者發現了一種叫做"對比學習"的訓練方法，效果出人意料地好，甚至在不需要人工標註數據的情況下，就能讓AI學會辨認貓狗、識別物體。
然而，這裡藏著一個長期困擾研究者的謎題：這種方法所用的"訓練素材"實在太簡單、太基礎了。研究者只是把一張圖片隨機裁剪一下、調暗一點、或者稍微模糊一下，然後告訴AI：這兩張圖是同一張圖的不同版本，你要讓它們在"理解層面"彼此接近。就這樣，AI居然學會了區分不同物體。更離奇的是，哪怕用的不是真實照片，而是用數學公式隨機生成的"噪點圖"或"死葉子圖"（一堆隨機疊在一起的幾何形狀），AI學到的"理解能力"仍然可以用來識別真實世界中的圖片。
這就好像一個從未見過真實街道的孩子，只靠反覆拼湊一些顏色隨機的積木，居然練出了在真實街道上認路的本領——這怎麼可能？這項研究的起點，正是對這個"怎麼可能"的追問。
**一、對比學習是怎麼工作的，以及研究者發現了什麼**
要理解這項研究，首先需要明白"對比學習"的基本邏輯。把它想像成一個"找茬遊戲"的反向版本：不是讓AI找出兩張圖的不同之處，而是讓AI學會識別兩張圖的"本質相似性"。具體做法是：拿出一張原圖，對它做兩種隨機變換，比如隨機裁剪左半部分和右半部分，得到兩張"兄弟圖"；同時，從數據集裡隨機拿出其他圖片。訓練的目標是：讓AI把兩張兄弟圖的"理解結果"（也叫"表徵"）放得很近，同時把它們與其他隨機圖片的"理解結果"推得遠遠的。
研究者們使用的具體損失函數叫做InfoNCE，這個名字聽起來很拗口，但本質上只是在量化"AI有多擅長在一堆圖片裡認出哪兩張是同一張圖的變體"。研究團隊在分析這個損失函數時發現，當AI學到的"表徵"近似服從高斯分布（也就是正態分布，那個經典的鐘形曲線）時，這個複雜的損失函數可以被簡化成一個更好分析的形式，他們稱之為LGUPA——高斯均勻加對齊損失。經過實驗驗證，用這個簡化版損失函數訓練出來的AI，和用原版InfoNCE訓練出來的效果幾乎一模一樣。這個簡化是整個研究的基石，因為它讓數學分析變得可行。
**二、自然圖像有一個幾乎被所有人忽視的規律**
在進入核心發現之前，需要先了解自然圖像的一個基本規律，這個規律是整個理論的關鍵鑰匙。
回想一下，當你用手機拍一張公園的照片，畫面里的草地、樹葉、天空都有各自的紋理，而這些紋理可以用"頻率"來描述——細密的紋理對應"高頻"，大塊的顏色區域對應"低頻"。如果你把大量自然照片做一個數學分析（具體來說是"離散傅里葉變換"，可以把圖片分解成不同頻率的成分），會發現一個驚人的規律：低頻成分的"能量"（功率）總是遠大於高頻成分，而且這種衰減關係非常規律，大致遵循1/f的規律（f代表頻率）。這不是巧合，而是自然界的普遍規律：遠處的山、近處的草、頭頂的雲，大面積的顏色區域總是比細碎的紋理占據更多"能量"。
更重要的是，大量的自然圖像數據集（包括CIFAR10、ImageNet）都滿足"平穩性"這一數學性質。所謂平穩性，簡單理解就是：圖片左邊兩個像素之間的關係，和圖片右邊兩個像素之間的關係，在統計意義上是一樣的——圖像的統計規律不隨位置改變。這個性質帶來了一個數學上的重大後果：當你對圖像做傅里葉變換時，不同頻率的係數之間是統計獨立的，而且每個係數都近似服從高斯分布（就是那個鐘形曲線）。研究團隊用CIFAR10的5萬張圖片驗證了這一點，結果與理論預測高度吻合。有趣的是，哪怕是用數學公式生成的分形噪點圖，也滿足同樣的規律——這正是後來解釋"為什麼用噪點圖訓練也有效"的關鍵線索。
**三、最優的AI應該"做什麼"——一個令人意外的答案**
有了上面兩個基礎，研究團隊開始推導：對於自然圖像數據集，什麼樣的圖像表徵在數學上是對比學習損失函數的最優解？
他們首先考慮一組相對簡單的數據變換：循環裁剪（在周期性邊界條件下隨機平移圖像）、線性亮度對比度調整、以及理想低通濾波（把高於某個頻率的成分全部清除，模擬模糊效果）。這三種變換都在現實的對比學習中被廣泛使用。
推導結果讓人大吃一驚：在理論上，最優的圖像表徵不是任何複雜的深層特徵，而是對圖像做傅里葉變換之後，測量若干個特定頻率的功率（即該頻率成分的強度的平方），然後對這些測量值按照該頻率在數據集中的平均功率進行反比例縮放（高功率頻率縮小、低功率頻率放大），最後歸一化到單位球面上。
用一個更直觀的比喻來理解：把圖像看成一首由無數個音符組成的"視覺樂曲"，傅里葉變換就是把這首曲子分解成各個音符。自然圖像這首曲子裡，低音（低頻）總是比高音（高頻）響得多。最優的表徵方式是：從這些音符里挑出若干個來記錄，但記錄時要對原本響的音符"調低音量"、對原本輕的音符"調高音量"，讓所有被記錄的音符響度均衡——這個操作有個正式名稱叫"部分白化"（partial whitening）。
為什麼這樣做是最優的？因為對比學習需要同時實現兩個目標：第一，同一張圖的兩個變體在表徵空間裡要靠近（對齊損失）；第二，不同圖片的表徵要儘可能均勻分散，不能全部擠在一起（均勻性損失）。對於上述三種變換，傅里葉功率譜天生對這些變換不敏感（因為這三種變換都不會改變圖像的功率譜），所以對齊損失自然為零。而"均勻性"的最優解，恰好就是讓表徵的協方差矩陣是單位矩陣——也就是每個方向的方差相等，這正是"白化"的含義。
**四、一個簡單的神經網路架構就夠了**
這個理論上的最優表徵可以用一個極其簡單的神經網路來實現，研究團隊將其描述為：一層卷積濾波器（負責分解頻率），接一個逐點非線性函數（平方函數或ReLU），再接全局平均池化，最後是一個線性投影層（負責白化）。
這裡的卷積濾波器，理論上應該是正弦波形狀的（數學上叫"正弦濾波器"），而正弦波恰好就是傅里葉變換的基礎構件。換句話說，一個在自然圖像上做對比學習的最優神經網路，其第一層濾波器應該長得像各種不同方向和頻率的斑馬紋或百葉窗——這正是正弦波在圖像里的樣子。
更關鍵的是，選擇哪些頻率、給每個頻率賦予多大的權重，可以用一個叫"注水算法"（waterfilling）的方法來計算。這個算法的名字來源於資訊論里的經典問題：假設你有一桶水要倒進一排高低不平的容器，水總是先填滿最低的容器，再溢出到次低的——注水算法的邏輯與此類似，把有限的"表徵容量"優先分配給能帶來最大收益的頻率分量。具體來說，算法會反覆找出當前"性價比"最高的頻率（即增加一點點功率分配能帶來最大損失減少的頻率），把資源分配給它，直到總預算用盡。由此得出的最優解通常是稀疏的：大多數頻率分配到零功率（被忽略），只有一小部分頻率得到非零分配——這意味著最優的投影矩陣是低秩的，AI學到的表徵維度遠小於圖像的像素數量。
**五、更複雜的數據變換，結論依然成立**
研究團隊隨後把分析擴展到更複雜的場景：不再是乾淨的循環裁剪，而是循環裁剪加上隨機噪聲（更接近真實的隨機裁剪），以及任意形狀的模糊濾波器。
在這種情況下，一個簡單的神經網路已經無法找到使對齊損失精確為零的表徵（因為添加噪聲意味著再精確的降噪也會有誤差），但研究團隊證明，對於這個簡單的神經網路架構，最優的權重仍然是：第一層濾波器為正弦波，投影層執行部分白化。具體來說，不同頻率的"重要性"（廣義特徵值）由以下幾個因素共同決定：噪聲強度（噪聲越大的頻率越難對齊，因此特徵值越大，被選中的優先級越低）、模糊核對該頻率的衰減程度（被模糊嚴重的頻率也難以對齊）、以及該頻率在數據集中的原始功率（功率越高的頻率，其上的噪聲在絕對量上也越大）。
對於含噪聲的隨機裁剪，每個頻率k對應的廣義特徵值可以寫成(16σ?g[k]+8σ?)/g?[k]的形式，其中σ是噪聲標準差，g[k]是該頻率的期望功率。這個公式揭示了一個微妙的平衡：低功率頻率的特徵值大（難以對齊，容易被忽略），高功率頻率的特徵值也相對較大（因為絕對噪聲量大）。因此，被選中的頻率往往是那些功率"適中"的中間頻率——在圖像的頻率空間裡，這些頻率分布在一個"環"的形狀上（對於分形噪聲圖像）或一個"菱形"的形狀上（對於像CIFAR10這樣的真實圖像）。這正是"部分白化"在頻率域的直觀體現：AI學會了測量那些"信噪比最佳"的頻率成分。
**六、實驗結果：理論與現實高度吻合**
理論預測只是紙上談兵，關鍵在於現實中的神經網路是否真的會學到這些東西。研究團隊設計了一系列對照實驗，用隨機梯度下降（SGD，一種標準的神經網路訓練方法）訓練具有256個11×11濾波器的單層卷積網路，在六種合成數據集（不同功率譜的分形噪聲和"死葉子"圖像）以及三種真實數據集（CIFAR10、CIFAR100、ImageNet）上進行測試，並對比了平方非線性和ReLU兩種激活函數。
結果與理論預測高度一致。無論是哪種數據集，無論是哪種激活函數，訓練後的第一層濾波器都收斂為正弦波。更具體地說，網路的頻率靈敏度（對各個頻率的響應程度）與理論預測的注水算法結果在形狀上非常吻合：1/f?數據集對應較小半徑的"環"，白噪聲數據集對應較大半徑的"環"，CIFAR10對應"菱形"分布。網路的靈敏度乘以該頻率的期望功率，結果近似為常數——這正是"部分白化"的數學特徵，即靈敏度與功率的平方根成反比。
在顏色圖像的實驗中，結論同樣成立。由於自然圖像的紅、綠、藍三個顏色通道之間存在相關性，網路會先隱式地學習對顏色通道進行"去相關"，把RGB轉換成大約等效於"亮度、紅綠色差、藍黃色差"三個獨立通道（這與人類視覺系統中顏色對抗細胞的發現不謀而合），然後在每個獨立通道上學習各自的正弦濾波器。
研究團隊還用CelebA人臉數據集測試了非平穩數據集（人臉圖像在統計上是位置相關的——眼睛總在上方，嘴總在下方）。結果顯示，即便在非平穩數據集上，由於全局平均池化的存在，網路仍然學到了正弦濾波器，因為全局平均池化使得網路無法利用位置資訊。
**七、數據集類型對最終識別性能的影響**
研究團隊還做了一個很有啟發性的實驗：用不同類型的圖像數據集訓練對比學習模型，然後測試在CIFAR10上的KNN識別準確率（K近鄰分類——把測試圖片的表徵與訓練圖片的表徵比較，用最相似的幾張圖片的類別來投票）。
結果清楚地顯示了一個規律：用於訓練的合成圖像的功率譜越接近CIFAR10真實圖像的功率譜，學到的表徵在CIFAR10上的識別準確率就越高。具體數字如下：隨機初始化權重（未訓練）得到約33.5%的準確率，白噪聲圖像（功率譜均勻，與CIFAR10差異最大）得到約34.2%，1/f?噪聲得到約35%，1/f?噪聲得到約35.8%，1/f噪聲（與自然圖像功率譜最接近的分形噪聲）得到約37.2%，"死葉子"圖像得到約39.8%，CIFAR100（真實圖像但類別不同）得到約45.1%，CIFAR10本身（同域訓練）得到約45.1%。
這個梯度清楚地表明：對比學習本質上是在學習一種基於數據集功率譜的"頻率測量方案"，而這個方案的有用性取決於訓練數據的頻率分布與測試數據的頻率分布的匹配程度。這也從根本上解釋了為什麼用分形噪聲訓練出來的模型可以在真實圖像上取得不錯的效果——因為分形噪聲和自然圖像都遵循類似的1/f功率譜規律。
**八、部分白化是"幕後功臣"，而增強方式決定了細節**
研究團隊還做了一個頗具說服力的對比：把對比學習訓練出來的模型與一個純粹的"線性部分白化"方法（對圖像做PCA，然後按照特徵值的平方根反比縮放，取前32個主成分）進行比較。
結果發現，對於大多數簡單的數據增強方式（如隨機裁剪、循環平移、對比度翻轉、圖像模糊），經過對比學習訓練的CNN的識別準確率與線性部分白化幾乎持平，有時候後者甚至略高。這意味著，對於這些簡單的增強方式，對比學習的"貢獻"主要在於引導網路去做部分白化，而不是學習任何更高層次的不變性。這與直覺不符——難道讓AI反覆練習"把同一張圖的兩個裁剪版本認成一個"，最終學到的只是"調整頻率響應的強弱"？答案基本上是肯定的。
不過，當使用SOTA（當前最優）增強方式——包括隨機裁剪時同時隨機化裁剪大小和縱橫比、以及非線性顏色抖動——時，情況發生了變化。這種更複雜的增強方式迫使網路學習更加局部化（在空間上有局限性）的濾波器，而不僅僅是全局正弦波，從而捕捉了更多與局部紋理和物體邊緣相關的特徵。使用SOTA增強方式時，對比學習的準確率（約57.5%）顯著高於線性部分白化（約46-47%），表明更複雜的增強方式確實引導網路學到了超越部分白化的、更有判別性的特徵。
**九、關於解的非唯一性和梯度下降的隱含偏好**
研究團隊還注意到一個理論上的微妙之處：最優表徵在數學上並不唯一。對於簡單增強方式，任意一組頻率的功率譜測量加上白化都是最優的；將最優表徵乘以任意一個正交矩陣（一種"旋轉"變換），仍然得到最優表徵。
在實驗中，他們發現梯度下降（訓練過程）會影響網路找到哪個具體的最優解。一個有趣的現象是：隨著訓練輪數（epoch）增加，網路傾向於學習越來越高頻的正弦濾波器。在早期訓練階段（約100輪），網路已經學到了低頻到中頻的正弦波，此時CIFAR10的識別準確率達到峰值（約39%）；隨後繼續訓練，雖然損失函數還在下降，但識別準確率反而開始下滑，因為網路開始過度擬合噪聲和高頻細節。這提示我們：在對比學習中，"什麼時候停止訓練"也是一個值得關注的問題，而不僅僅是"損失是否還在下降"。
研究團隊還從理論上證明了：當投影層的權重被固定為隨機正交矩陣時，最優的第一層濾波器"只能"是正弦波，而不能是其他形狀。這個定理（論文中的Theorem M.1）提供了一個更強的唯一性保證：在特定的權重固定條件下，正弦濾波器是達到最優解的唯一途徑。
**十、局限性與未來方向**
研究團隊對自己工作的局限性非常坦誠。這套理論分析只適用於非常簡單的單層CNN架構，而現代對比學習實踐（如DINOv2等）使用的是深層殘差網路，理論結論能否直接遷移到深層網路尚不清楚。此外，理論分析中用到的LGUPA損失函數與InfoNCE的等價性嚴格來說只在表徵服從高斯分布時成立，而深層網路的表徵分布更為複雜，儘管有其他研究發現對比學習確實傾向於產生近似高斯的分布。
另一個值得繼續探索的方向是：在非平穩數據集（如人臉圖像）上，如果網路架構沒有全局平均池化的限制，會學到什麼？這可能需要將理論從平穩統計擴展到位置相關的統計，這是一個更困難的數學問題。此外，如何將注水算法的結論擴展到隨機縱橫比裁剪等更複雜的增強方式，也是留給未來研究的重要問題。
歸根結底，這項研究最有價值的貢獻在於：它給了我們一把鑰匙，能夠從數學上理解為什麼對比學習有效，而不僅僅是觀察到它有效。當你知道一個簡單的1/f功率譜就能大致解釋AI視覺表徵的核心結構時，"視覺理解"這件事本身似乎也不再那麼神秘——或許自然界的圖像統計規律本身，就已經為如何高效表徵視覺資訊指明了方向。這不是說深度學習沒有價值，而是說：好的理論能夠幫助我們更明智地設計和使用工具，而不是在黑盒子面前茫然地調參數。
---
Q&A
Q1：對比學習為什麼用噪點圖訓練也能提升真實圖片的識別能力？
A：因為分形噪點圖（如1/f噪聲）的功率譜規律與自然圖像非常相似，都遵循低頻能量高、高頻能量低的1/f衰減規律。對比學習本質上是在學習基於功率譜的"頻率測量方案"，只要訓練數據的功率譜接近測試數據，學到的表徵就能遷移。用功率譜差異更大的白噪聲訓練，效果就明顯更差，這一點在實驗數據中得到了清楚的驗證。
Q2：對比學習訓練出來的神經網路第一層濾波器為什麼是正弦波形狀？
A：因為對於滿足平穩性的圖像數據集，傅里葉變換的各頻率係數之間統計獨立，而正弦波恰好就是傅里葉變換的基本構件。理論推導表明，要同時最小化對齊損失和均勻性損失，最優的濾波器必須能夠分別測量各個獨立頻率的功率，而能做到這一點的濾波器正是各種方向和頻率的正弦波。實驗結果與這一理論預測高度一致。
Q3：部分白化在圖像識別中具體起什麼作用，為什麼它這麼重要？
A：部分白化是指把圖像中各個頻率成分的響應強度調整到大致相等的水平——原本能量強的低頻成分被"調低音量"，原本能量弱的中高頻成分被"調高音量"。這樣做的好處是消除了冗餘資訊（低頻成分本來就強，不需要過度強調），同時保留了真正有判別性的中頻資訊，並對噪聲有一定的魯棒性。實驗表明，對比學習在簡單增強下的主要貢獻幾乎等同於部分白化，說明這是AI視覺表徵的一個基礎性有效操作。
