這項研究來自瑞士聯邦理工學院數據科學中心、德國Everest Systems GmbH、義大利Villanova.ai公司及獨立研究員的聯合團隊，成果以工作筆記形式提交至2026年CLEF國際評測大會的EXIST實驗室賽道，發表於2026年9月21至24日在德國耶拿舉辦的CLEF 2026 Working Notes論文集，感興趣的讀者可以通過代碼倉庫 github.com/NLP-AI-Wizards/EXIST-2026 進一步了解詳情。
每天網際網路上流傳著成千上萬張表情包（meme）。有些讓人捧腹，有些讓人皺眉，還有一些悄悄傳遞著對女性的輕視與歧視。問題在於，這些歧視往往藏在幽默的外殼下——一張配了搞笑文字的女性圖片，一個暗示"女人就該待在廚房"的段子，表面看起來只是玩笑，實則在一點一點地侵蝕著社會對性別平等的認知。已有研究證明，長期暴露在這類內容中會讓女性產生焦慮、自我審查，進而退出公共話語空間。正因如此，能夠自動識別出這類內容的AI系統，就成了維護網路環境的重要工具。
然而，教AI"看懂"表情包並不容易。表情包的意思並不像一篇新聞那樣直白，它的含義往往從圖片和文字的碰撞中產生——有時候單看圖是無害的，單看文字也沒問題，但兩者合在一起就成了歧視性內容。此外，性別歧視本身就是一個充滿爭議的話題，不同的人對同一張表情包可能有截然不同的判斷。這支來自瑞士、德國、義大利的研究團隊，正是針對這兩大核心難題設計了他們的解決方案。他們在EXIST 2026評測賽中，在最難的子任務上拿到了第一名，在另外兩個子任務上也都排進了前四，這篇文章將帶你完整了解他們是怎麼做到的。
一、表情包為什麼讓AI頭疼
要理解這項研究解決了什麼問題，先要明白表情包在AI眼裡有多複雜。普通的文字分類任務，就像讓AI判斷一封郵件是不是垃圾郵件，輸入的內容是明確的文字，意思也相對直白。但表情包不同，它是圖片和文字的混合體，而且這兩者之間的化學反應才是意義的來源。
研究團隊在論文中舉了一類典型情況：當毒性或歧視性僅僅來自於圖文交互時，那些只看圖或只看字的AI系統就會徹底失敗。這並非理論推測，而是已經被學界多次證實的現象。早在2022年的SemEval評測（一個國際自然語言處理競賽）和Meta公司發起的"有害表情包挑戰"中，研究者就發現單模態系統在這類任務上表現糟糕。
更難的地方在於，性別歧視的判斷本身就充滿主觀色彩。同一張表情包，拿給十個人看，可能有七個人覺得有問題，三個人覺得沒什麼。傳統的機器學習方式會直接把這七票少數歸為"正確答案"，把那三票少數直接丟掉。但這種做法有一個根本性的缺陷：它假裝這個世界是非黑即白的，而抹掉了真實存在的模糊地帶與少數聲音。
這支團隊的核心思路，是讓AI不去做一個武斷的法官，而是像一個誠實的統計員，如實呈現"有多少人認為這是歧視、有多少人認為不是"。這種做法有個學術名字，叫做"從分歧中學習"（Learning with Disagreement，簡稱LeWiDi）。
二、這場比賽到底在考什麼
EXIST 2026是一個專門評測性別歧視內容識別系統的國際競賽，由多所歐洲大學和研究機構組織。這次比賽提供了3984張訓練用表情包和1053張測試用表情包，內容涵蓋英語和西班牙語，西班牙語約有2519張，英語約有2518張，總計5037張。
比賽設置了三個層層遞進的子任務，難度依次升高。第一個任務是最基礎的二分類：這張表情包是不是有性別歧視？回答是或否。第二個任務只針對已經被判定為有歧視的表情包，進一步判斷它的"意圖"——是"主動傳播歧視"（DIRECT），還是"批判和譴責歧視行為"（JUDGEMENTAL）？這個區分非常微妙，因為一張諷刺歧視的表情包和一張真正宣揚歧視的表情包，畫面內容可能幾乎一樣，區別只在於創作者的立場。第三個任務也只針對有歧視的表情包，要求給它打上更細緻的分類標籤，總共有五種類型，分別是：否認性別不平等的意識形態內容、強化刻板印象與男性主導地位的內容、將女性物化的內容、包含性暴力的內容，以及表達仇恨或非性暴力的內容。而且同一張表情包可以同時屬於多個類別。
這三個任務之間存在天然的層級依賴關係——如果一張表情包在第一關就被判定為"無歧視"，那第二關和第三關對它來說就沒有意義。這種層級結構，後來成為研究團隊系統設計的核心出發點。
比賽還提供了一個非常特別的評測軌道，叫做"Soft-Soft"，專門評估系統預測的概率分布與真實標註者分布之間的差距。打個比方，如果真實情況是十個標註者中有七個覺得有歧視、三個覺得沒有，那麼預測結果"70%有歧視、30%沒有"就比"100%有歧視"更接近真相，即便兩者在最終決策上可能給出同樣的答案。
此外，比賽還提供了標註者的生理數據作為輔助資訊，包括腦電圖（EEG）、眼動數據和心率數據，這些都是標註者在觀看表情包時採集到的生理反應。研究團隊專門對這些數據的價值進行了嚴格的統計檢驗。
三、生理數據能幫上忙嗎
這是整個研究中一個很有意思的探索支線。EXIST 2026是第一屆提供生理數據的評測，組織者認為標註者在看到歧視性內容時，腦電、眼動和心率等生理反應可能蘊含著額外的信號，幫助AI更好地理解哪些內容讓人產生了不適感。
研究團隊對此進行了認真的實證檢驗。他們優先分析了腦電數據，理由是腦電擁有最高的特徵維度（16個通道、5個頻段，共80個特徵），而且神經科學領域已經積累了大量證據，表明腦電信號能反映人對內容的內隱認知評價。相比之下，眼動數據本質上是一個二維的注視軌跡，心率只是一個單一的數值，這兩者更多反映的是視覺注意和生理喚醒狀態，而不是對歧視內容的具體認知判斷。基於這一考量，團隊對眼動和心率沒有進行同樣深度的統計分析，留待未來研究探索。
對於腦電數據，團隊先用主成分分析（PCA）將80個特徵壓縮成21個最有代表性的成分，保留了約95%的資訊量，然後用多變量方差分析（MANOVA）檢驗這些腦電成分能否區分不同標籤分組的樣本。
結果相當明確：對於任務一和任務三，腦電數據根本沒有顯示出任何統計意義上的區分能力，隨機置換檢驗的p值分別高達0.60和0.49，說明這些腦電特徵和任務標籤之間沒有線性關聯。任務二的結果略有不同，達到了統計顯著（置換檢驗p值為0.0010），但效應量極其微弱——Wilks' λ接近1（0.9946），偏η?小於0.01。更關鍵的是，經過Bonferroni多重比較校正（校正閾值為6.25×10??）之後，80個腦電通道中沒有一個能夠單獨存活下來。
換句話說，腦電數據雖然在統計意義上對任務二"微弱顯著"，但實際上幾乎提供不了什麼有用的判別資訊。研究團隊因此做出了一個務實的決定：放棄生理數據，專注於語義表示。這並不是說生理數據一定沒用，只是當前提供的線性特徵表示下，它的價值不足以支撐模型改進。非線性融合的潛力，團隊坦誠地留給了未來的研究者。
四、核心武器：凍結的"萬能翻譯機"
既然生理數據靠不住，研究團隊把全部賭注押在了語義表示上。他們的核心工具是谷歌的Gemini Embedding 2模型，一個在2026年發布的原生多模態嵌入模型。
可以把這個模型理解成一台"萬能翻譯機"——不管輸入的是圖片還是文字，甚至是圖文混合的表情包，它都能將其翻譯成一個由768個數字組成的向量。這個向量就像一張精密的"內容指紋"，語義相近的內容對應的向量也彼此相近。關鍵在於，這台"翻譯機"是提前訓練好的、被凍結的——研究團隊不會去改動它，只是借用它產生的"指紋"，然後在"指紋"的基礎上訓練自己的判斷系統。
為什麼要凍結而不微調？這是一個非常實際的考量。可用的訓練數據只有3984張表情包，相對於一個大型多模態模型的參數量來說，這個數據量實在太小了。在這麼少的數據上強行微調一個龐大的模型，極容易產生"過擬合"——用個比喻，就像只用五道題的答案去記憶一本教材，然後發現考試時只會背答案而不會舉一反三。凍結模型、只在頂層訓練輕量模組，是一種在小數據場景下保持泛化能力的成熟策略。
五、輕量化的"門控大腦"
有了768維的"內容指紋"之後，研究團隊並沒有直接把它送進分類器，而是先用一個輕量級的神經網路模組對它進行處理，這個模組叫做"門控多層感知機"（Gated MLP），核心組件是SwiGLU模組。
SwiGLU聽起來很技術，但背後的直覺其實相當清晰。普通的神經網路會把輸入的所有資訊都平等地向前傳遞，但SwiGLU有一個"門"——它會根據內容決定哪些資訊值得被放大傳遞、哪些資訊應該被壓制。在這個任務里，直覺上這個"門"應該會學會放大那些反映圖文交叉歧視信號的特徵，同時壓制那些與性別歧視無關的內容特徵（比如表情包的美術風格）。
整個可訓練部分只有350萬個參數。作為參考，GPT這類大模型動輒有數十億甚至數千億參數，350萬參數的模型訓練起來非常快，對計算資源的要求也極低。這種"小而精"的設計哲學，貫穿了整個系統。
六、層層遞進的"條件判斷鏈"
研究團隊系統最精妙的設計，在於它如何處理三個任務之間的層級關係。
整個系統可以用一個生活化的比喻來理解：這像是一個三級法庭。第一級法院負責判決"這件事是不是犯罪"，如果一審判決無罪，案件就此終結，二審和三審根本不會啟動；如果一審判有罪，才會進入二審法院判斷"犯罪動機是主動還是被迫"，以及三審法院判斷"具體犯了哪幾條罪"。
在技術實現上，這種層級關係通過兩種機制來保證。第一種叫做"條件損失遮蔽"：在訓練時，對於那些被標註為"無歧視"的表情包，第二和第三個分類頭的損失函數會被掩蓋掉，不產生梯度更新。這樣可以防止無歧視樣本對"犯罪動機"和"具體類型"這兩個分類器產生錯誤的訓練信號。第二種是"聯合概率解碼"：在推理時，第二和第三個子任務的最終概率會乘以第一個任務的"是否有歧視"概率。這意味著，如果一張表情包只有30%的可能性是有歧視的，那麼"屬於物化女性類別"的概率也會按比例縮減，而不是假裝歧視是確定存在的。
研究團隊還額外測試了一種更激進的架構變體，叫做"分離軟門控"（Detached Soft-Gating）。在這個變體裡，第一個任務預測出來的"歧視概率"，會直接與神經網路中間層的表示相乘，作為一個實時的"門"來抑制非歧視內容在後續頭部的激活。為了防止這個門的操作反過來干擾第一個任務的訓練，研究團隊使用了"停止梯度"操作，讓乘法門不參與反向傳播。這個變體作為第三個提交運行（Run 3）參與了評測。
七、讓AI學會表達"不確定性"
這個系統還有一個極具特色的訓練機制，叫做"同方差不確定性加權"（homoscedastic uncertainty weighting）。
三個子任務的難度差異很大，收斂速度也不同——任務一相對簡單，任務三難度最高。如果對三個任務的損失函數用固定的權重求和，就好比用同樣的力氣去擰大螺絲和小螺絲，效果必然不理想。研究團隊的解決方案是給每個任務的損失函數配一個可以自動學習的"方差參數"σ?。
這個機制的工作原理很優雅：當某個任務的損失居高不下時，對應的σ?會自動增大，從而減少這個難任務在總損失中的占比，讓模型不會因為一個特別難的任務而放棄其他任務；與此同時，公式中有一個log σ?的懲罰項，防止σ?無限增大、徹底放棄某個任務。整個過程完全自動，不需要人工去嘗試各種權重組合。
與此同時，每個任務的分類頭都使用KL散度（Kullback-Leibler divergence）作為損失函數，而不是常見的交叉熵。KL散度專門用來衡量兩個概率分布之間的差距——在這裡，就是衡量模型預測的標註者分布與真實標註者分布之間的差距。每次預測偏離真實分布，KL散度就會產生懲罰，推動模型去學習真實的分歧模式，而不是簡單地押注於多數意見。對於任務三的五個類別，研究團隊對每個類別單獨計算二元KL散度，然後取平均。
八、訓練細節與三次提交
研究團隊將訓練數據按照8:1:1的比例劃分為訓練集、驗證集和測試集，劃分時按照任務一的多數標籤做分層採樣，確保三個子集中歧視/非歧視樣本的比例一致。
優化器選用了AdamW，學習率設為0.0001，權重衰減為0.01，批大小為8。學習率調度採用OneCycleLR策略：先用30%的訓練步驟做預熱，讓學習率從低到高逐漸爬升，然後用餘弦退火讓學習率平滑下降至終點。訓練過程使用了bf16混合精度，並在驗證集損失不再下降時提前停止。
最終提交了三次運行：Run 1和Run 2是使用不同隨機種子訓練的基礎門控MLP模型，Run 3是加入了分離軟門控的變體。在推理階段，Soft-Soft軌道直接輸出概率分布；Hard-Hard軌道則以0.5為閾值做決策，不進行任何任務特定的閾值調優。對於任務三，如果所有類別概率都低於0.5（即預測為"有歧視但無具體類別"），則自動選擇概率最高的那個類別，以滿足"有歧視的表情包至少屬於一個類別"的本體論約束。
九、比賽結果：贏在最難的地方
從本地測試集的評估結果來看，三次運行之間存在明顯的隨機種子方差，這在數據量小、標註分歧高的任務中是相當正常的現象。Run 2在任務三的軟標籤評估（ICM-S Nr = 0.3356）上表現最好，Run 1在任務二的軟標籤評估（ICM-S Nr = 0.4367）上領先，而Run 3的門控變體在任務二上取得了最高的ICM-S歸一化得分（ICM-S Nr = 1.5426），但整體表現與基礎架構相當，並沒有顯示出架構級的明顯優勢。這說明層級約束通過條件損失遮蔽和聯合概率解碼就能有效實現，不需要額外的架構改造。
在官方Soft-Soft排行榜上，這支團隊的三次提交在任務二·一上分別排名第4、5、6，在任務二·二上排名第4、5、7，在任務二·三上則包攬了前三名，其中Run 2以ICM-Soft歸一化得分0.3469位列第一。在官方Hard-Hard排行榜上，三次提交在任務二·一上排名第14、18、19，在任務二·二上排名第12、13、17，在任務二·三上排名第8、9、13。
軟標籤排名明顯優於硬標籤排名，這完全在預料之中——這個系統從設計之初就是為了軟標籤預測而優化的，硬標籤解碼只是在軟標籤概率上套了個簡單的0.5閾值，沒有做任何專門的校準。這意味著如果針對硬標籤任務做專項優化（比如用驗證集調整最優閾值），排名還有相當大的提升空間。
歸根結底，這項研究證明了一件事：在判斷那些模糊、主觀、充滿文化隱喻的表情包內容時，與其訓練一個自以為是的裁判，不如訓練一個誠實的概率統計員。用一個很小的可訓練模型（350萬參數）搭配一個凍結的強大"翻譯機"，不在有限的數據上強行微調龐然大物，反而在最難的子任務上拿到了第一。這背後的邏輯不複雜：數據不夠多的時候，謙遜比蠻力更有效。
當然，這個系統也有它誠實承認的不足。它依賴Gemini Embedding 2這個專有商業模型，意味著其他研究者想要完全復現時會遇到障礙（儘管模組化的架構設計讓替換成開源模型變得相對容易）。硬標籤解碼沒有做任務特定的優化，Hard-Hard結果不代表系統性能的上限。生理數據的非線性融合潛力也仍然是一個完全開放的探索方向——也許用更複雜的方式處理腦電和眼動數據，真的能挖掘出傳統線性方法看不見的資訊。這些都留給了未來的研究者。
Q&A
Q1：EXIST 2026比賽中的"Soft-Soft"評測軌道是什麼意思？
A：Soft-Soft評測軌道要求AI系統不是給出一個單一的是或否答案，而是預測出一個概率分布，反映"有多少比例的標註者認為這張表情包有性別歧視"。評測時，系統預測的分布與真實標註者分布之間的差距越小，得分越高。這種方式保留了真實世界中人類判斷的模糊性和分歧資訊，而不是強行把所有問題變成非黑即白的決策。
Q2：Gemini Embedding 2在這個研究里扮演什麼角色？
A：Gemini Embedding 2相當於一台"萬能翻譯機"，能把圖文混合的表情包轉化成一個由768個數字組成的向量（內容指紋）。研究團隊不對這個模型做任何修改，只是借用它產生的向量，然後在上面訓練自己的輕量分類系統。這樣做的原因是訓練數據只有約4000張，直接微調大模型容易過擬合。
Q3：腦電圖數據為什麼最終沒有被用到模型中？
A：研究團隊對腦電數據做了嚴格的統計檢驗，發現對於三個子任務中的兩個，腦電特徵完全沒有統計意義上的區分能力。對第二個子任務雖然有微弱的統計顯著性，但實際效應量極小，且80個腦電通道在Bonferroni校正後無一存活。也就是說，在當前的線性特徵表示框架下，腦電數據提供不了足夠有用的判別資訊，團隊因此選擇放棄，轉而專注於語義特徵。
