這項由荷蘭Utrecht大學的Daniil Ignatev、Nan Li、Hugh Mee Wong、Anh Dang和Shane Kaszefski Yaschuk團隊領導的研究發表於2025年9月的LeWiDi-2025國際共享任務大會，有興趣深入了解的讀者可以通過論文編號arXiv:2509.09524v1訪問完整論文。
人工智慧在理解人類語言時，長期面臨著一個有趣而困難的挑戰：當不同的人對同一句話給出不同理解時，機器應該相信誰？就像看一部電影，有人覺得搞笑，有人覺得無聊，有人覺得感人——這些不同的觀點都有各自的道理，但傳統的AI系統往往只能選擇"多數人的意見"作為標準答案。
Utrecht大學的研究團隊意識到，真實世界中的人類交流遠比這種簡單的"少數服從多數"複雜得多。比如，當你和朋友在討論一句話是否帶有諷刺意味時，你的判斷可能受到你的文化背景、個人經歷、甚至當天心情的影響。同一句"今天天氣真好啊"，在陰雨綿綿的日子裡，有人聽出了諷刺，有人覺得是真心讚美彩虹。
這種多樣性並不是噪音或錯誤，而是人類認知的真實反映。傳統的AI訓練方法就像一個過分追求標準答案的老師，總是要求所有學生給出完全一致的答案，忽略了思維多樣性的價值。而這個團隊的創新之處在於，他們開發了兩套全新的技術路徑，讓AI系統能夠真正理解和模擬不同人的思維模式。
第一套技術被稱為"情境學習法"，就像讓AI成為一個善於觀察的心理學家。系統會先仔細研究某個特定人員過去的標註行為，找出這個人的思維模式和判斷傾向，然後在面對新的語言材料時，嘗試站在這個人的角度來思考和判斷。第二套技術則是"標籤分布學習法"，這就像讓AI掌握了一種更精細的表達方式——不再只是簡單地說"是"或"不是"，而是能夠表達"70%可能是諷刺，30%可能是真心"這樣的細緻判斷。
研究團隊在四個不同的數據集上測試了他們的方法，這些數據集涵蓋了諷刺檢測、反諷識別、釋義判斷和自然語言推理等多個領域。結果令人驚喜：他們的方法在LeWiDi-2025國際競賽中獲得了第二名的優異成績，證明了這種"換位思考"的AI技術確實能夠更好地理解人類語言的複雜性和多樣性。
這項研究的意義遠遠超出了技術本身。在未來的AI應用中，無論是智能客服系統、內容審核工具，還是教育輔助軟體，都可能因為這種技術而變得更加人性化，更能理解和尊重人類思維的多樣性，而不是簡單粗暴地追求所謂的"標準答案"。
一、情境學習：教會AI換位思考的藝術
當我們想要理解一個人的思維方式時，最直接的方法是什麼？當然是觀察他們過去的行為和選擇。Utrecht團隊的第一個創新正是基於這個簡單而深刻的洞察：讓AI系統像一個細心的觀察者一樣，通過學習某個人過去的語言判斷模式，來預測他們面對新情況時可能做出的反應。
這種方法的核心原理可以用"學徒制"來理解。就像一個學徒通過觀察師傅的工作手法來學習技藝一樣，AI系統會仔細研究某個標註員過去的所有判斷記錄。比如說，標註員張三在判斷句子是否帶有諷刺意味時，總是對含有"真是"、"太好了"這類詞彙的句子格外敏感；而標註員李四則更關注語境中的對比反差。AI系統會捕捉到這些微妙的個人偏好和判斷習慣。
研究團隊使用了三種最先進的大語言模型來實現這個想法：OpenAI的GPT-4o、Anthropic的Claude Haiku 3.5，以及Meta的Llama 3.1 70B-Instruct。這些模型就像三個不同性格的學生，各自有著不同的學習能力和理解方式。
在具體實施過程中，團隊面臨的第一個關鍵問題是：應該向AI展示哪些過去的例子？這就像在教一個新員工時，你不可能把所有的案例都展示給他，而是需要精心挑選最有代表性、最有教學價值的例子。研究團隊開發了兩種不同的例子選擇策略。
第一種策略是"相似性選擇法"。這種方法就像在龐大的案例庫中尋找與當前情況最相似的歷史案例。比如，當AI需要判斷一句關於天氣的話是否諷刺時，系統會優先選擇過去那些同樣涉及天氣話題的例子。這種方法的邏輯很直觀：相似的情況往往需要相似的判斷策略。
第二種策略是"分層抽樣法"。這種方法更像是在準備一套完整的教學材料，確保涵蓋各種可能的情況。系統會確保選出的例子能夠代表這個標註員的各種不同判斷類型——既有他們認為明顯諷刺的例子，也有他們覺得完全不諷刺的例子，還有那些處於中間地帶的模糊案例。這樣，AI就能更全面地理解這個人的判斷光譜。
有趣的是，研究團隊還發現了一個重要細節：在某些數據集中，標註員不僅給出了判斷結果，還解釋了他們的判斷理由。比如在判斷兩個句子是否為釋義關係時，標註員會說"這兩句話雖然用詞不同，但表達的核心意思是一樣的"。研究團隊嘗試將這些解釋也加入到訓練例子中，結果發現AI的表現確實有所提升。這就像是讓學生不僅看到老師的答案，還能聽到老師的思考過程一樣。
在實際運作中，這套系統的工作流程分為兩個步驟。首先，AI會基於某個特定標註員的歷史行為模式，對新的語言材料進行個性化判斷。然後，系統會收集多個不同標註員的個性化判斷結果，將它們綜合成一個反映整體意見分布的"軟標籤"。這就像是先聽取每個專家的獨立意見，然後再形成一個綜合性的評判結果。
實驗結果顯示，這種方法在處理不同類型的語言任務時表現出了不同的優勢。在處理多語言的反諷檢測任務時，基於相似性的例子選擇效果更好；而在處理帶有複雜情感色彩的諷刺檢測任務時，分層抽樣的方法顯示出更大的優勢。這種差異其實反映了不同語言任務的內在特點：有些任務更依賴於表面的語言相似性，而有些任務則需要更深層的語義理解。
不過，研究團隊也誠實地指出了這種方法的局限性。他們發現，AI系統有時候過分依賴常識推理，在面對一些表面上很直接但實際上包含細微諷刺的語句時，往往會錯過人類標註員能夠捕捉到的微妙資訊。這就像一個過分理性的人，有時候反而聽不出朋友話中的弦外之音。
二、標籤分布學習：讓AI掌握表達的細緻藝術
如果說情境學習是讓AI學會換位思考，那麼標籤分布學習就是讓AI掌握了一種更加細緻和人性化的表達方式。傳統的AI判斷往往是非黑即白的：這句話要麼是諷刺，要麼不是諷刺。但人類的真實判斷遠比這複雜得多——我們經常會說"這句話有點諷刺的意味"或者"我不太確定，但感覺像是在開玩笑"。
Utrecht團隊的第二個重要創新正是要讓AI學會這種細緻入微的表達方式。他們借鑑了機器學習領域中一個相對較新的研究方向——標籤分布學習，並將其巧妙地應用到了語言理解任務中。這種方法的核心理念是：與其強迫AI給出一個絕對的判斷，不如讓它表達對各種可能性的信心程度。
為了實現這個目標，研究團隊開發了兩種不同的技術路徑。第一種路徑專門針對那些使用李克特量表（比如1到6分的評分系統）進行標註的數據集。這些數據集的特點是標籤之間存在天然的順序關係——分數越高代表某種特徵越明顯。
在這種情況下，團隊採用了一種叫做"累積距離學習"的方法。這種方法的巧妙之處在於，它不僅考慮預測結果的準確性，還特別關注預測錯誤的"嚴重程度"。比如說，如果真實的諷刺程度是4分，那麼預測成3分比預測成1分的錯誤要小得多。這就像在體操比賽中，評分的微小差異往往比大幅偏差更容易被接受。
研究團隊嘗試了兩種不同的損失函數來訓練這種系統。第一種是累積Jensen-Shannon散度，這聽起來很技術化，但其實質就是一種衡量兩個概率分布差異的精細方法。第二種是累積絕對距離，這種方法更加直觀，就是簡單地計算預測分布和真實分布之間的總體偏差。
有趣的是，研究團隊發現累積絕對距離的方法效果更好，這其實有其深層的數學原因。在處理有序標籤的情況下，這種方法實際上等同於計算Wasserstein距離，這是一種在最優傳輸理論中廣泛使用的度量方法。用通俗的話說，這種方法能夠更好地捕捉"從一種判斷分布變換到另一種判斷分布需要多少努力"這樣的直觀概念。
第二種技術路徑更加雄心勃勃，它試圖解決一個更根本的問題：能否通過聚類的方式發現隱藏在標註數據背後的深層模式？這個想法基於一個有趣的假設——雖然不同的人對同一個語言材料可能給出不同的判斷，但這些看似隨機的判斷背後可能存在著幾種典型的"判斷模式"。
為了驗證這個假設，研究團隊採用了一種兩階段的訓練策略。首先，他們使用無監督的聚類算法將語言材料按照標註模式的相似性進行分組。比如說，他們可能會發現某一類句子總是讓標註員產生分歧，而另一類句子則相對容易達成一致。然後，在第二階段，他們訓練AI系統不僅要預測具體的標註結果，還要預測這個語言材料屬於哪一種"爭議模式"。
這種方法的核心思想是，如果我們能夠識別出一個句子屬於"容易產生分歧"的類型，那麼我們就應該給出一個更加分散的概率分布；反之，如果這個句子屬於"容易達成一致"的類型，我們就應該給出一個更加集中的概率分布。
在實際實施中，研究團隊使用了多任務學習的架構。這個系統有兩個"大腦"：一個專門負責預測具體的標註分布，另一個專門負責預測爭議模式。這兩個"大腦"在訓練過程中相互協作，最終的預測結果是它們共同努力的成果。
實驗結果顯示，這些標籤分布學習的方法確實能夠產生比傳統方法更加細緻和準確的預測。特別是在處理那些包含明顯順序關係的評分任務時，累積絕對距離的方法表現尤其出色。在某些測試中，這種方法的表現甚至能夠與複雜的情境學習方法相媲美。
不過，研究團隊也坦率地承認了這些方法的局限性。最大的挑戰是數據稀疏性問題。當標註員數量較少時（比如只有4個人對每個語言材料進行標註），真實的標註分布往往非常稀疏和不穩定。在這種情況下，任何試圖學習精細分布的算法都面臨著巨大的挑戰，就像試圖通過幾個樣本點來推測整個人群的意見分布一樣困難。
三、四個試驗場：從諷刺識別到自然語言推理的全方位測試
為了全面驗證他們開發的"換位思考"技術，Utrecht團隊選擇了四個截然不同的語言理解任務作為試驗場。這種選擇的巧妙之處在於，每個任務都代表了人類語言交流中的一種不同複雜性，從而能夠真正考驗AI系統理解人類思維多樣性的能力。
第一個試驗場是對話諷刺語料庫，這是一個包含7040對對話的數據集。諷刺檢測一直被認為是語言理解中的"高難度動作"，因為諷刺往往依賴於說話者的語調、語境，以及聽話者的文化背景和個人經歷。比如當有人在雨天說"今天天氣真好啊"時，判斷這是真心讚美還是諷刺吐槽，不僅需要理解字面意思，還要讀懂說話者的真實情緒。這個數據集特別有價值的地方在於，它不僅收集了第三方觀察者的判斷，還包含了說話者本人對自己話語的自我評價，從而提供了一個從多個角度理解諷刺的完整視圖。
第二個測試平台是MultiPICo數據集，這是一個真正的國際化挑戰。它包含了來自Reddit和Twitter的18778對帖子-回復配對，覆蓋9種不同語言和25種語言變體。這個數據集的複雜性在於，它不僅要求AI理解不同語言的反諷表達方式，還要考慮不同文化背景下的社交媒體交流習慣。比如說，中文社交媒體中的"真香"梗，對於不熟悉中國網路文化的人來說可能完全無法理解其反諷含義。506名來自不同國家和文化背景的標註員參與了這個數據集的構建，每個帖子平均獲得了5.02個不同的判斷，為研究人員提供了一個真正全球化的反諷理解視角。
第三個試驗場是釋義檢測數據集，雖然規模相對較小（只有500個句子對），但它的價值在於精細化的標註過程。每個句子對都由4名專家標註員進行評分，使用從-5到 5的11點量表來評估兩個句子的釋義關係程度。更重要的是，標註員還被要求為每個評分提供詳細的解釋說明。這種設計讓研究團隊能夠深入了解人類在判斷句子相似性時的思考過程，比如某個標註員可能會解釋說"這兩個句子雖然用詞完全不同，但都在表達對某個政策的不滿情緒"。
第四個測試任務是VariErrNLI數據集，這是專門為區分"真正的人類觀點差異"和"標註錯誤"而設計的。自然語言推理任務要求判斷兩個句子之間的邏輯關係：蘊含、矛盾或中性。這個數據集採用了創新的兩輪標註協議，第一輪收集初始判斷和解釋，第二輪讓其他標註員評估這些判斷的有效性。這種設計的巧妙之處在於，它能夠幫助研究人員區分哪些分歧反映了合理的觀點差異，哪些可能是由於理解錯誤或注意力不集中導致的。
每個數據集都採用了不同的評估指標，這種差異性實際上反映了不同語言任務的內在特點。對於包含有序評分的數據集（如諷刺檢測和釋義判斷），研究團隊使用了Wasserstein距離作為評估標準。這個距離度量的直觀含義是"將一個概率分布變換成另一個概率分布需要移動多少概率質量"。而對於二元分類任務（如反諷檢測），則使用了更直接的Manhattan距離，也就是簡單的絕對誤差之和。
在Task B（個性化標註預測）的評估中，系統需要準確預測特定標註員對特定語言材料的判斷。對於分類任務，評估標準是錯誤率——預測錯誤的比例；對於評分任務，則使用平均標準化絕對距離，這個指標會根據評分量表的範圍進行標準化，從而確保不同任務之間的公平比較。
通過在這四個不同的試驗場上進行測試，Utrecht團隊能夠全面評估他們的方法在處理不同類型的語言理解任務時的表現。結果顯示，他們的情境學習方法在所有四個任務上都顯著優於簡單的基準方法，而標籤分布學習方法在處理有序標籤的任務時表現尤其出色。
特別值得注意的是，研究團隊發現不同的例子選擇策略在不同任務上表現出了明顯的差異。相似性選擇在處理多語言反諷檢測時效果更好，這可能是因為語言相似性在跨文化理解中起到了重要作用；而分層抽樣在處理諷刺檢測和釋義判斷時表現更佳，這可能是因為這些任務需要更全面地理解人類判斷的各種可能性。
四、意外發現：AI的"理性偏見"與人類的"直覺智慧"
在深入分析實驗結果的過程中，Utrecht團隊發現了一個既有趣又引人深思的現象：他們精心訓練的AI系統在某些情況下表現出了一種"過度理性"的傾向。這個發現揭示了當前AI技術的一個重要局限，也為未來的研究指明了新的方向。
這種"過度理性"的表現最典型的例子出現在MultiPICo數據集的一個測試樣本中。原帖內容是一個人在懷念過去的貨幣時光："我們曾經使用安娜幣、派薩幣，甚至半安娜幣！那時候一天就能生存下去！當時的盧比是銀制的，相當於那個時代的日薪。"而回復則是一個看似簡單的問題："你多大了？"
從表面上看，這個回復像是一個直接而無害的詢問。但是，超過半數的人類標註員都認為這個回復帶有反諷色彩。他們能夠敏銳地感受到回覆中隱含的嘲諷意味——暗示原帖作者在"倚老賣老"或者"過度懷舊"。然而，AI系統卻幾乎一致地將這個回復判斷為非反諷的普通詢問。
這種差異反映了一個深層次的問題：人類在理解語言時會自然地考慮社交語境、潛在動機和文化暗示，而AI系統往往會過分依賴字面意思和常識推理。用研究團隊的話說，AI似乎"過分堅持常識，以至於錯過了人類能夠敏銳捕捉到的社交微妙性"。
這種現象在其他數據集中也有所體現。研究團隊注意到，AI系統經常在那些表面上看起來"理所當然"的情況下預測出高度一致的結果，但實際的人類標註卻顯示出顯著的分歧。這說明人類的語言理解能力中包含著某種AI系統尚未完全掌握的"直覺智慧"——能夠讀出言外之意、聽出弦外之音的能力。
不過，研究團隊也發現了AI系統的一些令人印象深刻的成功案例。特別是在釋義檢測任務中，AI系統展現出了對個體標註員行為模式的精確理解和模擬能力。比如，在釋義數據集中，有一位標註員（Ann3）表現出了明顯的評分偏好：相比其他標註員，她更傾向於使用中性分數0，即使在面對非矛盾但也不完全相關的句子對時。
更有趣的是，這位標註員的評分偏好在她提供的解釋中得到了清晰的體現。她會解釋說："這兩個句子雖然不矛盾，但也談不上是真正的釋義關係，所以我給0分。"而經過情境學習訓練的AI系統成功地捕捉到了這種個性化的評分策略。在測試中，AI不僅學會了在適當的情況下預測0分，還學會了在面對Ann3從不使用0分的其他標註員時避免做出這樣的預測。
這種個性化模擬能力的成功展示了情境學習方法的一個重要優勢：它不是在學習一個抽象的"標準答案"，而是在學習理解不同個體的思維模式和判斷習慣。這就像一個善於察言觀色的朋友，能夠根據對方的性格特點來預測他們對某個話題的看法。
研究團隊還注意到，當標註數據中包含解釋資訊時，AI系統的表現會顯著提升。這個發現呼應了最近一些研究的結論，這些研究表明類似於"思維鏈"的推理過程能夠幫助AI系統更好地理解和模擬人類的判斷過程。雖然這些解釋只包含一個推理步驟，但它們為AI提供了寶貴的"思考過程"資訊，就像讓學生不僅看到老師的答案，還能了解老師的思考路徑一樣。
在分析不同語言模型的表現時，研究團隊發現了另一個有趣的現象：GPT-4o在利用基於標籤的例子選擇策略時表現出了更好的"校準"效果，特別是在結合解釋資訊的情況下。這種校準效果指的是AI系統的預測信心度與實際準確性之間的匹配程度。一個校準良好的系統不僅要能做出正確預測，還要能準確評估自己的信心水平。
然而，研究團隊也誠實地承認了這些發現的局限性。最顯著的局限是數據稀疏性問題，特別是在標註員數量較少的數據集中。當每個語言材料只有少數幾個標註時，很難準確估計真實的人類判斷分布。這就像試圖通過詢問三四個人來了解整個社區對某個問題的看法一樣困難。
另一個重要的局限是文化和語言的多樣性。雖然MultiPICo數據集包含了多種語言，但研究團隊發現某些語言模型（如Llama和Haiku）在處理非英語內容時表現不佳，這反映了當前AI系統在真正的多語言理解方面仍然存在不足。
五、跨界啟發：從電腦視覺到自然語言處理的技術融合
Utrecht團隊的研究最令人印象深刻的方面之一，是他們敢於打破學科界限，從看似無關的電腦視覺和機器學習領域中汲取靈感。這種跨界思維不僅為他們的技術創新提供了新思路，也為整個自然語言處理領域提出了一個重要啟示：最好的解決方案往往來自於不同領域的智慧碰撞。
標籤分布學習這個概念最初是在機器學習的廣義框架下發展起來的，主要應用於電腦視覺任務，比如年齡估計。當一張照片顯示的是一個25歲的人時，傳統的分類方法會簡單地將其歸類為"25歲"，但實際上這個人也有可能被認為是24歲或26歲。標籤分布學習的創新之處在於，它會產生一個概率分布：比如25歲的概率是60%，24歲和26歲的概率各為20%。
Utrecht團隊敏銳地意識到，這種思維方式完全適用於語言理解任務。當我們判斷一句話的諷刺程度時，很少有絕對的答案。同一句話對不同的人來說可能有不同的諷刺強度，這種自然的模糊性正是標籤分布學習所擅長處理的。
更加精彩的是，研究團隊發現了一個在自然語言處理社區中幾乎被忽視的數學巧合。在處理有序標籤（如1到6分的評分）時，有一種叫做"累積絕對距離"的評估方法，它的數學定義與Wasserstein距離（也叫Earth Mover's Distance）在一維情況下完全相同。Wasserstein距離有一個非常直觀的物理解釋：如果把兩個概率分布想像成兩堆不同形狀的沙子，那麼Wasserstein距離就是把其中一堆沙子重新整理成另一堆形狀所需要移動的最小"工作量"。
這個發現的重要性在於，它為自然語言處理任務提供了一個在數學上更加嚴謹、在直覺上更加合理的評估框架。與簡單的準確率或F1分數不同，Wasserstein距離能夠體現預測錯誤的"嚴重程度"——預測4分為3分比預測為1分的錯誤要小得多，這種細緻性正是評估人類判斷多樣性時所需要的。
在借鑑電腦視覺領域的另一個創新時，研究團隊嘗試了一種叫做"聚類引導的分布學習"的方法。這個想法來自於一個有趣的觀察：雖然不同的人對同一個語言材料可能給出不同的判斷，但這些看似隨機的分歧背後可能隱藏著某種模式。
比如說，某些類型的句子天然就容易產生分歧——這些句子可能包含文化特定的隱喻、需要特殊背景知識來理解，或者在語法上存在歧義。而另一些句子則相對容易達成一致。如果能夠自動識別出這些不同的"爭議模式"，就能夠為每種模式制定相應的預測策略。
為了實現這個想法，研究團隊採用了多任務學習的架構。系統需要同時完成兩個相關但不同的任務：預測具體的標註結果，以及預測這個語言材料屬於哪一種"爭議類型"。這兩個任務在訓練過程中相互促進——對爭議類型的準確識別有助於更好的標註預測，而豐富的標註資訊也有助於更準確的爭議分類。
然而，這種跨界借鑑也帶來了一些意想不到的挑戰。電腦視覺任務通常擁有大量的標註數據，而自然語言處理任務，特別是涉及主觀判斷的任務，往往面臨數據稀疏的問題。當標註員數量有限時，真實的標註分布往往是稀疏而不穩定的，這使得任何試圖學習精細分布的算法都面臨困難。
研究團隊在實驗中發現，這種數據稀疏性問題在釋義檢測任務中尤其突出。由於只有4個標註員對每個句子對進行評分，而評分量表有11個可能的值（從-5到 5），大多數評分位置都是空的。在這種情況下，直接學習經驗分布往往會產生過於稀疏和不穩定的結果。
為了解決這個問題，研究團隊嘗試了各種平滑技術，但發現這些技術在當前的評估框架下往往會被"懲罰"——因為評估是基於原始經驗分布進行的，任何形式的平滑都會被視為偏離真實答案。這個矛盾暴露了當前評估機制的一個潛在問題：過分嚴格的匹配要求可能會懲罰那些實際上更加合理和魯棒的預測方法。
儘管面臨這些挑戰，研究團隊仍然認為跨界借鑑的價值是巨大的。他們指出，自然語言處理社區往往過於關注特定的語言學理論和方法，而忽視了其他領域中那些經過充分驗證的通用技術。標籤分布學習、概率建模、最優傳輸理論等領域的成熟方法，都有可能為處理語言理解中的不確定性和多樣性提供新的思路。
研究團隊特別強調了一個重要觀點：處理人類判斷的多樣性不應該被視為一個純粹的自然語言處理問題，而應該被理解為一個更廣泛的機器學習問題。人類的認知多樣性、判斷不確定性、以及個體差異，這些現象在各個領域都存在。因此，那些專門為處理這種多樣性而開發的通用方法，往往比領域特定的臨時解決方案更加強大和可靠。
六、技術細節：兩條路徑的深度剖析與實戰表現
為了讓讀者真正理解這項研究的技術精髓，我們需要深入探討研究團隊實際採用的技術路徑和它們在現實測試中的具體表現。這些技術細節不僅展示了研究的嚴謹性，也揭示了每種方法的適用場景和局限性。
在情境學習的技術實現中，研究團隊面臨的第一個核心挑戰是如何設計一個既靈活又高效的提示模板。他們開發的模板需要能夠適應四種截然不同的語言任務，同時保持足夠的簡潔性以確保大語言模型能夠準確理解和執行。最終的模板設計採用了一種"專家角色扮演"的方式，讓AI系統假設自己是一個專門猜測特定人員反應的專家。
這個模板的巧妙之處在於它的適應性。對於諷刺檢測任務，系統會被告知要"分析上下文和回應之間的對話，並用1到6的整數進行標註，其中1表示完全不諷刺，6表示完全諷刺"。而對於釋義判斷任務，同樣的框架會被調整為"分析兩個句子的釋義關係，用-5到 5的評分表示釋義程度"。這種統一而靈活的設計使得同一套技術框架能夠處理不同的任務類型。
在例子選擇策略的具體實現中，相似性選擇法使用了Sentence-Transformers模型來計算語義相似度。這個選擇背後有深思熟慮的考量：雖然基於BERT的相似度主要捕捉詞彙和主題層面的相似性，但研究團隊發現，對於情境學習而言，這種表面相似性往往比深層語義關係更加重要。這是因為大語言模型在處理提示時，往往會被相似的詞彙模式和句式結構所引導。
為了避免選擇的例子過於相似而失去多樣性，研究團隊引入了最大邊際相關性算法。這個算法通過一個權重參數λ來平衡相似性和多樣性：λ設置為0.7意味著系統在70%的程度上追求與查詢句的相似性，在30%的程度上避免選擇彼此過於相似的例子。這種平衡確保了選出的例子既與當前任務相關，又能覆蓋標註員判斷行為的不同方面。
分層抽樣策略的實現更加複雜，需要處理標註數據中的各種不平衡現象。在實際操作中，系統首先會統計某個標註員的所有歷史標註，然後識別出現頻率低於2次的標籤並將其排除，以確保分層採樣的統計有效性。如果某個標註員的數據量太小或標籤類型太少，系統會退回到簡單的隨機採樣。這種自適應的策略確保了方法在各種數據條件下的魯棒性。
在標籤分布學習的實現中，研究團隊使用RoBERTa作為基礎模型，並採用了一種漸進式的微調策略。他們發現，凍結模型的大部分參數而只微調最後六層，能夠在避免過擬合的同時保持足夠的學習能力。這種選擇反映了一個重要洞察：對於標籤分布學習這樣的細緻任務，我們需要的是在預訓練表徵基礎上的精細調整，而不是大規模的重新學習。
累積Jensen-Shannon散度和累積絕對距離這兩種損失函數在實際表現中顯示出了明顯的差異。累積絕對距離的表現始終更優，這不僅因為它與評估指標（Wasserstein距離）的數學一致性，還因為它的梯度行為更加穩定。Jensen-Shannon散度雖然在理論上更加精緻，但在實際訓練中容易出現梯度消失或爆炸的問題。
在多任務學習架構的實現中，研究團隊嘗試了多種不同的損失函數組合來訓練聚類分類頭。他們發現，使用KL散度作為聚類損失往往會導致訓練不穩定，而簡單的交叉熵損失反而能夠產生更好的結果。這個發現提醒我們，在實際的機器學習系統中，理論上最優的方法不一定是實踐中最有效的方法。
權重參數α的選擇是另一個關鍵的技術細節。研究團隊通過網格搜索發現，α = 0.3通常能夠產生最好的結果，這意味著聚類任務的權重應該相對較小。這個發現符合直覺：主要任務（標註預測）應該占主導地位，而輔助任務（聚類分類）主要起到正則化和引導的作用。
在不同語言模型的表現比較中，研究團隊發現了一些有趣的模式。GPT-4o在處理複雜推理任務時表現最佳，特別是在需要理解微妙社交暗示的情況下。Claude Haiku 3.5在處理結構化任務時表現出色，而Llama 3.1在處理英語單語任務時與其他模型相當，但在多語言任務上明顯落後。
這些性能差異反映了不同模型在訓練數據、架構設計和優化目標上的差異。GPT-4o經過了更多的人類反饋強化學習，因此在理解人類判斷的細微差別方面表現更好。而開源的Llama模型雖然在技術指標上不落下風，但在處理非英語內容時顯示出明顯的局限性。
溫度參數設置為0.0（貪婪解碼）是另一個重要的技術選擇。研究團隊發現，雖然引入一定的隨機性有時能夠產生更加多樣化的輸出，但對於需要一致性和可重複性的標註任務，確定性的解碼策略表現更好。這個選擇也反映了情境學習的一個重要特點：它依賴的是模型對模式的識別和模仿能力，而不是創造性的生成能力。
七、實驗結果的深層解讀：成功與局限的辯證統一
Utrecht團隊在LeWiDi-2025國際競賽中獲得第二名的成績背後，隱藏著大量值得深入分析的實驗數據和發現。這些結果不僅驗證了他們技術方法的有效性，也揭示了當前AI技術在理解人類判斷多樣性方面的能力邊界。
在情境學習方法的表現分析中，最引人注目的發現是不同例子選擇策略在不同任務上的差異化表現。在MultiPICo數據集上，基於相似性的選擇策略在Task A（軟標籤預測）上獲得了0.466的曼哈頓距離分數，而分層標籤選擇的分數是0.469，差異雖然微小但具有統計意義。這種差異背後的原因值得深思：多語言反諷檢測任務的複雜性主要來自於語言和文化的差異，而不是標註分布的多樣性，因此語義相似性比標籤分布的代表性更加重要。
相比之下，在CSC（諷刺檢測）數據集上，分層標籤選擇策略顯示出了明顯優勢，Task A分數從0.84下降到0.792。這個提升反映了諷刺理解任務的本質特點：同樣的語言表達在不同語境下可能有完全不同的諷刺程度，因此暴露模型給各種可能的判斷模式比簡單的語義相似性更加重要。
特別值得注意的是解釋資訊對模型表現的影響。在包含標註員解釋的Par和VariErrNLI數據集上，添加解釋資訊後，GPT-4o在Par數據集上的表現從1.25提升到1.12（使用分層標籤策略），在VariErrNLI上從0.44提升到0.38。這種提升不僅體現在Task A的分布預測上，在Task B的個體預測上也有所改善。這個發現的重要性在於，它證明了"思考過程"資訊對於理解人類判斷的價值，即使這些解釋相對簡單。
不過，解釋資訊的效果並不是在所有模型上都均勻分布。Claude Haiku和Llama模型在使用解釋資訊後的提升相對較小，有時甚至出現輕微的性能下降。這種差異可能反映了不同模型在處理多模態資訊（文本 推理過程）時的能力差異，也暗示了模型架構和訓練方式對這種複雜推理任務的影響。
在標籤分布學習方法的結果分析中，累積絕對距離（CAD）損失函數始終優於累積Jensen-Shannon散度（CJS）。在CSC數據集上，CAD方法達到了0.800的Wasserstein距離，而CJS方法的分數是0.831。更有趣的是，CAD方法與平均絕對誤差（MAE）的組合（CAD MAE）能夠進一步提升到0.797，這個分數已經非常接近最佳的情境學習結果。
這種性能接近性具有重要意義，因為它表明傳統的微調方法在適當設計的損失函數指導下，仍然能夠在某些任務上與最先進的大語言模型競爭。考慮到微調方法的計算效率和部署便利性，這個發現為實際應用提供了一個更加經濟的選擇。
聚類引導的分布學習方法雖然在理論上很有吸引力，但在實際表現中略顯遜色。在Par數據集上，這種方法的最佳分數是1.66，雖然明顯優於基準方法，但仍然落後於其他技術路徑。研究團隊通過詳細分析發現，主要問題在於數據稀疏性：當每個語言材料只有4個標註時，很難準確識別出穩定的聚類模式。
跨數據集的性能分析揭示了每種方法的適用場景。情境學習方法在所有數據集上都表現出了良好的適應性，但在數據量較大、標註員較多的數據集（如CSC和MP）上表現尤其出色。這符合情境學習依賴於豐富示例的本質特點。相比之下，標籤分布學習方法在有序標籤的數據集（CSC和Par）上表現更好，這反映了這些方法對標籤內在結構的有效利用。
Task A和Task B之間的性能關係也提供了有價值的洞察。研究團隊發現，在大多數情況下，Task B性能的提升並不必然導致Task A性能的同比例提升。比如在CSC數據集上，GPT-4o的Task B分數（個體預測錯誤率）從0.175提升到0.172，提升幅度很小；但Task A分數（分布預測距離）從0.84提升到0.792，提升幅度相對較大。這種不對稱性暗示著兩種任務可能需要不同的優化策略。
模型間的性能差異也透露出大語言模型發展的一些趨勢。在英語單語任務上，三個模型的性能相對接近，但在多語言任務上差異顯著。這反映了模型訓練數據和國際化程度的差異，也提醒我們在選擇模型時需要考慮具體的應用場景。
最引人深思的是基準方法與先進方法之間的性能差距。雖然情境學習和標籤分布學習都顯著優於簡單的基準方法，但這種提升的絕對幅度在不同數據集上變化很大。在VariErrNLI上，先進方法的提升相對較小，這可能反映了自然語言推理任務的固有困難，也可能暗示著當前方法仍有進一步改進的空間。
八、方法論反思：跨學科融合的價值與挑戰
Utrecht團隊的研究不僅在技術層面取得了突破，更重要的是，它為自然語言處理領域提供了一種新的方法論思維。這種思維的核心在於打破學科界限，從更廣闊的機器學習和人工智慧視角來審視語言理解問題。
傳統的自然語言處理研究往往局限在語言學理論和特定的文本處理技術範圍內。當面對人類標註分歧這樣的問題時，常見的解決思路是尋找更好的數據清洗方法、改進標註指南，或者開發更精確的一致性檢驗算法。這些方法本質上都是試圖消除或減少分歧，將其視為需要解決的"問題"。
Utrecht團隊採用了一種根本性不同的視角：他們將人類判斷的多樣性視為一種需要理解和建模的自然現象，而不是需要消除的噪音。這種視角轉換的靈感來源於標籤分布學習領域，該領域從一開始就接受了"一個實例可能屬於多個類別"這樣的現實。
這種方法論轉換的價值在於，它開闢了一個全新的研究方向。與其問"如何獲得一致的標註"，研究者開始問"如何理解和預測標註的多樣性"。這個問題的答案不僅對技術發展有價值，對理解人類認知和社會交流也具有深遠意義。
跨學科借鑑的另一個重要價值體現在數學工具的運用上。Wasserstein距離原本是最優傳輸理論中的概念，主要用於比較概率分布之間的差異。將這個概念引入語言理解評估中，不僅提供了更加精細的評估標準，也為思考語言理解問題提供了新的數學框架。
然而，跨學科融合也帶來了一系列挑戰。最直接的挑戰是概念轉換的適用性問題。電腦視覺中的標籤分布學習處理的是相對客觀的物理屬性（如年齡、表情強度），而語言理解中的"分布"往往涉及更加主觀和文化相關的判斷。這種差異使得直接移植方法往往需要大量的適應性改進。
數據特性的差異是另一個重要挑戰。電腦視覺任務通常擁有大量的標註數據，每個樣本可能有數十甚至數百個標註。而自然語言處理任務，特別是需要專業判斷的任務，往往只能獲得少量標註員的意見。這種數據稀疏性使得許多在其他領域行之有效的方法在語言處理中面臨困難。
評估標準的不匹配也是一個值得關注的問題。研究團隊發現，當他們嘗試對預測分布進行平滑處理以提高魯棒性時，這種"改進"反而會被現有的評估標準懲罰，因為評估是基於原始的經驗分布進行的。這種矛盾暴露了評估機制本身可能存在的問題，也提醒我們需要開發更加合理的評估框架。
文化和語言多樣性帶來的挑戰在多語言實驗中表現得尤為明顯。雖然標籤分布學習的數學框架是語言無關的，但具體的實現往往依賴於預訓練模型，而這些模型在不同語言上的能力差異可能會影響方法的有效性。這種語言偏見問題在當前的AI系統中普遍存在，需要在跨學科應用中特別小心處理。
理論理解與實踐應用之間的張力也值得深入思考。雖然標籤分布學習在理論上提供了處理不確定性的優雅框架，但在實際應用中，決策者往往仍然需要明確的判斷結果。如何將概率分布轉換為可操作的決策，以及如何向非技術用戶解釋這種複雜的輸出，都是需要解決的實際問題。
計算資源的考量是跨學科應用中不可忽視的現實約束。情境學習雖然在技術上令人印象深刻，但其計算成本遠高於傳統的微調方法。在大規模實際應用中，這種成本差異可能成為決定性因素。研究團隊發現，在某些情況下，精心設計的微調方法能夠以更低的成本實現接近的性能，這種發現具有重要的實踐價值。
知識傳播和社區接受度是另一個挑戰。當一個領域的研究者嘗試引入其他領域的概念和方法時，往往需要克服術語障礙、理解偏差和既有範式的阻力。Utrecht團隊在論文中特別強調了向"透視主義NLP社區"介紹標籤分布學習概念的重要性，這種努力對於促進跨學科交流具有重要意義。
儘管面臨這些挑戰，跨學科融合的價值是毋庸置疑的。它不僅為具體的技術問題提供了新的解決方案，更重要的是，它拓寬了研究者的思維視野，促進了不同學科之間的相互啟發。正如研究團隊所指出的，"透視主義NLP正確地將注釋者觀點的多樣性置於中心位置，但它可以從建立的技術中受益，如概率建模和平滑方法，這些技術考慮了注釋噪音和有限的樣本大小"。
九、未來展望：從技術突破到社會影響的多維思考
Utrecht團隊的研究成果不僅代表了當前AI技術的一個重要進展，更為未來的發展指明了多個可能的方向。這些方向既包括純技術層面的改進，也涉及更廣泛的社會和倫理層面的考量。
在技術發展的直接延續上，最明顯的改進空間是數據效率的提升。當前的方法在標註員數量較少時表現受限，這在實際應用中是一個嚴重的制約因素。未來的研究可能會探索如何通過更智能的數據增強技術、遷移學習，或者主動學習方法來緩解這個問題。比如，系統可能學會識別哪些類型的語言材料最容易產生分歧，從而優先為這些材料收集更多的標註意見。
模型架構的進化是另一個重要方向。當前的研究主要基於現有的大語言模型架構，但未來可能會出現專門為理解人類判斷多樣性而設計的新架構。這種架構可能會更好地平衡個體特異性和群體模式之間的關係，或者能夠更有效地整合多模態資訊（文本內容、標註員背景、解釋資訊等）。
跨語言和跨文化的理解能力是一個特別重要的發展方向。當前的研究已經顯示出不同語言模型在處理多語言內容時的能力差異，而未來的工作可能需要專門開發能夠理解文化特異性判斷模式的技術。這不僅是一個技術挑戰，也是一個文化敏感性的問題——AI系統需要學會尊重和理解不同文化背景下的思維差異。
實時適應和個性化是另一個令人興奮的發展方向。目前的系統需要基於歷史數據來學習標註員的行為模式，但未來的系統可能能夠在交互過程中實時調整對用戶偏好的理解。這種能力將使AI助手能夠更好地適應個體用戶的溝通風格和判斷傾向，提供更加個性化的服務。
在應用領域的拓展方面，這項技術的潛在影響範圍遠遠超出了學術研究的邊界。在內容審核領域，能夠理解判斷多樣性的AI系統可能會帶來更加細緻和公平的審核機制。與其簡單地刪除或保留某些內容，系統可能會提供更加分層的處理策略，考慮到不同用戶群體的接受度差異。
教育技術是另一個充滿潛力的應用領域。能夠理解學生思維多樣性的AI教學系統可能會提供更加個性化的學習體驗。比如，系統可能學會識別某個學生在理解特定概念時的思維模式，從而調整解釋方式或提供更適合的練習材料。
在醫療健康領域，這種技術可能有助於改善醫患溝通和診斷決策。不同的醫生可能對同樣的症狀描述有不同的理解和判斷，而能夠建模這種多樣性的AI系統可能有助於提供更加全面和平衡的診斷支持。
法律和政策制定也是一個可能受益的領域。法律條文的解釋往往存在爭議，而能夠理解和預測這種解釋多樣性的AI系統可能有助於法律專業人士更好地評估案例的複雜性和爭議性。
然而，這些應用前景也帶來了重要的倫理和社會考量。最核心的問題是：AI系統應該如何平衡對多樣性的尊重和對一致性的需要？在某些情況下，判斷的多樣性可能反映了合理的觀點差異，應該被保護和尊重；但在另一些情況下，這種多樣性可能源於偏見、誤解或不充分的資訊，需要被糾正。
隱私保護是另一個重要考量。為了理解個體的判斷模式，AI系統需要收集和分析大量的個人行為數據。如何在提供個性化服務的同時保護用戶隱私，是一個需要仔細平衡的問題。未來的系統可能需要採用聯邦學習、差分隱私等技術來解決這個挑戰。
算法透明度和可解釋性也是關鍵問題。當AI系統做出涉及人類判斷多樣性的決策時，用戶有權理解系統的推理過程。但當前的大語言模型往往是"黑盒"系統，很難提供清晰的解釋。未來的研究需要在模型能力和可解釋性之間找到更好的平衡。
社會公平性是另一個不可忽視的方面。如果AI系統學會了某些群體的判斷偏見，它可能會在應用中perpetuate或放大這些偏見。因此，需要開發相應的監測和糾正機制，確保技術進步不會加劇社會不公。
標準化和規範化也是產業化應用中必須考慮的問題。目前的研究主要集中在技術可行性的證明上，但要實現大規模應用，需要建立相應的技術標準、評估規範和質量控制體系。這需要學術界、產業界和政策制定者的共同努力。
人機協作模式的演進也值得關注。隨著AI系統在理解人類判斷多樣性方面能力的提升，人機交互的模式可能會發生根本性變化。AI可能不再是簡單的工具，而是能夠理解和適應人類思維特點的合作夥伴。這種變化將對工作流程、組織結構和社會關係產生深遠影響。
最後，這項技術的發展還可能為人類對自身認知過程的理解提供新的洞察。通過建模和分析人類判斷的多樣性，我們可能會發現思維過程中的新模式，理解個體差異的深層機制，甚至為心理學和認知科學研究提供新的工具和視角。
說到底，Utrecht團隊的這項研究代表的不僅僅是一個技術突破，更是一種思維方式的轉變——從試圖消除人類思維的複雜性，轉向理解和擁抱這種複雜性。在AI技術日益融入我們日常生活的今天，這種轉變可能會深刻影響人機關係的未來發展方向。它提醒我們，最好的AI技術不是要替代人類的思考，而是要更好地理解和支持人類思維的多樣性和創造性。
這個研究的真正價值或許在於，它讓我們看到了一種更加人性化的AI發展路徑——不是讓機器變得更像完美的計算器，而是讓機器學會欣賞和理解人類思維的美妙複雜性。在這個意義上，Utrecht團隊不僅推進了技術的邊界，也為AI倫理和人機關係的未來發展提供了有益的思考。
Q&A
Q1：什麼是情境學習法，它是如何讓AI理解不同人的思維模式的？
A：情境學習法就像讓AI成為一個善於觀察的心理學家。系統會先研究某個人過去的所有判斷記錄，找出這個人的思維習慣和偏好。比如張三總是對含有"真是"、"太好了"的句子特別敏感，認為是諷刺；李四則更關注語境對比。AI學會這些模式後，面對新句子時就能站在特定人的角度來判斷，而不是給出千篇一律的標準答案。
Q2：標籤分布學習與傳統AI判斷方式有什麼不同？
A：傳統AI只會給出非黑即白的判斷，比如"這句話是諷刺"或"不是諷刺"。而標籤分布學習讓AI學會了更細緻的表達，就像人類一樣說"這句話70%可能是諷刺，30%可能是真心"。這種方法更符合真實世界的複雜性，因為很多語言表達本身就存在模糊性和多種理解可能。
Q3：這項技術在實際生活中有什麼應用前景？
A：這項技術的應用前景非常廣泛。在智能客服中，系統能理解不同用戶的溝通習慣，提供更個性化的回應；在內容審核中，能考慮不同群體的接受度差異，做出更公平的判斷；在教育中，AI老師能識別學生的思維特點，調整教學方式；甚至在醫療診斷中，也能幫助理解不同醫生對症狀的不同判斷模式。
