隨著AI生成內容在網路上的大量湧現，幫助公眾識別圖像、音頻或影片真偽的工作變得愈發困難，也愈發重要。為應對這一挑戰，來自微軟、美國西北大學以及非營利組織Witness的研究人員攜手合作，共同構建了一個全新的AI生成媒體數據集，旨在幫助開發更加強健的深度偽造檢測系統。Witness長期致力於協助活動人士和記者應對AI生成內容帶來的各類挑戰。
研究團隊將這一新數據集命名為微軟-西北大學-Witness深度偽造檢測基準（MNW），相關研究成果已於4月10日發表在IEEE Intelligent Systems期刊上。該數據集在構建時刻意納入了多樣化的AI生成媒體樣本，以儘可能真實地反映當前生成式AI的發展全貌。
微軟首席研究科學家Thomas Roca專注於生成式AI安全領域的研究。他指出，生成式AI所產出的媒體質量正在持續提升，如今幾乎任何人只需藉助手機上的一款應用，便能生成模仿他人聲音的語音消息，或偽造他人外貌的圖像與影片。
此類虛假媒體所造成的危害十分深遠，涵蓋身份欺詐、詐騙，乃至生成未經當事人同意的私密影像，甚至兒童性虐待材料。
然而，AI生成工具並非無懈可擊。在生成影片、圖像或音頻時，它們會留下所謂的"痕跡"——一些細微的信號或印記，可作為內容造假的佐證。"這些痕跡可能包括噪聲分布異常、像素塊之間的不一致性、音頻信號中的斷裂，以及其他各類不規則現象。"Roca說道。
當前檢測面臨的挑戰
全球各地的研究團隊一直在開發檢測器，其本質上是經過訓練、能夠識別AI生成媒體中痕跡的AI模型。然而，這場檢測與生成之間的軍備競賽中，生成工具始終占據上風。
"影片、圖像和音頻的真實性認定對社會來說至關重要，但現有檢測系統尚未能勝任這一挑戰。"Roca表示，"我們認為，這在一定程度上源於這些系統的評估方式存在問題。"
舉例而言，研究人員可能會使用來自少數幾個生成器的大量AI內容樣本來訓練檢測器，但這樣的檢測器往往難以有效應對新生成的內容。生成式AI的疊代速度極快，這一問題因此愈發突出。
正因如此，這些檢測系統在面對訓練數據集或成熟基準測試時表現尚可，但在真實環境中卻往往差強人意。"實驗室里的AI不等於現實世界中的AI。"Roca如是說。
MNW基準的構建思路
為了更全面地應對上述挑戰，微軟、西北大學和Witness的專家聯合開發了MNW基準。"這三方視角——學術界、產業界與面向實地的非營利組織——共同構成了一套更完整的方法論。單憑任何一方，都無法獨立完成這項工作。"西北大學博士後研究員Marco Postiglione說道。
該數據集旨在匯集來自不同生成器的多樣化AI生成素材，以提升檢測器在真實場景中的適用性。
Postiglione指出，網路上的虛假影片、音頻和圖像通常已經過後處理操作，例如調整尺寸、裁剪和壓縮。此外，也有人會刻意對內容進行處理，使其更難被檢測到。
MNW團隊致力於提供涵蓋不同生成器、經歷不同後處理操作的最全面樣本集，以確保該數據集能夠充分代表當前生成式AI的整體面貌。團隊還計劃每年春秋兩季對數據集進行更新，以體現最新的生成器痕跡特徵，以及試圖規避檢測系統的各類新手段。
研究人員也坦承，儘管該數據集的初衷是幫助開發者對其檢測器進行基準測試，但不排除有人將其用於探索規避檢測的新方法。儘管如此，他們仍認為應對深度偽造內容是當務之急。
"MNW的目標是為這項共同努力貢獻力量——提升行業標準，推動透明度，並確保隨著生成式AI的持續發展，我們評估內容真實性的能力也能同步跟上。"Roca說道。
Q&A
Q1：MNW深度偽造檢測基準數據集是什麼？有什麼特別之處？
A：MNW是由微軟、西北大學和非營利組織Witness聯合構建的深度偽造檢測基準數據集，全稱為Microsoft-Northwestern-Witness。它的特別之處在於納入了來自多種生成器的多樣化AI媒體樣本，並涵蓋了調整尺寸、裁剪、壓縮等各類後處理操作的內容，更貼近真實網路環境。此外，團隊每年春秋兩季更新數據集，以緊跟最新生成器技術的發展。
Q2：現有的深度偽造檢測系統為什麼在現實中表現不佳？
A：主要原因在於訓練數據來源單一，研究人員通常只用少數幾個生成器的樣本來訓練檢測器，導致模型泛化能力不足，難以應對來自新生成器或經過後處理的內容。加之生成式AI疊代速度極快，檢測系統的更新跟不上生成工具的進化節奏，使得在實驗室環境中表現良好的系統在真實場景下往往力不從心。
Q3：AI生成內容中的"痕跡"具體指什麼？
A：痕跡是指AI在生成圖像、影片或音頻時無意間留下的細微異常特徵，可作為判斷內容為AI生成的依據。這些痕跡包括：圖像中的噪聲分布異常、像素塊之間存在不一致性、音頻信號出現斷裂或間隙，以及其他各類難以被肉眼察覺的不規則現象。檢測器正是通過學習識別這些痕跡來判斷媒體內容的真偽。
