隨著強大的大語言模型變得觸手可及，不法分子在網際網路上散布垃圾資訊的門檻大幅降低。近幾年來，任何花時間上網的人都會發現，垃圾內容和機器人賬號已成為比以往更嚴峻的頑疾。
Reddit表示，平台藉助大語言模型開發了一套工具，專門用於打擊垃圾內容——而這些垃圾內容本身，很大程度上也是由大語言模型生成的。這固然有些諷刺，但在AI時代，各大平台別無選擇，只能以彼之道還施彼身。據Reddit披露，平台每天攔截2300萬次垃圾內容瀏覽，每天捕獲約2.5萬條新垃圾帖子和評論。
社交平台多年來一直在構建自動化的垃圾內容過濾工具，但Reddit表示，此次更新後的工具攔截垃圾內容的命中率更高。
Reddit在一篇官方部落格中寫道："我們利用大語言模型來識別高度隱蔽的、經過協調的虛假行為和人為炒作模式，這些過去的系統曾一度對此束手無策。"該公司稱，與前三個月相比，今年1月至3月間用戶接觸垃圾內容的頻率降低了20%。
YouTube、Meta、Instagram等平台允許用戶發布AI生成內容，前提是需要進行相應披露；TikTok則更進一步，允許用戶自行調節希望看到的AI生成內容比例。
若平台能夠更快速地識別AI生成內容，也意味著它們有能力更迅速地標記仇恨言論等違規內容。不過，平台領域的專家持續提醒我們：AI內容審核必須與人工審核相結合，才能實現最佳效果。
Q&A
Q1：Reddit每天能攔截多少垃圾內容？
A：根據Reddit公布的數據，平台每天攔截2300萬次垃圾內容瀏覽，同時每天捕獲約2.5萬條新的垃圾帖子和評論。自今年1月至3月，用戶接觸垃圾內容的頻率相較前三個月下降了20%。
Q2：Reddit用大語言模型反垃圾內容的原理是什麼？
A：Reddit利用大語言模型識別傳統系統難以發現的高度隱蔽、經過協調的虛假行為和人為炒作模式。大語言模型在理解語義和上下文方面具有更強的能力，因此能夠更精準地甄別出那些刻意模仿正常用戶行為的垃圾內容。
Q3：AI內容審核能完全替代人工審核嗎？
A：目前不能完全替代。平台領域的專家持續強調，AI內容審核必須與人工審核協同配合，才能取得最有效的結果。AI雖然能夠快速識別大規模的違規內容，但在處理複雜語境、文化差異以及邊界案例時，仍然需要人工判斷的介入。
