宅中地 - 每日更新
宅中地 - 每日更新

贊助商廣告

X

OpenAI新工具助力遏制AI換臉兒童性虐待內容泛濫

2026年11月17日 首頁 » 熱門科技

OpenAI近日宣布推出一款新工具,旨在幫助兒童性虐待調查人員在海量內容中快速篩選出需要處理的有害材料。

在周一於華盛頓特區舉行的新聞發布會上,OpenAI公布了一款分類器,稱其能夠更準確地識別針對兒童的虐待性圖像,包括判斷該圖像是否由AI生成。該公司還表示,將向經過審核的相關機構提供免費使用權限,為開發者提供更多檢測此類內容的指導,並協助培訓執法人員了解如何利用AI技術輔助調查工作。這一消息發布之際,政策制定者及其他相關方正在推動對AI工具實施更嚴格的安全限制,並指責OpenAI及其他公司在助長對兒童的傷害行為。

近年來,AI生成的兒童性虐待圖像數量激增,已經威脅到諸如美國國家失蹤與受虐兒童中心(NCMEC)舉報熱線系統等機構的正常運轉——該系統負責收集和分級處理兒童性虐待材料(CSAM)的舉報。該舉報熱線在2025年共收到40萬份與生成式AI相關的舉報,相比2024年的6.7萬份呈指數級增長,研究人員警告稱,這種激增可能會使NCMEC的工作量達到「難以承受」的程度。美國政府已明確表示,無論是否由AI生成,兒童性虐待材料均屬違法,目前已有48個州出台相關法律以應對AI深度偽造的色情內容問題。但製作這類內容的工具卻廣泛易得,研究人員指出,大量虛假圖像的泛濫會使判斷兒童是否正在遭受真實傷害變得更加困難。

流向NCMEC的AI生成CSAM舉報數量「呈爆炸式增長」

北卡羅來納州總檢察長傑夫·傑克森(Jeff Jackson)是各州總檢察長聯盟AI工作組的聯席主席,他在OpenAI的發布會上表示,流向NCMEC的AI生成CSAM舉報數量「呈爆炸式增長」——如果這一趨勢持續下去,「將意味著我們的使命將無法完成」。科技公司目前面臨一系列政策提案,這些提案可能要求它們採取更多行動來打擊CSAM以及其他可能對兒童造成傷害的內容。《下架法案》(Take It Down Act)現已要求社交媒體平台在48小時內刪除真實或AI生成的非自願色情圖像,而新當選的國會可能會尋求對諸如SpaceX旗下SI公司等AI企業採取更強硬的措施,該公司的Grok聊天機器人今年早些時候曾出現大量生成裸露圖像的行為。上個月,八個州對OpenAI提起訴訟,指控其對兒童造成另一系列損害,相關訴訟指控ChatGPT曾鼓勵非法使用違禁物質及自殺行為。

OpenAI表示,其分類器大幅減少了誤報率,誤報圖像數量減少了48%,同時其識別出的圖像包含虐待性內容的可能性是原來的兩倍。該分類器的設計目標是識別由多種工具(包括開源模型和「去衣」類應用程式)生成的虐待性AI圖像。OpenAI負責兒童安全公共政策的負責人約翰·巴克利(John Buckley)在發布會上表示,這也是首個獲得廣泛應用、且專門針對AI生成材料設置標記功能的CSAM分類器。「對於整個行業而言,能夠區分圖像中是虛構兒童還是真實兒童非常重要,」巴克利補充道,「這種分級判斷在執法舉報流程中至關重要。」不過他也強調,相關法律應當認識到AI生成CSAM本身所帶來的危害:「這種內容可能會侵蝕社會對侵害兒童行為的道德規範認知,而且它經常與涉及真實兒童的性虐待圖像同時出現,」巴克利說道。

OpenAI表示其分類器大幅減少了誤報率,誤報圖像數量減少了48%

OpenAI自身的ChatGPT圖像生成器設計上會拒絕用戶生成CSAM的請求。現在,當用戶嘗試生成此類內容時,系統將顯示一條基於專家指導開發的新警告資訊,旨在引導其尋求幫助。首次違規將觸發24小時的ChatGPT訪問禁令,並警告用戶其帳戶可能被永久關閉,同時系統會提供相關支持資源以幫助其改變這種行為。OpenAI表示,公司會向NCMEC「報告所有CSAM相關事件」。巴克利在一份聲明中解釋稱,24小時暫停訪問的設置依據專家建議的最佳實踐,「以及國際上關於如何有效預防和應對CSAM尋求行為與CSAM生成行為的相關證據」。其目的在於「打斷有害行為,並引導相關人員尋求專業幫助以制止該行為」。

傑克森表示,北卡羅來納州及許多其他州現已出台覆蓋合成CSAM內容的相關法律,但與OpenAI這樣的科技公司合作以遏制此類內容的生成,對於這一新興問題而言屬於相當新穎的應對方式。「各州總檢察長的大部分工作是事後問責,」他在發布會上對記者表示,「我們的司法管轄權大多在傷害發生之後才會介入,用以追究相關人員的責任。但在這件事上,我們希望看看能否建立一種合作模式來預防傷害的發生。我得說,這目前基本上仍屬於一次嘗試性探索。」

宅中地 - Facebook 分享 宅中地 - Twitter 分享 宅中地 - Whatsapp 分享 宅中地 - Line 分享
相關內容
Copyright ©2026 | 服務條款 | DMCA | 聯絡我們
宅中地 - 每日更新