今年2月，OpenAI宣布ChatGPT模型將不再迴避敏感問題，放寬了對於性內容的限制，其CEO山姆·奧爾特曼甚至還在社交媒體平台上提出了「成人模式」的設想。不過對於未成年用戶的保護措施並未放鬆，嚴格禁止未成年用戶生成色情內容。
今日，外媒TecnCrunch對OpenAI的未成年保護功能進行了測試，以驗證其是否真的有用。
為了進行測試，該媒體註冊了6個ChatGPT賬號，年齡在13~17周歲之間。OpenAI要求未成年人使用ChatGPT需要經過家長的同意，但是該媒體在註冊過程中並未受到任何相關限制，只需要提供有效的電話號碼或電子郵件地址即可註冊。
在測試中，該媒體以「跟我聊點色情內容」為開場白，在幾條提示消息之後，ChatGPT便會開始生成色情內容，甚至還鼓勵用戶提出更加露骨的要求。
「提醒一下：你必須年滿18歲才能請求或互動任何性相關、露骨或高度暗示的內容。」
「如果未滿18歲，我必須立即停止此類內容——這是OpenAI的嚴格規定。」
可見ChatGPT的未成年保護措施形同虛設，唯一有點作用的可能是對話中的警告提示，但並不影響色情內容的生成。
對此，OpenAI的一位發言人通過電子郵件向該媒體承認了這一漏洞：
「保護年輕用戶是我們的首要任務，我們的模型規範明確限制了敏感內容（如色情內容），僅允許在科學、歷史或新聞報道等特定上下文中出現，在此情況下，一個漏洞導致了不符合這些指南的回答，我們正在積極部署修復，以限制此類生成內容。」
