ChatGPT修复未成年人可生成色情图片的漏洞 某些情况下甚至鼓励生成此类内容
ChatGPT 在注册时会要求用户填写出生年月用来判断用户年龄,如果用户未满 18 周岁则是未成年人,这种情况下使用 ChatGPT 会有较严格的限制避免生成色情内容。不过目前 ChatGPT 存在漏洞允许未成年人生成色情图片,甚至在某些情况下 ChatGPT 还会鼓励用户要求生成更淫秽和更加露骨的内容,目前 OpenAI 已经确认这个问题并准备部署修复程序封堵漏洞。
OpenAI 表示其安全政策不允许 18 周岁以下的用户看到包含色情或露骨的回复,保护年轻用户是公司的首要任务,用于指导模型行为的模型规范明确将色情内容等敏感内容限制在科学、历史或新闻报道等狭窄的语境种。但目前存在的漏洞允许超出这些准则的回应,我们正在积极部署修复程序以限制这些年龄段的用户生成此类内容。
正常情况下用户要求 ChatGPT 生成色情内容是被拒绝的,但和大多数 AI 模型一样,用户可以通过某些提示词技巧绕过 OpenAI 的安全政策,因此无论是否成年其实都可以生成色情内容。
2025 年 2 月份 OpenAI 在模型规范种指出在某些特定场景下使用的安全边界可能会阻碍用户的正常使用,为此有部分用户提交反馈希望 OpenAI 能够支持成人模式,而这些特定场景就包括科学、历史、新闻、创意和其他敏感内容适当的背景下。
在这种背景下 ChatGPT 可以生成色情内容、非法或非自愿性行为的描述以及极端血腥内容,简单来说就是原本的安全边界虽然为大多数人尤其是未成年人提供保护,但也妨碍专业人士使用 ChatGPT 分析犯罪现场描述、某些类型的报道、可能包含暴力或性内容的法律文本甚至影响到某些专业的医学文本。
当然 OpenAI 严格限制未成年人生成和接触此类内容,哪怕是在特定的场景下,所以本次出现的情况就属于 OpenAI 的安全漏洞了,不过即便这次修复估计接下来还会出现其他能够绕过限制的提示词技巧,这时候 OpenAI 就得跟着修复。