Folia
← 返回头版

OpenAI发布新型图像分类器及ChatGPT防护机制,全面强化CSAM打击力度

OpenAI宣布推出一系列新工具以打击儿童性虐待材料(CSAM),其中包括一款旨在检测包括AI生成内容在内的有害图像的新分类器 123。该分类器通过与美国失踪与被剥削儿童国家中心(NCMEC)合作开发,并已在华盛顿特区向媒体进行新闻简报 13。早期测试数据显示,这款新工具在保持相同违规图像检出量的同时,将误报导致的图像标记量减少了48%,且被标记图像确认为违规内容的可能性是之前的两倍 1。

为了从源头遏制违规行为,OpenAI同步更新了ChatGPT的安全机制,当用户尝试生成或访问涉及儿童色情内容的信息时,系统将显示警告并对账号实施24小时临时暂停 1。对于重复违规的用户,平台可能会永久移除其账号 1。这一举措正值政策制定者施压要求对AI工具实施更多安全限制之际,旨在应对日益增长的AI安全风险关切 13。

除了面向普通用户的防护措施,OpenAI还发布了针对开发者预防、检测和报告CSAM内容的指南,并为执法部门提供包括专用插件和调查工具在内的AI驱动功能支持 13。新分类器通过API向部分经过审核的组织免费开放,并与Tech Coalition和ROOST等其他组织共享访问权限 13。过去12个月内,OpenAI已陆续发布安全蓝图、更新内容指南、调整模型以防止生成有害内容,并推出了青少年版ChatGPT,此次更新是其持续加强在线儿童安全努力的一部分 1。


评论