生成式 AI 慢慢进入普通人生活之后,大家想要做图文或者短视频,操作起来会简单很多。但是也随之出现了一些不好的情况,有一部分人利用 AI 修改动画素材,制作出一些不合适的内容。这些内容在网上传播,也给未成年人的网络保护带来了新的难题。在这段时间,小红书开展未成年人保护专项工作,平台清理了超过 12 万篇 AI 魔改不良动画笔记,同时平台也一直在完善青少年相关的防护功能。
一、AI 魔改动画:披着卡通形象的网络隐患
制作这类 AI 魔改内容的人,一般都会挑选大家比较熟悉的卡通角色来做包装,他们会用 AI 修改动画原本的剧情,往里面加入一些猎奇,看着让人不舒服的情节。这类内容的封面颜色很鲜艳,画风看上去也很可爱,年龄比较小的孩子很容易被吸引,然后就点开观看。
未成年人分辨信息好坏的能力还没有完全成熟,他们如果长时间观看这类被改动过的动画,想法很容易受到误导。除此之外,制作者能够快速批量做出很多不一样版本的魔改内容,内容更新的速度很快,这也让平台审核内容的工作变得更加困难。
AI魔改动画风险图
二、平台治理手段:智能识别与人工复核一起使用
小红书在开展这次专项治理的时候,同时使用智能识别技术还有人工检查这两种方式。平台搭建了专门识别 AI 魔改动画的模型,系统会对比动画形象还有画面特征,平台就能够及时找到违规笔记,并且把笔记下架处理。对于批量制作,还一直在传播这类不良内容的账号,平台会限制账号的部分功能,如果情节比较严重,账号会被直接封禁。平台一旦查到涉嫌违法的线索,平台就会按照相关规定交给公安部门,追查这些不良内容是从哪里来的。
三、疏堵结合:平台增加适合青少年观看的优质内容
平台开展的治理工作,不只是单纯删除已经存在的违规内容,小红书也在增加适合青少年浏览的优质笔记。平台调整了未成年人专属模式,新增科普、手工、艺术这些方向的内容。当用户搜索儿童动画相关关键词的时候,系统会优先展示已经审核完成的正版动画。平台希望依靠优质内容占据流量,减少未成年人刷到不良内容的机会。
与此同时,平台还在调整语义识别能力,更新网络小众暗语资料库,拦截那些依靠特殊暗语传播不良信息的笔记。平台还清理面向未成年人的不当营销笔记,从多个方面减少网络环境里会伤害青少年的信息。
四、未成年人网络保护工作需要多方一起努力
未成年人网络保护这件事,不能只依靠平台单方面去完成。监管部门、网络平台、学校还有家庭,都需要参与到这件事当中。家长可以打开平台自带的青少年模式,家长平时多陪着孩子上网,引导孩子辨认网上那些奇怪、看着不舒服的内容。用户看到可疑笔记的时候,可以使用平台自带的举报功能提交反馈。
AI 本身只是一种工具,这个工具会带来什么样的效果,是由使用它的人决定的。现在 AIGC 生成的内容越来越多,平台需要持续更新审核技术,做好日常的治理工作。各方互相配合,能够减轻不良 AI 内容对未成年人造成的影响,为青少年搭建一个更安全的上网环境。