GMTC 全球大前端技术大会 8 折涨价倒计时 2 天,现在购票立减 ¥960 ! 了解详情
写点什么

构建用户安全评级,UGC 智能化审核应用实践

2021 年 4 月 13 日

构建用户安全评级,UGC智能化审核应用实践

导言

将人工智能(AI, Artificial Intelligence)技术,用于审核互联网上用户生产内容(UGC,User Generated Content)日益广泛,能够提高人工审核的效率。AI 审核既要考虑单个内容的违规情况,也要延伸到发布该内容的用户维度上。本文将分享智能化审核在爱奇艺审核业务中的实践和应用:对用户的安全性进行建模和评级,同时结合 AI 内容安全检测,实现更智能化、更高效的 UGC 审核策略。

背景

互联网内容安全审核,即对用户生产的视频、音频、图片、文字等内容进行审查,合规的内容才能发布,以净化网络环境。


目前业界采用的审核策略是 AI+人工。其中 AI 策略主要是采用深度学习模型,从图片、文本、音频等内容维度,智能识别其中的涉政、涉黄、暴恐等违规信息,即 AI 内容安全检测。图 1 是当前主流的智能化审核解决方案。

图 1:主流的智能化审核解决方案


然而,搭建一套 AI 内容安全检测服务的成本较高:一方面,针对涉黄、暴恐等不同的违规类型,需要大量、分类别、高质量的标注数据,主要是人工标注;另一方面,为达到可用的准确率,普遍采用深度模型,训练和推理都依赖昂贵的 GPU 资源。


业界也考虑到,内容的安全不应只在单个内容上,还需要结合更高的维度,如上传内容的用户,主要有两个形式:1,建立用户黑、白名单;2,基于用户历史数据,定义运营规则,给用户打分。这种方案存在准确度低、误判高的问题。


为了优化上述问题,本文借鉴用户风控的思想,提出了用户安全评级:采用机器学习算法,对用户的信誉度、安全性进行建模,能够预测用户的未来表现。之后,再结合 AI 内容安全检测和人工审核,制定灵活的审核策略,实现了智能化审核,并在爱奇艺审核业务中落地。

UGC 智能化审核

方案设计

本文提出的 UGC 智能化审核方案,主要包含两个部分:


用户安全评级。评估用户的安全性,一方面,为了可量化、更客观,主要从用户上传内容的通过率、高危率等维度进行衡量。另一方面,为了具有前瞻性,采用 AI 算法,对其进行预测。


智能化审核策略。用户上传一条内容后,将优先调用其安全评级,对高等级用户的内容,可以不调用 AI 内容安全检测服务。并且可以影响审核优先级,用户等级越高,审核的耗时越短。


因此,该方案具有以下优势:

1.用户安全评级定义客观,并具有未来预见性,因此准确度高;

2.节约成本。用户安全评级不依赖人工标注,并且计算轻量。也减少了 AI 计算资源;

3.降低合规内容的审核耗时,提升用户体验;

4.辅助审核,提高人工审核效率。

用户安全评级

用户安全评级的建模,采用了自监督的机器学习方案。首先,收集用户历史上传和审核数据、用户画像、用户注册认证等业务方数据;然后,统计计算用户的特征,并自动化标注其安全等级,从而形成训练数据;之后,结合业务特点,进行提取、筛选、变换等特征工程;最后,选择合适的 AI 算法,进行模型训练,并评估效果。整体流程如图 2

图 2:用户安全评级的构建流程

——用户安全评级的无监督标注

用户安全评级,是以用户上传内容的审核结果表现为标准,划分为不同的安全等级。等级越高,其生产的 UGC 越安全,即审核通过的概率越高、违规的程度越低; 反之亦然。


用户安全等级的标注,同时要具有一定的预见性和前瞻性,所以主要参考用户在“未来”一段时间内的表现,历史的表现为辅。另外,如果采用人工标注的方式,一方面,评估标准不好确定,难度大;另一方面,用户的表现是变化的,需要经常标注一批用户等级,以保持模型更新迭代,很耗人力。


为此,本方案采用了无监督标注、客观直接的等级评估标准。不同时间区间(如未来 1 天,历史 1 天、7 天)设置不同的权重系数,加权计算每个用户的综合通过率 PassRate, 

其中,pi为一个用户在时间区间 i 内生产内容的审核通过量,ti为该时间区间内生产内容的总量,wi为相应时间区间的权重系数。


再结合置信度(如通过率方差、上传总量),定义各个安全等级的标准,从而将每个用户划分到对应的等级。比如,共划分 10 级。


——特征工程及模型训练

所需特征,主要是用户在审核业务中的历史行为,如在历史近 1 天、7 天、30 天等各时间区间内的通过率、上传量、高危量等维度的特征。同时,也可以尽可能从其他业务方收集用户的数据,例如,用户的注册信息、用户画像、被举报等数据,能从一定角度反应用户的安全性。


有了用户的特征数据,和上小节中的用户安全等级标注进行拼接,构造出训练数据,样本形式如表 1

表 1:用户安全等级模型的样本


构造完训练数据之后,便可以选择合适的算法,进行特征工程,和用户安全等级模型的训练。


用户安全等级模型,属于多分类问题。考虑到特征中连续值较多的特点,选用 GBDT 算法(Gradient Boosting Decison Tree,梯度提升决策树),并选用了 XGBoost 开源框架。XGBoost 是 GBDT 的高效实现,具备运行效率高、健壮性好等特点。


为减少特征工程,提高预测的准确度,也采用了 DeepFM 深度学习算法,并改进了网络结构,见图 3。比如,将通过率特征分桶转化为 one-hot 特征,支持 multi-hot 类型特征。最后,会将 GBDT 和 DeepFM 两个模型的预测结果进行融合。

图 3:用户安全等级的 DeepFM 网络结构


由于整体用户的表现会随时间有变动,为了保证模型效果的稳定性,模型会定期地自动化更新。因为是无监督标注,所以模型更新很简便:统计计算每天的用户特征和对应的等级标签,即当天的样本,再和历史样本合并,得到训练样本,随机划分训练集和测试集;然后分别训练 GBDT 和 DeepFM 模型;并在测试集上评估效果,若效果达到预设的阈值,即可发布到线上服务。


——模型优化

UGC 审核不通过的原因有很多种,有广告、灌水等普通违规类型,也有涉政、色情等高危违规类型。高危内容的影响恶劣,危害极大,为了识别这类内容,本文特别重点关注。用户安全等级模型,由于主要以用户通过率为标准,对于高危违规内容的预测能力较弱。为此,专门增加了一个高危用户的检测模型,用于预测用户在未来几天是否会发布高危违规类型的内容。


高危用户的标注,和用户安全等级的标注类似,但更简单,主要是看用户在未来几天是否发布了高危内容。用户特征也与用户安全等级模型的相似,构造出的训练数据形式如表 2


表 2:高危用户检测模型的样本


高危用户检测模型,属于二分类问题,主要在于召回高危用户,筛选出高危内容,以降低平台的风险。算法也选用了 GBDT 模型与改进的 DeepFM 模型。具体流程如图 4


增加高危用户检测模型后,大幅提升了对高危用户和内容的检测能力。

图 4:用户安全评级的综合流程


——模型推理

得益于公司完善的大数据处理平台和机器学习平台,训练数据的收集和计算,用户安全等级模型和高危用户检测模型的训练、评估和推理部署,能够很方便、高效地完成。


当某用户上传了一条内容,首先可能会经过用户风控等环节,决定用户能否上传内容。上传成功后,进入审核流程:基于用户 ID,先获取模型所需的用户特征,再实时请求用户等级模型和高危模型的线上推理服务,从而获得用户的安全等级和高危结果。


将两种预测结果融合,确定最终的用户安全类别。首先,对于十级的安全等级,根据各业务的实际情况,可将 1-10 安全等级灵活地划归为高、中、低三个等级,如 9~10 级为高等级用户;5~8 级为中等级;1~4 级为低等级。然后,结合是否高危,最终划分为三类用户:安全用户、一般用户、危险用户,如表 3

智能化审核策略

得到用户的安全类别后,可以灵活地配置不同的审核和发布策略,实现智能化的审核。例如,可以定制表 3 策略:

表 3:用户类别划分及智能化审核策略


无论是极速通道,还是普通通道,经审核后发布到线上的 UGC,还将监测其在线上的曝光量、曝光时长、举报等指标,当达到一定阈值时,将其召回,回流到监控审核流程。这种策略,使得所有的内容,都会经过交叉审核、人工审核,并且可能会经过多次人工审核,确保了内容的安全可控。


对于各个 UGC 在人工审核时的优先级,上传用户的安全等级将作为一项重要因子参与到优先级的计算,最终的优先级还会参考内容的上传时间、是否新用户上传等多种因素。安全评级越高,其上传的 UGC 越优先被审核,降低了合规 UGC 的审核时长。


综上所述,智能化的审核策略如图 5 所示:

图 5,智能化审核策略

总结

本方案构建了一套用户安全评级模型,定义了以通过率和高危违规与否为主要衡量指标的用户安全标准。无监督标注数据,基于各维度的历史行为和属性等特征,训练得到用户安全等级模型和高危用户检测模型;并融合两个模型的结果,准确地预测出用户的安全类型。之后,再结合 AI 内容安全检测的结果,筛选出安全的内容,极速通道审核发布。既降低了 AI 内容模型的计算资源和时间消耗;又大幅缩短了审核发布时间,提升了用户体验;并且,通过人工审核,确保了内容的安全可控。


该智能化审核方案在 UGC 视频审核业务上线后,AI 内容模型的计算资源减少了 25%;优质视频的平均审核时长缩短了 80%。


后续,将继续探索通过优化标注方案和改进算法模型,以提高用户安全类别的预测准确性;同时对于图文审核、直播审核等业务,分别训练模型,以赋能更多业务。从而持续提升审核的时效和效率,优化用户体验,保障爱奇艺的内容安全。


本文转载自:爱奇艺技术产品团队(ID:iQIYI-TP)

原文链接:构建用户安全评级,UGC智能化审核应用实践

2021 年 4 月 13 日 07:001017

评论

发布
暂无评论
发现更多内容

企业使用云计算低效益怎么办?区块链或成良药

CECBC区块链专委会

云计算

阿里云开源项目 OAM 负责人张磊入选「中国开源先锋 33 人」

阿里巴巴云原生

开源 开发者 云原生 k8s cncf

ARTS打卡 第28周

引花眠

微服务 ARTS 打卡计划 springboot

软件测试所需要掌握的技能

测试人生路

软件测试

区块链食品溯源系统开发,农产品溯源小程序搭建

13530558032

最新蚂蚁五面、拼多多三面、字节四面(已入职拼多多),个人面经分享

Java成神之路

Java 程序员 架构 面试 编程语言

利用文字技术帮助选购商品,慧眼“识”物的人都这样做……

华为云开发者社区

文字识别 智能 识别

阿里“云钉一体”加速整合 低代码开发平台“钉钉宜搭”发布

人称T客

CEG挖矿系统APP开发|CEG挖矿软件开发

开發I852946OIIO

系统开发

圣诞狂欢,保险师APP赋能精细、个性化的运营服务

DT极客

7年Java开发经验,面试20多家公司,砍下16个Offer,总结干货面试题!

Java架构追梦

Java 架构 面试 面试题 大厂

美团工作7年,精华全在这份学习笔记里了,已成功帮助多位朋友拿到5个大厂Offer

Java成神之路

Java 程序员 架构 面试 编程语言

阿里Java岗个人面经分享(技术三面+技术HR面):Java基础+Spring+JVM+并发编程+算法+缓存

Java成神之路

Java 程序员 架构 面试 编程语言

LeetCode题解:剑指 Offer 40. 最小的k个数,sort,JavaScript,详细注释

Lee Chen

算法 LeetCode 前端进阶训练营

你真的会学习吗?从结构化思维说起

阿里巴巴云原生

云原生 技术人 自我思考 职场成长 成长笔记

如何通过一个SDK轻松搞定人脸识别,拯救初入职场的程序猿

华为云开发者社区

人脸识别 智能 识别

5年Java开发,面试4大厂(阿里、拼多多、字节、美团)后,我总结出大厂高频面试真题及解析

Java成神之路

Java 程序员 架构 面试 编程语言

任务调度框架Quartz快速入门

程序员小毕

Java 架构 分布式 框架 quartz

秋招末声大厂社招面经:蚂蚁金服、拼多多、字节跳动(现已入职蚂蚁)

Java成神之路

Java 程序员 架构 面试 编程语言

Dubbo 3.0 前瞻系列:服务发现支持百万集群,带来可伸缩微服务架构

阿里巴巴云原生

开源 微服务 云原生 dubbo 中间件

阿里云仓库使用小技巧

Java maven

大作业2

追风

架构师一期

智慧公安警务大数据分析研判云平台开发

13530558032

从根上理解高性能、高并发(二):深入操作系统,理解I/O与零拷贝技术

JackJiang

网络编程 高并发 高性能 即时通讯

SpringBoot系列(7)- 自动装配

引花眠

springboot

浅谈如何做客户端性能测试

行者AI

性能测试

Seata-AT 如何保证分布式事务一致性

阿里巴巴云原生

云计算 开源 分布式 微服务 云原生

漏洞扫描软件AWVS的介绍和使用

行者AI

安全 漏洞

道高一丈,且看CWE4.2的新特性

华为云开发者社区

技术 安全 漏洞

智慧平安小区整体解决方案,智慧社区管控系统开发

13530558032

ModelArts黑科技揭秘|弹性训练,让训练资源张弛有度

华为云开发者社区

学习 华为云

构建用户安全评级,UGC智能化审核应用实践-InfoQ