构建用户安全评级，UGC 智能化审核应用实践

导言

将人工智能（AI, Artificial Intelligence）技术，用于审核互联网上用户生产内容（UGC，User Generated Content）日益广泛，能够提高人工审核的效率。AI 审核既要考虑单个内容的违规情况，也要延伸到发布该内容的用户维度上。本文将分享智能化审核在爱奇艺审核业务中的实践和应用：对用户的安全性进行建模和评级，同时结合 AI 内容安全检测，实现更智能化、更高效的 UGC 审核策略。

背景

互联网内容安全审核，即对用户生产的视频、音频、图片、文字等内容进行审查，合规的内容才能发布，以净化网络环境。

目前业界采用的审核策略是 AI+人工。其中 AI 策略主要是采用深度学习模型，从图片、文本、音频等内容维度，智能识别其中的涉政、涉黄、暴恐等违规信息，即 AI 内容安全检测。图 1 是当前主流的智能化审核解决方案。

图 1：主流的智能化审核解决方案

然而，搭建一套 AI 内容安全检测服务的成本较高：一方面，针对涉黄、暴恐等不同的违规类型，需要大量、分类别、高质量的标注数据，主要是人工标注；另一方面，为达到可用的准确率，普遍采用深度模型，训练和推理都依赖昂贵的 GPU 资源。

业界也考虑到，内容的安全不应只在单个内容上，还需要结合更高的维度，如上传内容的用户，主要有两个形式：1，建立用户黑、白名单；2，基于用户历史数据，定义运营规则，给用户打分。这种方案存在准确度低、误判高的问题。

为了优化上述问题，本文借鉴用户风控的思想，提出了用户安全评级：采用机器学习算法，对用户的信誉度、安全性进行建模，能够预测用户的未来表现。之后，再结合 AI 内容安全检测和人工审核，制定灵活的审核策略，实现了智能化审核，并在爱奇艺审核业务中落地。

UGC 智能化审核

方案设计

本文提出的 UGC 智能化审核方案，主要包含两个部分：

用户安全评级。评估用户的安全性，一方面，为了可量化、更客观，主要从用户上传内容的通过率、高危率等维度进行衡量。另一方面，为了具有前瞻性，采用 AI 算法，对其进行预测。

智能化审核策略。用户上传一条内容后，将优先调用其安全评级，对高等级用户的内容，可以不调用 AI 内容安全检测服务。并且可以影响审核优先级，用户等级越高，审核的耗时越短。

因此，该方案具有以下优势：

1.用户安全评级定义客观，并具有未来预见性，因此准确度高；

2.节约成本。用户安全评级不依赖人工标注，并且计算轻量。也减少了 AI 计算资源；

3.降低合规内容的审核耗时，提升用户体验；

4.辅助审核，提高人工审核效率。

用户安全评级

用户安全评级的建模，采用了自监督的机器学习方案。首先，收集用户历史上传和审核数据、用户画像、用户注册认证等业务方数据；然后，统计计算用户的特征，并自动化标注其安全等级，从而形成训练数据；之后，结合业务特点，进行提取、筛选、变换等特征工程；最后，选择合适的 AI 算法，进行模型训练，并评估效果。整体流程如图 2：

图 2：用户安全评级的构建流程

——用户安全评级的无监督标注

用户安全评级，是以用户上传内容的审核结果表现为标准，划分为不同的安全等级。等级越高，其生产的 UGC 越安全，即审核通过的概率越高、违规的程度越低; 反之亦然。

用户安全等级的标注，同时要具有一定的预见性和前瞻性，所以主要参考用户在“未来”一段时间内的表现，历史的表现为辅。另外，如果采用人工标注的方式，一方面，评估标准不好确定，难度大；另一方面，用户的表现是变化的，需要经常标注一批用户等级，以保持模型更新迭代，很耗人力。

为此，本方案采用了无监督标注、客观直接的等级评估标准。不同时间区间（如未来 1 天，历史 1 天、7 天）设置不同的权重系数，加权计算每个用户的综合通过率 PassRate， 

其中，p_i为一个用户在时间区间 i 内生产内容的审核通过量，t_i为该时间区间内生产内容的总量，w_i为相应时间区间的权重系数。

再结合置信度（如通过率方差、上传总量），定义各个安全等级的标准，从而将每个用户划分到对应的等级。比如，共划分 10 级。

——特征工程及模型训练

所需特征，主要是用户在审核业务中的历史行为，如在历史近 1 天、7 天、30 天等各时间区间内的通过率、上传量、高危量等维度的特征。同时，也可以尽可能从其他业务方收集用户的数据，例如，用户的注册信息、用户画像、被举报等数据，能从一定角度反应用户的安全性。

有了用户的特征数据，和上小节中的用户安全等级标注进行拼接，构造出训练数据，样本形式如表 1：

表 1：用户安全等级模型的样本

构造完训练数据之后，便可以选择合适的算法，进行特征工程，和用户安全等级模型的训练。

用户安全等级模型，属于多分类问题。考虑到特征中连续值较多的特点，选用 GBDT 算法（Gradient Boosting Decison Tree，梯度提升决策树），并选用了 XGBoost 开源框架。XGBoost 是 GBDT 的高效实现，具备运行效率高、健壮性好等特点。

为减少特征工程，提高预测的准确度，也采用了 DeepFM 深度学习算法，并改进了网络结构，见图 3。比如，将通过率特征分桶转化为 one-hot 特征，支持 multi-hot 类型特征。最后，会将 GBDT 和 DeepFM 两个模型的预测结果进行融合。

图 3：用户安全等级的 DeepFM 网络结构

由于整体用户的表现会随时间有变动，为了保证模型效果的稳定性，模型会定期地自动化更新。因为是无监督标注，所以模型更新很简便：统计计算每天的用户特征和对应的等级标签，即当天的样本，再和历史样本合并，得到训练样本，随机划分训练集和测试集；然后分别训练 GBDT 和 DeepFM 模型；并在测试集上评估效果，若效果达到预设的阈值，即可发布到线上服务。

——模型优化

UGC 审核不通过的原因有很多种，有广告、灌水等普通违规类型，也有涉政、色情等高危违规类型。高危内容的影响恶劣，危害极大，为了识别这类内容，本文特别重点关注。用户安全等级模型，由于主要以用户通过率为标准，对于高危违规内容的预测能力较弱。为此，专门增加了一个高危用户的检测模型，用于预测用户在未来几天是否会发布高危违规类型的内容。

高危用户的标注，和用户安全等级的标注类似，但更简单，主要是看用户在未来几天是否发布了高危内容。用户特征也与用户安全等级模型的相似，构造出的训练数据形式如表 2：

表 2：高危用户检测模型的样本

高危用户检测模型，属于二分类问题，主要在于召回高危用户，筛选出高危内容，以降低平台的风险。算法也选用了 GBDT 模型与改进的 DeepFM 模型。具体流程如图 4。

增加高危用户检测模型后，大幅提升了对高危用户和内容的检测能力。

图 4：用户安全评级的综合流程

——模型推理

得益于公司完善的大数据处理平台和机器学习平台，训练数据的收集和计算，用户安全等级模型和高危用户检测模型的训练、评估和推理部署，能够很方便、高效地完成。

当某用户上传了一条内容，首先可能会经过用户风控等环节，决定用户能否上传内容。上传成功后，进入审核流程：基于用户 ID，先获取模型所需的用户特征，再实时请求用户等级模型和高危模型的线上推理服务，从而获得用户的安全等级和高危结果。

将两种预测结果融合，确定最终的用户安全类别。首先，对于十级的安全等级，根据各业务的实际情况，可将 1-10 安全等级灵活地划归为高、中、低三个等级，如 9~10 级为高等级用户；5~8 级为中等级；1~4 级为低等级。然后，结合是否高危，最终划分为三类用户：安全用户、一般用户、危险用户，如表 3。

智能化审核策略

得到用户的安全类别后，可以灵活地配置不同的审核和发布策略，实现智能化的审核。例如，可以定制表 3 策略：

表 3：用户类别划分及智能化审核策略

无论是极速通道，还是普通通道，经审核后发布到线上的 UGC，还将监测其在线上的曝光量、曝光时长、举报等指标，当达到一定阈值时，将其召回，回流到监控审核流程。这种策略，使得所有的内容，都会经过交叉审核、人工审核，并且可能会经过多次人工审核，确保了内容的安全可控。

对于各个 UGC 在人工审核时的优先级，上传用户的安全等级将作为一项重要因子参与到优先级的计算，最终的优先级还会参考内容的上传时间、是否新用户上传等多种因素。安全评级越高，其上传的 UGC 越优先被审核，降低了合规 UGC 的审核时长。

综上所述，智能化的审核策略如图 5 所示：

图 5，智能化审核策略

总结

本方案构建了一套用户安全评级模型，定义了以通过率和高危违规与否为主要衡量指标的用户安全标准。无监督标注数据，基于各维度的历史行为和属性等特征，训练得到用户安全等级模型和高危用户检测模型；并融合两个模型的结果，准确地预测出用户的安全类型。之后，再结合 AI 内容安全检测的结果，筛选出安全的内容，极速通道审核发布。既降低了 AI 内容模型的计算资源和时间消耗；又大幅缩短了审核发布时间，提升了用户体验；并且，通过人工审核，确保了内容的安全可控。

该智能化审核方案在 UGC 视频审核业务上线后，AI 内容模型的计算资源减少了 25%；优质视频的平均审核时长缩短了 80%。

后续，将继续探索通过优化标注方案和改进算法模型，以提高用户安全类别的预测准确性；同时对于图文审核、直播审核等业务，分别训练模型，以赋能更多业务。从而持续提升审核的时效和效率，优化用户体验，保障爱奇艺的内容安全。

本文转载自：爱奇艺技术产品团队（ID：iQIYI-TP）

原文链接：构建用户安全评级，UGC智能化审核应用实践