【AICon】探索RAG 技术在实际应用中遇到的挑战及应对策略!AICon精华内容已上线73%>>> 了解详情
写点什么

华为云与鉴黄师不得不说的那些事

  • 2019-01-02
  • 本文字数:3084 字

    阅读完需:约 10 分钟

华为云与鉴黄师不得不说的那些事

相传,在当今时代中有一个神秘的职业——鉴黄师。他们阅片无数,能听声辨位并精准审核并识别出各类违规内容加以处置。但鉴黄师工作量巨大而且人力有限难免有所纰漏,那么如何还互联网一个清静之地,真正实现精准、统一、全面的鉴别违规内容呢?华为云的内容审核服务就可以帮助鉴黄师摆脱当下面临的这一烦恼。



互联网每天都在产生大量数据,对内容的审核带来了很大的挑战,在万物互联的今天,人工审核不仅要付出巨大的劳动力而且难免有不当之处。因此,华为云推出了内容审核服务(Content Moderation),主要涵盖了文本内容检测、涉政敏感检测、视频内容审核、图片内容检测、图像反黄检测等。当前行业中,内容审核主要有人工审核和智能审核两种方式,人工审核需要大量劳动力全天候进行肉眼 + 机器辅助模式的内容审核,问题在于时效性差、风险高、而且规模过大时无法匹配;而智能审核则以 AI 技术为基础,人工判决为辅助。而在当下,能够提供智能审核技术的云平台并不少,这也就给各家企业技术选型造成了困扰。


那么如何选择适合企业而且性能卓越的云服务呢?为了让开发者全面客观的了解华为云内容审核服务性能,华为云联合 InfoQ 共同发起了一场开发者众测活动,18 名来自不同企业的开发者给出专业的建议,下面是详细的测试使用报告。

一、文本内容检测测试

在去年,国家互联网信息办公室《互联网群组信息服务管理规定》明确了互联网群组建立者、管理者应当履行群组管理责任,即“谁建群谁负责”“谁管理谁负责”,对于文本内容的云端检测更是成为重中之重。华为云在内容检测方面的服务主要有以下几种:涉黄、涉政、广告、辱骂、违禁品和灌水文本内容等,还提供自定义的文本敏感内容检测方案。


涉黄、涉政、广告、辱骂、违禁品文本测试


原理:调用华为云提供的 API,可自由设置过滤内容类型,分别为:politics(涉政)、porn(涉黄)、ad(广告)、abuse(辱骂)、contraband(违禁品)、flood(灌水),不输入默认为全部筛选。根据用户输入内容,过滤出文本内容中的“中标词句”,分别把语句放在涉及到的属性下面。返回结果如下:



自定义的文本敏感内容检测测试


原理:用户在后台文本内容检测服务上面自定义配置,并勾选不指定检测场景时启用,可对全部过滤生效。也就是自己建一个关键字库,生效规则与其他预设一致。



测试感受:


1、在涉黄、涉政、辱骂、广告等单个测试时准确无误,在多种组合的场景下,华为云也可以根据返回结果分别查看各个属性下的不同的犯规词语。


2、对于网络用语的灌水文本测试正常,检测出灌水文本反应迅速。值得一提的是,由于网络流行与变更速度很快,而华为云的网络灌水词库在进行实时更新,可以实现自我优化。


3、而在测试中,华为云最具特色的一项功能就是可以自定义词库,这项功能在内容检测标准容易变化的场景下能够更好的控制文本内容;包括政治敏感词、网络用语等词库还做到了实时更新,使得整体服务更加安全。


小结:华为云文本内容检测基本满足了常用文本检测,支持自定义词库来加以补充,再加上实时更新,使得整体开发体验更为安全和智能。

二、反黄检测服务测试

色情性感图片检测测试


原理:根据图片或者图片链接,华为云 API 返回三个维度对应的比例,分别是正常比例、色情比例、性感比例,返回值里的参数 suggestion 结果为 block,则判定为色情图片;性感图片的返回值里的参数 suggestion 结果为 pass,在三个维度的比例中性感比例最大,则认为该图片是性感图片。对于正常与色情比例接近的会返回 review,需要人工确认。


除了普通画面的图片外,华为云还支持画中画涉黄内容的检测,验证反黄检测服务可以识别小窗口涉黄图片。


测试感受:


针对黄色图片检测准确,性感图片准确,画中画涉黄检测也可以正常反馈,整体流程顺利,在特殊情况下也会提供给人工进行确认,没有发生误判情况。


小结:反黄检测针对各个企业都是一个重度需求,人工智能对图片内容检测很有必要,华为云在这方面做的不错,值得用户信赖。

三、暴恐识别服务测试

枪支刀具类测试

原理:根据图片或者图片链接,华为云 API 返回多个维度对应的比例,分别为:fire、bloody、gun、knife、flag、tiananmen、crowd、dress、symbol、normal,如果符合要求就会给出结果为 block,根据各个维度的比例大小来判断中标那个维度。这里以枪支作为例子,测试结果如下:


枪支:


人群聚集测试

验证暴恐识别服务还可以准确的识别人群聚集类图片,若是测试结果中的 suggestion 值若为 block, 且 crowd 的置信度值占比最大,则表示该图片含有人群聚集元素。


测试感受:


1、在测试中枪支图片测试正确。


2、人群聚会检测正确,使用体验流畅


3、现在聚会地点以天安门为例进行了检测,结果无误。也可以做成自定义地点,支持国内大部分标志性建筑。


小结:枪支刀具的检测可以称之为线上安检机,华为云整体表现非常卓越。但这部分服务对企业来讲,需求量并不够大,非刚需内容。

四、涉政敏感检测服务测试

原理:根据图片或者图片链接,华为云 API 返回的结果中给出识别出的名字,根据结果是否为 block,判断是否为违规图片。华为云服务,支持国家领导人、烈士与恐怖分子识别,测试结果如下:



测试感受:


1、各国国家领导人识别正确,能够正确给出姓名;多个领导人也可以识别,识别度很高;测试中中国地市以上级别领导人以及国外名人也能识别正确。


2、烈士识别方面对知名人物识别无误,而针对一些没有图片的烈士,很大一部分是后人绘画留存,可能导致识别率降低,可以通过更新学习库进行改进。


3、恐怖分子测试,一些臭名昭著的恐怖分子检测准确率很高;一些较为少见恐怖分子识别难度较高,但可以通过更新学习库增加识别准确率。


小结:华为云服务在这块中表现最好的是对国家领导人与国际高管的识别,在烈士与恐怖分子识别上处于同行业前列水准,而通过更新学习库也可以进一步增强。

五、视频内容审核服务测试

原理:需要用户上传视频,然后根据返回的任务 id 取查询视频的处理状态。状态有四种类型 created(已创建)、running(正在处理)、finish(已完成)、failed(处理失败)。测试结果可以查看 suggestion 的值,当同时检测多个场景时,suggestion 的值以最可能包含敏感信息的场景为准。即任意场景出现了 block 则总的 suggestion 为 block,所有场景都 pass 时 suggestion 为 pass,这两种情况之外则一定有场景需要 review,此时 suggestion 为 review。


测试感受:


内容视频测试准确,分析原因可能为视频资源帧相对较多,可分析图片也多 ,因而使得测试结果更准确, 测试结果可以给出具体哪一类型问题产生结果,并且可以在色情、涉政、暴恐等各个维度分别给出可能性比例。


小结:视频内容检测服务容纳的类型更多,反黄、暴恐、涉政都会有涉及,这个考验了云服务内容检测的综合功能。华为云在这一块表现不错,充分证明了自己的技术。

总结

在本次测试中,华为云在视频、图片、内容等各个方面的检测中,针对现有网络中资源较多的内容检测准确率很高,这可以显示出其在数据分析以及智能识别等领域的技术沉淀深厚;而在一些变数较高的内容识别检测时,也可以通过更新学习库以及更新检测内容标准实现准确率的提升。在实际应用中,直播行业对于内容审核依赖度非常高。华为云已经成功帮助某视频直播业务实现整体内容审核的智能化升级,审核效率提升了 90%,能够智能化检测“色情内容”、“涉政”和“暴力”等内容,并且问题视频可以在 3 分钟之内快速处理掉。


整体来看,华为云的广告语确实可以准确体现出其目前所处的行业地位:有技术,有未来,值得信赖!与开发者和行业伙伴携手前行, 前方的路依然很长。


更多华为 EI 内容审核信息,请见:https://www.huaweicloud.com/product/imagemoderation.html


2019-01-02 17:247070

评论 1 条评论

发布
用户头像
企鹅3362六295林3 高速外..网.梯.子 免.费测...试
2019-01-02 20:33
回复
没有更多了
发现更多内容

Java Selector模型

邱学喆

buffer selector SelectableChannel SelectionKey

为什么 StringBuilder 不是线程安全的?

xcbeyond

StringBuilder StringBuffer 6月日更

模块六作业

Chris Cheng

架构训练营

有了这个组合拳,不再写bug

看山

DevOps 6月日更

测试开发之网络篇-常用服务协议

禅道项目管理

IP HTTP 协议

物联网发展,行业新领域

anyRTC开发者

音视频 WebRTC 智能硬件 智能安防 实时通讯

bzz节点挖矿分发系统开发案例

薇電13242772558

区块链

一文读懂云原生 go-zero 微服务框架

晨雨听风

GitHub Web Go 语言

【Flutter 专题】101 何为 Flutter Elements ?

阿策小和尚

Flutter 小菜 0 基础学习 Flutter Android 小菜鸟 6月日更

2021中国边缘计算企业20强榜单出炉,EMQ强势入围!

EMQ映云科技

开源 边缘计算 计算 emq

标准物模型:设备无缝对接,IOT界的福音

华为云开发者联盟

物联网 IoT 物模型 标准物模型 IoT Stage

【架构师训练营】电商业务微服务拆分设计

eoeoeo

鸿蒙 和 Fuchsia OS,你更期待谁?

Bob

华为 Google 作业一 Fuchsia 鸿蒙系统

中年程序员转行第1年的感悟|2021 年中总结

王磊

Java 编程 编程之路 编程故事

如何有效地管理项目变更?

万事ONES

项目管理 研发管理 ONES

EasyRecovery Pro绿色破解版,免序列号激活

淋雨

数据恢复 EasyRecovery 文件恢复 Easyrecovery破解 恢复软件

Fuchsia OS vs Harmony OS 谁是下一个领跑

三掌柜

试用期 签约计划

BoCloud博云获评2021云计算PaaS创新领导者

BoCloud博云

容器

react源码解析15.scheduler&Lane

全栈潇晨

React

HarmonyOS学习路之开发篇——Service Ability

爱吃土豆丝的打工人

Server HarmonyOS 路由 Ability Server

GraphQL 初探

wangwei1237

RESTful API graphql

OpenKruise :SidecarSet 助力 Mesh 容器热升级

阿里巴巴云原生

容器 云原生

好的目标管理:SMART原则

石云升

创业 职场经验 管理经验 6月日更

致翻译界最可爱的许老

Qien Z.

翻译 6月日更

恭喜埃文科技入选“2021年中国网安产业潜力之星”!

郑州埃文科技

再添新誉!浪潮云斩获年度领先品牌等多项殊荣

浪潮云

云计算

架构之:数据流架构

程序那些事

架构 系统架构 软件架构 程序那些事

项目管理100问 | 一个完整的缺陷管理流程是什么样的?

万事ONES

项目管理 研发管理 bug ONES

WorkPlus即时通讯-通讯录功能大全

WorkPlus

即时通讯 IM 移动开发 开源安全

云图说|数据仓库服务 GaussDB(DWS) 的“千里眼、顺风耳”—数据库智能运维

华为云开发者联盟

数据库 数据仓库 GaussDB(DWS) 云图说 数据仓库服务

推理综艺的正确打开方式!爱奇艺玩转智能技术,“互动+内容”引爆迷综季

爱奇艺技术产品团队

华为云与鉴黄师不得不说的那些事_服务革新_张红杰_InfoQ精选文章