QCon上海站购票倒计时最后3天!查看精彩日程 了解详情
写点什么

美图海量短视频内容分析与检索(一)

2019 年 11 月 30 日

美图海量短视频内容分析与检索(一)

在 RTC 2018 实时互联网大会上,美图云视觉技术总监赵丽丽分享了美图在短视频领域的 AI 技术应用,内容主要包括三部分:美图短视频的业务场景,基于此业务场景所做的短视频内容分析和检索技术,以及遇到的问题与相应的解决方案。最后是平台构建过程中的一些思考。以下是演讲内容整理。


美图在短视频领域的代表产品就是 2014 年发布的短视频应用“美拍”。近几年也出现了一些竞品,比如抖音、快手。近期美拍也在内容上做了重新的调整和定位,主要是美和教程,希望用户在娱乐的过程中,也能吸取一些有营养的信息和知识。


一个视频所涉及的技术

一个视频在它的生命周期内可能涉及到许多处理技术。从 2D 和 3D 捕获开始,然后是编解码,这个阶段还涉及到传输、存储,然后是编辑与处理,比如剪辑、滤镜美化、风格转化、背景分割。随后是信息提取,包括物体识别、场景检测、人物分析、行为识别、主题提取、事件检测。以上步骤完成后,我们拿到了海量视频,还要做视频的检索。它有两部分作用,一是通过给定的视频,来检索其中是否有我们想要的内容;另一个是通过给定的视频在海量的数据库中检索出相似视频。


AI 技术在美图短视频业务中的应用主要两个层面,一是工具层面,二是内容层面。


工具层面是用 AI 技术对视频进行处理,比如对视频人物的美化,背景的替换,还有视频中人物的瘦身功能。内容层面就是标签化,比如识别视频中的物体,检测视频中的场景,还有对用户行为的一些检测。另外,最重要的是,我们拿到一个视频之后,可以利用 AI 对画质、视频内容是否违规进行检测。我们提取视频特征之后进行一些视频检索的工作,以这些工作去支撑围绕短视频的业务,包括用户画像、运营、推荐、搜索。


基于以上业务需求我们构建了一个多媒体内容分析和检索的平台,这个平台在基于内容分析算法组建基础之上分为两部分,一是多媒体内容分析平台,它负责分析视频内容特征,并进行标签化。另一个是多媒体数据检索平台。


短视频内容分析与检索的技术挑战

在拿到一个视频后,如何了解它的内容,这其实是一个多层面多维度的问题。首先最简单的,我们看到一个视频后,第一反应是它的色调、纹理、风格、画质如何。再更进一步,我们需要了解这个视频包含了哪些物体,发生的场景在哪里,有哪些人物特征,包括性别、年龄、特征、服饰,同时这个内容是否违规。另外,还有更深层次的对视频内容的识别、检测,比如学术界较为前沿的研究就是行为识别。这也是美图分析一个视频内容时候会涉及的几个维度。


基于以上业务需求,我们通过对视频、音频、图象、文本,进行处理,将其传输给多媒体内容分析平台,然后解析出以下四类信息:


  • 基础特征:色调、纹理、风格、画质;

  • 人物解析:性别、年龄、颜值、发型、服饰风格;

  • 商品解析:商品识别、品牌识别;

  • 通用内容解析:视频分类、特征提取、场景分类、角度检测、物体检测、水印检测、封面选取。


基于此,多媒体内容分析平台会提供出标签、特征、索引,以支持业务需求。


短视频数据有几个特点:


  • 视频来源:手机拍摄;

  • 视频形态:竖屏、人物中心化、特效和滤镜化;

  • 视频结构:同个视频内场景固定;

  • 信息维度:多模态信息、画面和背景音频不一致;

  • 数据量大;

  • 内容未知 ;

  • 时效性;


在构建这个平台的过程中,我们遇到了一系列问题。总结起来有两个比较关键的问题:


一方面是如何有效定义标签体系。前面提到,标签是这个平台的一种输出形式。我们需要先确定输出哪些标签会对业务有所帮助,所以标签的定义非常重要。基于深度学习的算法训练需要有一些训练数据,训练数据中这个标签是怎么制定的,也非常重要。


另一方面是如何提高模型迭代效率。短视频数据有很强的时效性,比如说两个月前训练的模型,可能两个月后效果已然没那么好了,所以我们需要有一种机制能快速进行数据标注,替换到线上,稳定支撑业务。


2019 年 11 月 30 日 22:53749

评论

发布
暂无评论
发现更多内容

朱嘉明:新冠肺炎疫情如何改变社会成本观念和结构

CECBC区块链专委会

社会结构 社会观念

区块链技术可提高数据可信性和安全性

CECBC区块链专委会

区块链技术 安全性

30万奖金等你拿!Apache Flink 极客挑战赛入门指南(附Demo)

Apache Flink

flink

调度选得好,下班回家早

易观大数据

【Elasticsearch 技术分享】—— Elasticsearch 存储一条数据, put 过程是什么样子的?

程序员小航

Java elasticsearch 搜索 ES Lucene Elastic Search

week11 作业

雪涛公子

安全&高可用架构

dony.zhang

高可用 安全 安全架构 高可用系统的架构 高可用系统的运维

LeetCode题解:20. 有效的括号,while循环replace,JavaScript,详细注释

Lee Chen

LeetCode 前端进阶训练营

XSKY S3 Console 为对象存储系统赋能

XSKY融合存储

架构师训练营第十一章作业

吴吴

奈学:红黑树(RedBlackTree)的概述

古月木易

合约跟单APP开发模式,合约跟单系统源码搭建

13530558032

区块链钱包系统开发服务商,区块链钱包应用搭建

13530558032

java 是什么?作用是什么?

InfoQ_34a83d636158

合同、封条、电梯……通通上链!

CECBC区块链专委会

区块链技术 监管平台

Week11总结

leis

奈学:红黑树(RedBlackTree)的概述

奈学教育

AVL

架构师训练营第 11 周——练习

李伟

极客大学架构师训练营

架构师培训 -11 安全、高可用

刘敏

系统高可用

陈皮

导致系统不可用的原因有哪些?

leis

Java二进制和位运算,这一万字准能喂饱你

YourBatman

位运算 二进制

对于三千万攀登者来说,云是安全绳,是登山杖,是趋顶之路

脑极体

极客大学架构师训练营---习题

李朋

Cause: java.sql.SQLTimeoutException: ORA-01013: user requested cancel of current

青乡之b

Druid

SpreadJS 纯前端表格控件应用案例:在线问卷系统

Geek_Willie

不可用与高可用

dongge

架构师课程第十一周总结

dongge

《黑神话:悟空》出圈背后,国产3A游戏的技术新机

脑极体

图解 K8s 核心概念和术语

后端进阶

Docker Kubernetes 容器 云原生 k8s

第11周 安全和高可用

陆不得

美图海量短视频内容分析与检索(一)-InfoQ