写点什么

视频的诞生与变迁:人工智能引领视频创新

2019 年 10 月 05 日

视频的诞生与变迁:人工智能引领视频创新

作为优质的信息载体,在视频诞生至今的 150 年里,它的传播过程却没有太多改变。而随着近年机器视觉技术与视频的充分融合,结合了 AI 的视频传播具有多大的社会价值?作为一家致力于机器视觉研究的云计算公司,七牛云会在这场变革中承担怎样的角色?

NIUDAY 杭州站,七牛云人工智能实验室负责人彭垚分享了他的观点。


01 视频的起源和发展方向

如今在我们的生活中,摄影机、摄像机随处可见。但很少有人知道世界上第一部摄影机是如何诞生的。1872 年的一天,斯坦福大学创始人和校长——斯坦福与友人科恩打赌,斯坦福认为赛马在奔跑过程中四蹄并不是同时离地,而科恩却不认同他的看法。两人争执不休却又不能说服对方。于是斯坦福找到了一位科学家,科学家提出了连续拍摄胶片,然后回放看录像的方法。尽管最终斯坦福输了赌约,但却参与制造出了世界上第一台摄影机。


这个故事里我们可以看到,视频诞生之初的作用就是取证。相比于图片,视频的优势在于能够留下动作的过程。



图 1


图 1 第一行是常见的监控摄像头,最初是用作取证、保障城市和家中的安全。由于有一部分摄像头可以用于聊天,因此也自带社交属性。


第二行是日常使用的相机、摄像机。最初这些设备被媒体用作取证、记录新闻。而随着电影等娱乐业的发展,也渐渐带上传播属性。


第三行的摄像头就更加普遍了,我们每个人的手机智能机器人都有摄像头。它们可以用来视频通话、直播,是视频的入口和来源。


我们到底用视频做什么?最早是为防止记忆缺失留存影像,用于取证;第二个阶段是做成媒体素材与别人分享;第三个阶段是通过 RTC 与他人进行实时沟通。


02 「机器认知」如何改变视频传播

以往视频在传播过程中,没有「机器认知」这一步骤。人们用摄录设备生产视频,再将视频给别人看。从人到视频再到人,就是一个简单的过程,唯一的区别是视频的载体,有可能是录像带,也有可能是在线视频。


这个过程存在观看者和拍摄者兴趣偏差的问题。观众不可能将所有视频都看一遍,他们只会根据兴趣进行挑选。



图 2


现在,全世界视频的数量已经远远超过人能看的总量。很多场景下,我们需要这些视频都被人工看过,但即使全世界的人停下所有动作只看视频,也不可能看完。所以就需要计算机视觉发挥作用,在人到视频再到人的过程中,插入机器认知这一环节,通过摄像头录下动作,辅助人把视频先看一遍。



图 3


计算机认知里有很多体系化的东西,最基础的是代替人做分类。而认知中最简单的就是判断视频是否合法。其次是在视频画面中将事物检查出来,有多少人,几辆车。也可能将视频主体轮廓进行分割、再加工,做一些精细化工作。最后还可能做一些更上层的业务,比如大量视频的检索和分析等。


03 七牛云计算机视觉产品布局

七牛云计算机视觉产品的目标,就是打造一套能够完整支撑、充分理解视频内容的产品体系。我们将它称作 AI Video OS,主要包含三个子系统。


1 智能多媒体 API (DORA)

第一个子系统是智能多媒体 API(DORA),它是机器视觉的入口,整体识别及认知引擎都来自这个入口。每天互联网用户 App 上传海量富媒体数据都会调用智能多媒体 API 这个入口对视频、图像进行处理、认知。



图 4


目前七牛云官网上提供了包括内容审核、 OCR、场景识别、人脸识别、音视频处理、图片处理六大模块应用呈现。基于七牛云平台弹性扩缩容的方法,即使整个平台每天的数据处理量都在高速增长,服务器也不会承受巨大的压力。


2 深度学习平台(AVA)

第二个子系统是深度学习平台(AVA),负责生成认知模型。通过深度学习平台生产机器认知模型,并不断训练、提升,就能对获得的数据进行更精准的识别。


从 2016 年开始,七牛云就决定要做这个产品。刚开始做鉴黄等内容审核工作的时候,有两位同事负责看涉黄视频,并且进行标注。但随着视频数量增加,不得不投入更多人力进行标注。这时候我们发现最大的痛点就是大量重复劳动。



图 5


从图 5 可以看出,机器学习的过程始于用户行为(左下角)。有用户产生的数据后,就要对数据做抽样、整理、标注等工作,完成标注以后就产生了机器学习样本,这是一个很缓慢的过程。首先是因为有时候会找不到想要的数据。其次,即使找到了之后,也有很多人工标注工作,还需要写大量脚本,用于提取数据。所以很多人说「人工智能首先耗的是人工」。


有了样本之后,就可以进行训练集群训练,并产生一个模型。然后是对模型在大样本下的准确性、易用性进行测试,如果满足需求,就能把它用在深度学习平台。整个流程走通之后,用户就能轻松知道他的内容是否涉黄。


在整个流程中,工作量最大的是图 5 黄色部分中的「数据整理」,它会花费很多时间。



图 6


于是,基于七牛云,我们自己搭建了一套深度学习平台框架(图 6),最上面的一行就是用来解决这些耗时的问题。主要包括:


  • 每日撰写迭代训练脚本

  • 新数据的增删和管理

  • 增量学习和迭代学习

  • 搭建半监督打标系统

  • 模型的比较和融合


用了这套架构,七牛云弹性深度学习平台能大量减少标注人员的工作,短期内提升模型的能力。


3 大数据富媒体知识库(LEGO)

第三个子系统是智能大数据富媒体知识库(LEGO),用于富媒体数据的结构化解构。智能富媒体知识库将想要学习的内容进行结构化解构,从而帮助深度学习平台更高效地学习。在整个人工智能环节中,数据是最重要的单元,因此智能富媒体知识库就成了产品体系中非常重要的一环。



图 7


2017 年底,我们意识到仅学习数据是不够的。由于这些数据不成体系,会造成高企的维护成本,于是我们搭建了大数据富媒体知识库体系。主要分为三个模块(图 7):


  • 视频结构化模块,我们把视频结构化、组件化,把 OS 层要素和分割定位工作全部做完,把较大的图片和视频变成了随时可被提取的小组件。我们很形象地把它叫做乐高。

  • 知识图谱,通过关联知识图谱中的政治人物,我们能快速将对应的人物导进视频中。

  • 海量检索的大数据检索系统,与传统主要针对文本内容的检索系统不同,我们的产品涉及人物特征、人脸特征、图像特征、视频特征,而特征上会有更复杂的系统结构。所以系统不仅支持普通的全文检索,还可以在富媒体数据,包括视觉特征基础上能够做检索。



图 8


图 8 是通过乐高引擎做的广电行业 Demo。通过乐高平台将库中的大量视频进行解构,变成多个小乐高,再进行应用统计:视频包含多少人脸、多少政治人物、人物出现时间段,并以时间轴的形式呈现。除此之外还能在视频库中进行搜索,只要与该人物有关,就能显示他出现的时间段。


04 七牛云计算机视觉产品具有怎样的社会价值?


图 9


计算机视觉诞生之后,通过整合无处不在的摄像头,能形成一个信息量最完整的传感器。通过摄像头的视觉算法,汇总这些信息,就能帮助城市运营中心在公共治安、环境改善等方面发挥十分积极的作用。社会因此能更高效地运营,实现万物互联状态。


图 10 列举了七牛云帮助解决的一部分社会问题:



图 10


1 内容审核

摄像头每天都在产生海量的视频。通过机器认知,我们能判断这些内容是否合法,是否适合传播。



图 11


在互联网领域做了鉴黄鉴暴之后,我们发现这不仅是互联网公司的责任。政府、广电与互联网都需要参与进来,因为广电、网信办等政府监管机构也需要人工智能辅助审查违规内容。所以在我们开发的过程中,渐渐能判断信息是否有效、是否良好、是否能在整个传播环节中更安全、有效地传递,避免不良信息对社会的伤害。


七牛云通过不断迭代升级视频模型解决了很多问题。例如,由于暴恐场面出现低,所以相应的鉴别就非常难,一百万视频中真正涉及暴恐的视频可能就十几个。但为了不遗漏任何一个涉暴内容,识别精度需要达到 99.999% 以上。


2 城市之眼智能监控

公安机关在路边设置了非常多的摄像头,有了机器认知之后就能跟踪不同的数据,让盗窃和各种刑事案件更快侦破,这对社会治安乃至国家安全都很有帮助。



图 12


对于城市相关服务支撑,我们今天更多回到了行业中。以前我们认为传统安防或者是交警等应用场景会更多,但现在整个城市都需要更智能化地运转。七牛云之前做的特种车辆治理、人流密度管控等任务,对社会的治安包括都大有好处。当然这个过程中最关键的几个视觉的要素还是「人、物、场景」,其次是用到检测的识别,包括要在海量视频中检索,并且把视频当中的行为做一些分析。



图 13


图 13 是上海特种车辆治理的大体框图,包含危化车等车辆的实时监控和管控。


值得一提的是,城市之眼系统是正是基于 AI Video OS 。其迭代过程包含整套数据运营体系:数据产生、数据认知、数据学习,最终把学习之后更精细的视频认知能力叠加上去。学习发布完之后,把分析生成好的新模型,再更新到视频分析模型和检测模型当中。随后,将视频结构化的数据库整体更新,得出更多的数据比对,包括碰撞的结果。这些结果输出后可以进行告警,或者用做第三方数据的接入,进行大数据分析。



图 14


3 媒资智能

用在视频图片分类中就能提升平台视频图片的展示,并且根据用户喜好进行分发,让他看到他想看的内容。


比如可以把一段篮球视频结构化分割成投篮、传球等事件。也可以制作知识图谱,有了所有球员的知识图谱之后,就能快速链接到某球员 A 的所有信息。甚至可以快速知道球员 A 是否与 球员 B 做过队友,是否加入了某个俱乐部。通过视频结构化,我们能快速获取各种信息,并在此基础上对海量视频进行分类、审查、再生产、智能检索以及个性化推荐。


4 创新计划

七牛云人工智能实验室根据客户各种各样的定制化的需求:识别生产线的问题、识别快递订单等识别任务,七牛云有一套独立的创新定制化体系满足需求,以更好的服务客户。



图 15


05 七牛云计算机视觉产品的最大优势

普通的计算机视觉公司目前只是享受到了人工智能的技术红利。这些公司通过传统的软件、硬件形式将最新的技术服务于客户。而七牛云作为一家行业领先的云计算公司,与他们最大的不同点,就是我们拥有与 AI 密切相关的一整套产品,比如云存储、直播、音视频等。这些产品一旦结合 AI 的能力就能够形成一整套 AI 服务体系。七牛云正是通过这一整套 AI 服务体系来服务客户。


每天有很多生视觉内容输入到七牛云智能多媒体 API,然后 API 会结构化地进入富媒体知识库,知识库将学习资料导入深度学习平台进行学习,学习完成后就有更多高性能的模型包赋能到 API 上,给客户提供更优质、更强大的服务。



图 16


可自我进化的视频 AI 生态系统就是七牛云 AI 创新服务体系最核心的要点。由于计算机视觉的计算量是非常惊人的,因此即使现在有如此多的 GPU 集群,有非常大的超算中心,其实解决的还只是几个比较共性的问题。


目前还有非常多亟待我们创新、理解的视觉问题。我们也希望通过七牛云可进化的视频 AI 闭环生态体系去构建,去解决更多创新的要求。


本文转载自公众号七牛云(ID:qiniutek)。


原文链接:


https://mp.weixin.qq.com/s/_RdG2K3-vRpHPnYpdeqstA


2019 年 10 月 05 日 22:43252

评论

发布
暂无评论
发现更多内容

Golang 入门指南

baiyutang

Go 编程 程序员 9月日更

关于微服务系统中数据一致性的总结

看山

微服务 后端 数据一致性 引航计划 数据自洽

饿了么4面(Java岗)面经分享,Java技术专家需要掌握的技能

Java 程序员 后端

内部岗位竞聘报告PPT模板-优页文档

momo

模板 T模板 优页文档

Vue进阶(幺贰零):父组件获取子组件验证结果

No Silver Bullet

Vue 9月日更

评审通过,开建!

浪潮云

云计算,

高并发下HashMap的死循环是怎么形成的,Java自学宝典pdf

Java 程序员 后端

linux之rpm命令

入门小站

Linux

在线JSON转GraphQL工具

入门小站

工具

消息队列存储消息数据的 MySQL 表格设计

tjudream

数据库 索引 消息队列 架构训练营 表结构设计

【Flutter 专题】43 图解 Flutter 适配 AndroidX

阿策小和尚

Flutter 小菜 0 基础学习 Flutter Android 小菜鸟 9月日更

高并发下HashMap的死循环是怎么形成的,熬夜整理Java高频面试题

Java 程序员 后端

一种优于gzip的压缩方式Brotli

devpoint

9月日更 gzip Brotli

聊聊文章输出的背后

卢卡多多

输出 9月日更

非科班程序员求职经历分享,Java面试知识点

Java 程序员 后端

饿了么4面(Java岗)面经分享,如何在面试中通过工厂模式来给自己加分

Java 程序员 后端

新年计划PPT模板-优页文档

momo

模板 优页文档 优页文档PPT模板

Prometheus 2.21.0 新特性

耳东@Erdong

release Prometheus 9月日更

什么是主数据

奔向架构师

主数据 9月日更

护士礼仪培训PPT模板-优页文档

momo

模板 PT模板 优页文档

网络攻防学习笔记 Day139

穿过生命散发芬芳

9月日更 网站安全基础

年终总结誓师大会PPT模板-优页文档

momo

模板 优页文档

1行代码爬CSDN热榜,Python哈啤酒式写法

梦想橡皮擦

9月日更

高并发下HashMap的死循环是怎么形成的,Java基础知识点汇总

Java 程序员 后端

非科班程序员求职经历分享,阿里P7亲自教你

Java 程序员 后端

求助

IT蜗壳-Tango

9月日更

欧美风个人简历自我介绍PPT模板-优页文档

momo

免费PPT模板 优页文档

19. 今天的人工智能还不能做什么?

数据与智能

人工智能

医疗保健服务宣传和医疗咨询服务PPT模板-优页文档

momo

PT模板 优页文档 优页文档PPT模板

JVM内存模型学习笔记(一)

风翱

9月日更 JVM内存模型

近期焦虑有感

Nydia

开源中间件技术学习路线

开源中间件技术学习路线

视频的诞生与变迁:人工智能引领视频创新-InfoQ