爱奇艺全球首发互动视频标准 IVG,融合多种 AI 技术

阅读数:8228 2019 年 5 月 11 日 08:00

爱奇艺全球首发互动视频标准IVG,融合多种AI技术

5 月 9 日,在爱奇艺世界·大会智能视频科技论坛上,爱奇艺展示了包括爱创媒资系统、AIWorks 智能制作系统等过去一年来在“AI+ 娱乐”领域的多项成果,同时发布全球首个互动视频标准,并计划推出协助互动视频生产的互动视频平台,旨在为内容创作者便捷高效地打造高品质的互动视频。爱奇艺首席技术官兼基础架构和智能内容分发事业群总裁刘文峰表示,用户对互动的追求是无限的,互动视频标准的提出能够大大降低互动内容制作的门槛,同时,极大提升用户再享受互动内容时的体验。此外,爱奇艺还发布了 VR 战略和三款 VR 新品,表示 5G 将让 VR 迎来爆发期。最后在 5G+AI 智能论坛上,工业界还与学术界共同探讨了在 5G 时代下,结合 AI 技术将会为各行各业带来的想象空间。

当天,爱奇艺公开展示了其爱创媒资系统、AIWorks 智能制作系统和 ZoomAI 智能增强系统。早前,AI 前线在《在虚拟主播上线!多模态将改变人机交互的未来》一文中就对爱奇艺在产品矩阵中落地 AI 技术做过比较全面的总结,彼时爱创媒资系统和 AIWorks 智能制作系统还因为保密原因未能公布。今天,爱奇艺谢丹铭对这两款产品做了简单的介绍。

AI 技术在爱奇艺的应用

爱创媒资系统

爱奇艺的内容主要来自三个部分,一部分是传统的采买,另外一部分是其自制剧,以及爱奇艺号等原创用户产生的一些内容。对于自制部分,爱奇艺采用 AI 打造了一个爱创媒资系统。

在智能生产环节,爱奇艺的爱创媒资系统能够完成自动合版、素材检索、扒词、成片唱词、发行任务,人力需要耗费数天,比如两小时的综艺后期制作往往需要 8-10 天,而用爱创媒资系统,通过身份识别、表情识别、景观识别等 AI 技术,类似工作可缩短至数分钟,效率提高 20%-30%。同时,爱奇艺还能用语音识别技术来辅助产生字幕进行扒词,今年的《青春有你》、《我是唱作人》等都已经落地了爱奇艺爱创媒资系统。

AIWorks 智能制作系统

世界各地每天都在产生丰富的视频素材,通过爱奇艺智能制作系统 AIWorks,就能够直接生产内容。还有一些素材可以通过爱奇艺号供二次创作使用,产出的短视频之后会进入到爱奇艺频道页、短视频、泡泡社区等,用 AI 自动生成视频。

ZoomAI 视频增强系统

爱奇艺的视频增强系统 ZoomAI 利用超分辨率、去噪锐化、色彩增强、去除划痕、智能插帧、画质评价等 AI 算法对影视作品进行画质增强。今年 3 月 26 日,爱奇艺发布了中国经典电视剧修复工程。在广电总局的指导下,与中国电影资料馆合作,修复了片库中的 50 部电视剧。

AI 手语主播

爱奇艺全球首发互动视频标准IVG,融合多种AI技术
2018 年 12 月,爱奇艺发布了全球首款 AI 手语主播,那时候的 AI 手语主播还是一个以娱乐为主的卡通形象。在论坛上,爱奇艺发布了 AI 手语主播新版本,新版本的形象更贴近真人,播报内容也以严肃新闻为主,在技术上也进行了迭代优化,之前是一个卡通的形象“奈奈”,主要是手势识别,之前做到几十个词汇,现在能做到上千个词汇。技术迭代优化后,增加了眼神、神态表达的技术,能够把人的一些情感表达出来,让主播看起来更加生动。

此外,爱奇艺产品中落地 AI 技术的产品还包括创可贴广告(根据内容实时插入个性化广告)、前情提要广告、个性化推荐、个性化海报、蒙版弹幕、HomeAI 智能交互平台、智能跳转镜头等。
发布全球首个互动视频标准 IVG
在会上,爱奇艺还发布全球首个互动视频标准 IVG(Interactive Video Guideline),并计划推出协助互动视频生产的互动视频平台 IVP(Interactive Video Platform)。

随着观众对于观影的要求越来越高,观看一段视频,若观众能够与视频进行互动,会产生沉浸式的体验,连接内容的消费者和内容的创造者,这是互动视频的最大价值,也是爱奇艺制定互动视频标准 IVG 的初衷。

在制作即将上线的首支互动视频《她的微笑》的过程中,爱奇艺产品、技术和内容团队遇到了很多问题,踩过了很多坑,他们把这些经验总结起来形成了 IVG。

在互动视频中,爱奇艺同样将 AI 技术融合进去,这就是 IVG 的能力之一——X 因子,即互动视频会根据用户在观影的整个过程中的每一次选择,包括用户每一次观影实际的情况,来为用户推出只有自己猜能看到的故事情节或故事选项,这些只有这些用户自己能看到,而且存在巨大的不确定性,这就为用户创造了全新的互动体验。

5G+AI 给视频行业带来新机遇

在 5G+AI 的圆桌论坛上,工业界和学术界还探讨了在 5G 时代下,结合 AI 技术能够为行业带来的影响。

我们都知道,5G 意味着更宽的带宽,更快的速度和更好的体验,同时也能让目前很多无法实现的目标成为可能。另一方面,AI 技术越来越多地应用于日常生活中,几乎每个人都能感受到它带给人们生活的改变。这两项炙手可热的技术带给视频行业无限想象,那么,究竟它们结合在一起会产生什么神奇的效应呢?

对于这个问题,爱奇艺副总裁谢丹铭表示,VR 目前还处于很初级的阶段,还有很大的发展空间。在他的想象中,VR 的未来是我们每个人会有两个世界,一个是现实世界,第二个是虚拟世界。这两个世界唯一的焦点就是我们自己。而这个未来背后其实有两个核心的技术支撑,一是 5G,二是 AI,AI 是一个非常关键的技术。另外,这个虚拟世界一定是存在于云端而不是在终端的。我们通过一些设备来获取大量的数据,在云端形成一个巨大的架构,而这需要 5G 这样的技术,这样才有可能在虚拟世界里生活。

“虚拟世界背后的基础支撑技术,就是 5G 和 AI,这是我想象当中的未来。”谢丹铭说道。

北大计算机所深度视频研究室主任孙俊则认为,希望 5G+AI 能够将视觉、触觉、听觉等感官结合起来,学术界和工业界共同努力,真正实现真切地感受到某个远在千里之外的东西就近在眼前,让人有身临其境的感觉。

相信 5G 的价格是很多普通人最关心的问题之一,那么 5G 用起来会更贵还是更便宜呢?对此,中国联通 5G 创新中心总经理冯毅说道:“一方面要看设备成本,二是还要看未来 AI 技术是否能提高运营商的运营效率,降低运营商成本。”

收藏

评论

微博

用户头像
发表评论

注册/登录 InfoQ 发表评论