报名「音视频前端技术创新实践专场」,听腾讯云技术专家揭秘音视频相关技术>> 了解详情
写点什么

智能互动特效和视频编辑如何驱动业务增长?火山引擎给出了答案

  • 2021 年 9 月 16 日
  • 本文字数:2970 字

    阅读完需:约 10 分钟

智能互动特效和视频编辑如何驱动业务增长?火山引擎给出了答案

“记录美好生活”是抖音的 slogan,也是对当下内容创作生态的高度概括。在 AI 能力的加持下,图文创作时代加速向多媒体创作时代转变。其中,音视频产品以优质的视觉效果和便捷的功能,收获了全年龄段用户的喜爱,不仅优化了内容创作方式,还重构了内容生产者、消费者和平台之间的关系。


用户的身份在内容生产者和内容消费者之间转化,停留时长和一款 App 的生命力正相关。智能互动特效和智能视频编辑作为音视频产品的重要功能,如何驱动业务增长?抖音能够持续孵化创意 SDK 的底层密码是什么?9 月 14 日,火山引擎在深圳举办增长沙龙,围绕“智能互动特效和智能视频编辑”,邀请多位嘉宾分享了字节跳动在音视频产品上的实践经验和技术探索。



活动开场,火山引擎 AI 解决方案高级总监骆怡航全面介绍了火山引擎 AI 产品线的定位、产品体系以及应用场景。他提到,直播和短视频的创作方式是火山引擎希望给用户带来的新玩法,希望能为各行业的创作者,提供操作稳定、运行低耗、效果精准、简单便捷、满足个性化以及可充分延展的直播和短视频互动体验。“可充分延展说的是我们除了帮助客户搭建起直播、短视频场景的基本功能后,除了功能性延展,需要更多考虑未来持续的创意,包括海量的特效、素材、模型及个性化定制。”骆怡航解释。


不仅仅是持续升级互动特效和视频编辑 SDK 的能力,火山引擎 AI 智能体验套件包含了从技术、产品和生态的一整套方案,包括智能美化特效、智能视频编辑、AR 互动创意、数字人与虚拟形象等产品。据悉,火山引擎目前为企业的互联网应用提供两大场景化解决方案:其一是帮助企业在自己的应用内构建直播和短视频功能,提供 SDK 产品供企业集成,一站式快速构建直播和短视频应用;其二是利用 AR 和数字人虚拟形象,打造 AR 商品体验、AR 营销、虚拟主播等沉浸式和强互动的营销场景。

智能互动特效驱动产品生长

智能互动特效就是火山引擎提供的智能体验套件的一种,拉动业务增长在抖音已有成例。在场景上,智能互动特效对产品进行升级或者产生实际收益,如礼物赠送、下沉市场低端手机云渲染的应用、社交场景的虚拟 IP 形象、拍摄段的优化;在算法方面,智能互动特效深耕场景、数据驱动、落地为先。火山引擎智能互动特效总监范青着重解释了云渲染:“低端机的芯片到底能有多下沉,代表着你可以让多少新用户使用你的能力。”


在引擎方面,火山引擎大幅度加持渲染效果,辅助业务轻量级地完成功能的更新。据范青介绍,火山引擎在 SDK 方面做了轻量级的引擎体验,比如支持多平台和多玩法,通过在引擎上进行复刻,可以进行低端机型的覆盖。



非洲短视频平台 Vskit 特效总监曾献正也谈到了自己的体会:国内短视频平台发展已经很成熟,但是非洲互联网才刚刚兴起,大部分用户刚开始使用智能机,而智能机的性能问题也参差不齐。在国内,网络可以在一定程度上弥补设备的缺陷,但是在非洲,流量获取并不轻易。Vskit 的做法是,对机型分版,对高中低端机型分别适配,下发不同功能优化用户体验,并且通过使用火山引擎特效贴纸,解决自研产品稳定性差、跟踪延迟的问题。据曾献正介绍,工具特效为 Vskit 带来了很多增长:每天原创视频内容达到几十万,半年来 UGC 用户成倍增加。

智能视频编辑丰富内容创作



从产品的角度出发,火山引擎智能视频编辑解决方案总监郭沣仪对内容有自己的理解,他认为,全局考虑产品首先要确立目标,然后通过技术手段解决商业运营中用户留存和用户活跃的问题。内容、用户、设计师和平台,是火山引擎明确的面向目标。在郭沣仪看来,内容是设计师或用户和平台之间沟通的桥梁,前者进行内容生产和消费,后者对内容进行标签化管理。内容丰富度和内容质量,决定了平台是否具备吸引力。


图像、文本、音频和特效,提高了平台的内容丰富度,同时也伴随着版权问题。郭沣仪称,火山引擎已经在文字、音源、素材和 AI 辅助的版权上有所行动。随着更多 AI 能力逐渐加入进来,火山引擎希望让用户的创作成本越来越低,需要动手操作的越来越少。


目前,火山引擎提供的 SDK 解决移动端用户编辑的问题,包括 UGC 和 PGC 两个内容。在技术层面,火山引擎实现了多轨编辑、视频合拍和单帧识别。据郭沣仪介绍,多轨编辑,指的是可以对每一段素材进行单独的轨道设置、时长控制等,依托于火山引擎的素材库,为用户提供创意设计服务;视频合拍是基于多轨编辑器的算法衍生出的产品;目前在图片层面已经能进行帧率级别的创作。AI 在其中起到了不小的作用。基础编辑能力在 AI 的加持下,降低了很多用户的创意产生成本,比如抖音如今推出的“剪同款”、“一键成片”和“音乐卡点”。

创意 SDK 孵化的技术实现

那么,智能互动特效和智能视频编辑背后的技术实现是什么?火山引擎智能视频编辑高级研发经理谢波进行了详细解读。通过基础技术能力,将基础素材和特效资源整合成好看的视频,采用了火山引擎 VE 的 SDK 能力,包括能力 SDK 和协议 SDK。整个视频对外开放的描述就是 NLEModel,由一系列轨道组成,衍生出视频编辑的概念。


对此,谢波表示:NLEResourceNode 是一个资源记录节点的描述,里面可以描述本地资源和网络资源,同时如果是本地资源可以直接是一个本地文件 path,若是网络资源也可以提供一个网络地址。有了资源节点描述,就衍生 NELSegment 来描述一段资源静态行为。接下来是 NLETrackSlot,对于一个展示资源我们要展示多长时间就是通过 slot 的时间属性来进行描述。多个带有时间属性的资源段描述可以记录到单个或者多个 NLETrack 轨道中就形成了一个完整段落的资源展示效果。最后,对于特效、滤镜以及转场等等特效都可以独立形成 track,也可以依附在某个 track 或者 slot 上,最终将多个片段拼凑在一起,就构成了一个完整的视频。不同轨道操作情况,可以是单轨的视频,也可以是多轨的视频,轨道视频结束之后,一个完整视频描述成一个 NLEModel。


“对于一个 track 或者一个 slot 还可以进行三维坐标变化调节,相对来讲就有 X 轴或者 Y 轴的变化,平面的二维变化。如果再加 Z 轴的变化,Track 与 Track 之间是不同层级的描述概念,如果是 Z 层就可以实现不同压盖效果。比如先设 Z 轴是 1,是最高层级,在最上面。结合 X、Y、Z 的动态调整即可得到不同的视频变化布局效果。”谢波谈道。


协议 SDK 有什么作用?实现了什么能力?“比如添加一段视频后 Commit,Commit 之后内部实现存储结构类似一个双向队列的概念,每次对 NLEModel 进行一个操作节点拷贝,节点拷贝后进行前后关联指向建立一个双向列表。回到 NLEModel 节点记录关系,如果把这个列表用 json 结构保存下来又得到相应的工程草稿。”谢波解释道:工程草稿里面会记录编辑节点信息以及整个 NLEModel 的结构描述信息,有了这些信息响应就可以多次还原成 NLEModel 的内存结构重演出对应的编辑效果;有了工程草稿,就可以实现这些行为:1、任意节点或者任意操作类型的 Undo/Redo;2、重启继续编辑;3、二次编辑;4、跨机等能力。


此外,火山引擎在资源方面:基于图虫和音乐中台可以提供丰富的素材资源,在剪映的模版生态下也有丰富的模版资源,其中,傻瓜式模板编辑可以提供可视化编辑效果,通过拖拽就可以实现想要达到的视频编辑效果。“结合云能力,火山引擎进一步丰富了资源生态的灵活性以及算法效果的个性化,同时也解决了本地包大小问题,做到资源的动态拉取和使用;配合强大的运营平台可以更贴切的为企业做到个性化定制服务。”谢波谈道。

2021 年 9 月 16 日 00:003372

评论

发布
暂无评论
发现更多内容

uni-app 和 flutter 的区别

anyRTC开发者

flutter uni-app WebRTC 跨平台

电子产品如何使用IAP方式升级程序

不脱发的程序猿

嵌入式 iap 28天写作 3月日更 产品升级

Linux 查询 OS、CPU、内存、硬盘信息

薇薇

Linux cpu 内存

区块链赋能农产品溯源,农产品质量安全追溯

13530558032

如何使用jsDelivr+Github 实现免费CDN加速?

xiezhr

CDN jsDelivr CDN CDN加速 jsDeliver

【LeetCode】基本计算器Java题解

HQ数字卡

算法 LeetCode 28天写作 3月日更

美团优选大数据开发岗面试真题-附答案详细解析

五分钟学大数据

大数据 面试 28天写作 3月日更

大作业(一)

cc

大作业(二)

cc

开课啦 dubbo-go 微服务升级实战

阿里巴巴云原生

容器 微服务 云原生 k8s dubbo

[TcaplusDB知识库]TcaplusDB的存储分配策略图解

TcaplusDB

数据库 nosql TcaplusDB Tcaplus

金三银四面试技术储备:阿里Spring Security Oauth2.0认证授权全套技术笔记开源分享!

程序员小毕

Java 源码 程序员 架构 springsecurity

#开工新姿势#开启一年新征程,云社区叫你来充电啦!

华为云开发者社区

内容 技术人 华为云 文章 云社区

三面阿里成功入职,多亏了面试前刷了这份Redis速成笔记,我才成功抗住了Redis连珠炮!

程序员小毕

Java redis 架构 面试 阿里

2021年爆锤39K月薪Offer!阿里巴巴Java面试(知识点)整理

Java架构追梦

Java 阿里巴巴 架构 面试 全栈知识点

在CentOS上安装MySQL,并使用DataGrip远程管理

pyfn2030

centos SSH MySQ datagrip

华为云PB级数据库GaussDB(for Redis)介绍第四期:高斯 Geo的介绍与应用

华为云开发者社区

数据库 redis 华为云 geo Gauss DB

一杯茶的功夫,上手Redis持久化机制

崔皓

redis 缓存 aof

android开发板!Android开发你需要了解的那些事,大牛最佳总结

欢喜学安卓

android 程序员 面试 移动开发

世纪联华的 Serverless 之路

Serverless Devs

Java Serverless 架构 运维 云原生

超震撼数据可视化工具

不脱发的程序猿

大数据 数据分析 数据可视化 28天写作 3月日更

偶获阿里大佬纯手码“887”页Java面试手册,突击学习,成功跳槽阿里!

互联网架构师小马

Java 程序员 面试 求职 找工作

守护网络安全不是问题,iptables的四表五链为你开启“八卦阵”

华为云开发者社区

网络安全 iptables 虚拟私有云 安全组 网络ACL

Redis 如何存储上亿级别的用户状态?

薇薇

数据库 redis 存储

Mysql是怎么运行的-读书笔记1

一个大红包

3月日更

亿级用户中心的设计与实践

互联网架构师小马

Java 程序员 架构 亿级流量 用户中心

一个三本生的Java进阶之路:6年时间,从菜鸟到阿里P7!

Java架构之路

Java 程序员 架构 面试 编程语言

四年Java开发,面试核心知识点(腾讯+阿里+快手面经)附答案

Java架构之路

Java 程序员 架构 面试 编程语言

一文读懂Apache Flume概念、使用和原理

大数据技术指南

大数据 28天写作 3月日更

android开发教程!写给安卓软件工程师的3条建议,一线互联网公司面经总结

欢喜学安卓

android 程序员 面试 移动开发

所见即搜,3分钟教你搭建一个服装搜索系统!

华为云开发者社区

框架 深度学习框架 mindspore Jina 服装搜索系统

智能互动特效和视频编辑如何驱动业务增长?火山引擎给出了答案-InfoQ