红帽白皮书新鲜出炉!点击获取,让你的云战略更胜一筹! 了解详情
写点什么

淘宝直播在智能互动领域的探索及落地

  • 2020-09-11
  • 本文字数:2227 字

    阅读完需:约 7 分钟

淘宝直播在智能互动领域的探索及落地

背景

随着带宽成本的降低和端上算力的提升,在直播、短视频中基于流的互动玩法也将越来越丰富;无论是基于人脸、手势、分割算法的智能化贴纸,还是结合算法的小游戏有了越来越好的舞台;业界短视频和直播主要针对的娱乐性的场景,更是将娱乐化的玩法用到了极致,例如抖音的仿 flappy bird 潜水艇小游戏,最气的漫画风格的拍摄玩法都引爆成为热点。抖音有 PC 的玩法生产工具 EffectCreater 生产工具和移动端的玩法社区特效君,已经打打造了一个支持数以万计的设计师的生态圈。


淘宝直播和短视频更偏向电商场景,我们也在探索这些玩法在直播和短视频中的应用,对提升直播间停留时长,丰富直播间和短视频内容;其中在视频流里面渲染和算法调用几乎都是 Native 的能力,如果用 iOS 和 Android 上分别实现,性能较难把控,开发成本、上线和下线成本高,必须在活动前很长时间开发,然后随着版本发版,活动结束后为了减少包大小,又需要将代码删除,玩法也无法沉淀。


跨端方案成为唯一选择,为了提高运营、设计和玩法开发人员的制作效率,我们也必须有配套的素材生产工具和玩法编辑工具, 解决素材制作-效果调试和预览-素材上传-素材投放全链路的问题,同时我们也希望玩法能结合权益产生更大价值。

跨平台渲染计算引擎

首先在底层渲染层,我们开发了基于 C++的跨平台渲染计算引擎 RACE,除了为传统的视频前处理、画质增强、美颜美型美妆外,也提供了动画系统、玩法系统等游戏化的能力,在一个渲染引擎里面将媒体渲染和游戏化渲染结合起来。


我们采用了游戏行业经典的 ECS 系统,加以简化和改进,来解决渲染关系,渲染逻辑和玩法逻辑的组织。




玩法往往需要多个算法的配合,同时视频美颜、前处理等等也需要算法的能力,端上算力有限,合理的算力管理调度也必不可少,所以我们开发了 PixelAI 统一的算法计算框架,一个是用来进行算法生命周期模型管理、还有算法调度,性能监控,同时也提供了多平台的算法运行时统一的基建设施,这样算法同学只要做好模型推理和算法实现,所有工程化的东西一站式解决。

脚本系统设计

在玩法方面,我们希望玩法可以动态下发,这就需要能用脚本去做玩法,我们希望将渲染计算的能力全部导出到脚本系统里面,这样就可以在脚本里面利用底层强大的能力;同时玩法里面可以方便的调用业务接口,做好玩法和业务的关联,业务逻辑主要在 Weex 和 H5 环境,同时我们也希望脚本能力能够使用在编辑器上,供跨端的前端框架如 Electron 或 Flutter 直接调用,这样节省了大量的编辑器开发工作量。



我们在不同 JS 引擎上封装了一层 JS Wrapper 层,抹平不同 JS 引擎的 JSBinding 问题,利用 LLVM 分析 c++头文件,利用 python 工具编写 JSBinding 模板全自动化导出 C++到 JS 的接口;对原有的渲染计算框没有做任何修改,这样在不需要玩法的情况下,不影响稳定性;


同时我们也导出了一份 OpenGL 到 WebGL 的接口,这样完全可以在 JS 侧能在视频流里面实现更丰富的渲染能力。

MediaAI 素材玩法编辑器

编辑器我们和前端和设计师合作,采用 Electron 方案,编辑器预览和编辑窗口的显示核心由 RACE 渲染计算统一提供,Electron 底层是 NodeJS,NodeJS 的 JS 引擎是 V8,只要将 RACE 的 JSBinding 接口直接注入到 V8 里面,编辑就可以调用全部的 RACE 接口做窗口预览和编辑,这样编辑器开发就节省了大量的开发工作量;


编辑器中接入素材平台,运营和开发人员编辑好素材和玩法之后,上传到素材管理平台,由素材管理平台进行分发,玩法类由有相应权益的主播或者运营设置好参数,如玩法对应的权益,下载玩法到推流端或者播放端,在端上的 JS 环境中解析 JS 脚本,加载素材和玩法逻辑,渲染和计算部分底层统一由 JS binding 调用到跨平台的 RACE 引擎完成,完整链路如下:



编辑器既可以面向设计师制作各种人脸手势触发贴纸、视频文字模板等等,又可以面向前端开发者制作互动小游戏:



部分落地

春节期间淘宝直播推出的春节氛围:



直播后面比较乱,利用分割算法来个背景模糊,或者来个抱抱宝宝的小怪兽:




商家希望主播和达人能够拍摄短视频对商品进行介绍推广,主播和达人也能够从短视频的购买中分佣,对广大中小主播和达人而言,将商品寄送到每个可能会推广的主播和达人成本高昂,我们 360 度的拍摄一个商品,然后利用主播可以用手势控制缩放旋转商品别介绍,这样就可以极低成本无接触式的生产商品推广短视频;


在直播连麦或者粉丝连麦中做个 flappy bird 的小游戏?或者主播在发放红包后,粉丝通过玩游戏通过游戏得分才能领取红包,这样既有趣,又将粉丝留在直播间;



来点可爱又萌的美妆贴纸(原谅一个程序员全程友情出镜);



后记

一个好的媒体互动产品能给业务带来更多的活力,但往往需要创意设计师、算法、底层和业务开发共同完成,端上算力有限,特别是在淘宝直播,手淘短视频等场景下,其他业务已经占用了很高的性能,需要灵活高效的架构,很好的性能,针对高中低端机的分级体验。在电商场景下,挖掘更适合电商玩法的互动能给业务带来更大的价值,好玩的互动再跟权益绑定,为商家、主播提供更多更好玩的运营工具;在大促活动提供更有趣的玩法、日常活动里面提供更好的留存手段。


我们近期会新增很多的渲染能力和算法能力,打造好基础,这样才会更大的发挥大家的创意;我们近期也将举办一个素材设计比赛,激活大家的创造力,等配套工具更完善,我们也会将工具开放给外部的商家、主播等,打造更好玩的直播短视频生态。


本文转载自公众号淘系技术(ID:AlibabaMTT)。


原文链接


淘宝直播在智能互动领域的探索及落地


2020-09-11 14:061826

评论

发布
暂无评论
发现更多内容

详解Native Memory Tracking 追踪区域分析

华为云开发者联盟

开发 华为云 企业号十月 PK 榜

八大排序 (上)

lovevivi

c 数据结构 10月月更

Vue_cli2和Vue_cli3

Studying_swz

前端 10月月更

算法 | 详解斐波那契数列问题

甜点cc

JavaScript 算法 10月月更 斐波那契数列

基于Ernie-3.0 CAIL2019法研杯要素识别多标签分类任务

汀丶人工智能

nlp

“程”风破浪的开发者 | 踉踉跄跄的Java之路

游坦之

Java 学习方法 “程”风破浪的开发者

JNI中实现类似C++回调的方法(1)

中国好公民st

c++ jni 10月月更

在线问题反馈模块实战(十八):实现excel台账文件记录批量导入功能

bug菌

springboot 项目实战 10月月更

科兴未来:产业创新和人才服务为一体化的双创体系

科兴未来News

#双创赛事# #双招双引# #人才政策# #创业大赛#

uniapp H5端精准定位

源字节1号

软件开发 小程序开发

如何实现图像人脸融合?

夏夜许游

人工智能 AI 融合 图像人脸

堆排序详解(含对时间复杂度的分析)

lovevivi

c 数据结构 10月月更

如何实现一个SQL解析器

vivo互联网技术

sql 解析 SQL解析

浅析HTML页面的生命周期

CoderBin

html 前端 10月月更

“程”风破浪的开发者|我的js学习小技巧

国服第二切图仔

JavaScript 学习方法 “程”风破浪的开发者

在线问题反馈模块实战(十七):实现excel模板在线下载功能

bug菌

springboot 项目实战 10月月更

Hybrid app本地开发如何调用JSBridge

甜点cc

JavaScript 前端 Hybrid 10月月更

Vue_Webpack详解

Studying_swz

前端 10月月更

规律跑步,让生活更有掌控感

BY林子

跑步 掌控

数据湖(九):Iceberg特点详述和数据类型

Lansonli

数据湖 10月月更

八大排序(下)

lovevivi

c 数据结构 10月月更

HashMap源码分析(六)

知识浅谈

hashmap 10月月更

vue-router学习-1

Studying_swz

前端 10月月更

一种基于柔性事务的分布式事务解决方案设计探究

京东科技开发者

编程 分布式事务 事务 事务回滚 柔性事务

【高并发】深度解析ScheduledThreadPoolExecutor类的源代码

冰河

并发编程 多线程 高并发 协程 异步编程

你应该知道的数仓安全:都是同名Schema惹的祸

华为云开发者联盟

数据库 后端 华为云 企业号十月 PK 榜

在线问题反馈模块实战(十六)​:实现查详情功能

bug菌

springboot 项目实战 10月月更

记一个“奇葩”需求的实现

甜点cc

JavaScript 前端 Element UI 10月月更

Python高阶语法---函数

木偶

Python 函数 10月月更

JavaScript基础知识-JS数据类型

木偶

JavaScript 前端 10月月更

Gartner发布2023年十大战略技术趋势播

雨果

Gartner

淘宝直播在智能互动领域的探索及落地_大前端_张伟(韦编)_InfoQ精选文章