10 月,开发者不可错过的开源大数据大会-2021 WeDataSphere 社区大会深圳站 了解详情
写点什么

节约 60% 成本!虎牙直播云端大数据是怎么做到的?

2020 年 5 月 15 日

节约60%成本!虎牙直播云端大数据是怎么做到的?

引言

虎牙是中国第一家上市的游戏直播公司,旗下产品包括知名游戏直播平台虎牙直播、风靡东南亚和南美的游戏直播平台 NimoTV 等,产品覆盖 PC、Web、移动三端。其中,游戏直播平台虎牙直播月活达 1.5 亿。


如何借助于海量业务数据将全平台的优质内容与终端用户更智能、高效地连接起来,为公司运营和业务发展提供更为有效的数据能力支撑,是虎牙大数据团队(下面简称虎牙)过去和未来一直需要深入思考和探索的重要使命。为了达成以上愿景,虎牙选择与腾讯云 EMR 团队合作,接入大数据云端解决方案。


本文将通过案例解读,带大家深入了解虎牙云端大数据实践。


一、虎牙直播大数据分析场景

1. 背景介绍

虎牙是中国第一家上市的游戏直播公司,旗下产品包括知名游戏直播平台虎牙直播、风靡东南亚和南美的游戏直播平台 NimoTV 等,产品覆盖 PC、Web、移动三端。其中,游戏直播平台虎牙直播月活达 1.5 亿。



2. 大数据场景介绍

意识到数据对于业务的重要价值,虎牙很早就成立了近百人的专业大数据团队,这个团队拥有业内卓越的数据技术能力和业务理解力,以应对海量数据的高效存储计算、算法构建、业务价值洞察等领域化工作。


经过多年的建设,该团队围绕数据在各个领域都取得了极为显著的进展,真正让数据成为优质内容与终端用户连接的催化剂。



虎牙大数据团队基于开放 Hadoop 技术栈快速构建了稳健的全平台大数据平台,以支撑近百 P 规模的离线、实时流式数据的高效存储计算及数据科学探索;同时也在数据领域价值应用上进行精准内容推荐、经营分析、用户体验改善等数据应用价值探索。



借助于全平台大数据平台,虎牙全公司各业务线可以快速、低成本地接入业务线数据,并可借助于该平台进行持续的技术演进。


终端客户可以及时获取到与自身兴趣强相关的个性化优质内容(电竞、主机游戏、手机游戏、美食、二次元等),获取沉浸式的体验。


作为内容供应方的主播也可以通过对自己直播数据的分析,调整演播风格及内容吸引更多用户关注。


二、大数据分析的挑战

基于大规模的数据增长以及业务的更高诉求,人们对数据工具提出了更为实用的要求。随着时间的流逝,传统的 IDC 自建大数据分析平台逐渐显现出两个问题:响应不够及时,成本高。



1. 响应及时性挑战

第一个挑战在突发任务响应的及时性上。例行任务按照时间维度可以分为月、周、天、小时、分钟,这些任务被均匀地分配到了大数据分析平台中,平台的负载也长期维持在合理(相对饱和)的范围内,很好地利用了昂贵的 IDC 硬件资源。


但是随着大数据分析在业务价值挖掘上的作用愈加重要,突发及新增的分析任务变多了起来,此时,趋于饱和使用率的硬件资源便会成为瓶颈,从提交预算申领设备到新设备加入分析集群通常需要在两周才能完成,但这也往往导致结果延期交付。


另一个随之而来的的问题是:预留更多的硬件设施也意味着性价比的降低。


2. 成本挑战

第二个挑战在冷数据的存储成本上。随着时间推移,越来越多的数据变成历史数据,占用硬件资源不变而使用率却在下降,如何降低冷数据的存储成本,同时在需要的时候又能快速分析,这也是一个比较有挑战的课题。


三、云端大数据解决方案

为应对以上大数据分析领域的挑战与瓶颈,虎牙大数据团队不断探索着更加贴合业务实际需求的解决方案。经过多年发展,沉淀出了直播领域丰富的大数据分析经验,虎牙大数据团队在逐步上云享受云平台所提供的灵活、开放、丰富的产品及服务的同时,也正与腾讯云大数据团队筹划共同推出面向行业的通用开源解决方案,实现了云厂商和互联网企业的大数据技术协同,共同推进大数据技术及行业方案的演进。


云端大数据解决方案

近期虎牙大数据团队接到的一个突发任务成为其与腾讯云大数据团队合作的契机。这个任务需要针对 2019 年全年数据进行分析,并要在周末两天内得到分析结果。


按以往处理经验,在不影响原例行任务运行的前提下,需要对 IDC 集群进行扩容来满足突发任务的运行,很明显对此次时间紧的任务并不是最好的方案(申请新设备耗时久并且也造成长期成本浪费)。


云端大数据解决方案具有灵活高效,成本节约的显著特点 。不仅可以做到业务持续演进及全球化快速部署,在温冷数据存储资源,以及超额冗余计算资源成本节约方面也表现突出。


基于以上优势,虎牙大数据团队开始尝试使用弹性的云端资源来解决任务。经过多方对于产品性能以及成本的考察,在与腾讯云大数据团队进行交流后,共同敲定了云端大数据解决方案:


首先利用虎牙 IDC 环境与腾讯云的专线,将温冷数据导入到腾讯云 COS 中(优先导入了本次分析用到的 2019 年数据);然后通过腾讯云弹性 MapReduce(EMR)产品创建的 Hadoop 集群分析已导入到 COS 中数据。


分析任务最终顺利按时输出结果:20 分钟内便利用 EMR 创建了上百个节点的分析集群,2 小时内部署完成分析任务, 1 天半后提前得出分析结果。


分析任务结束后,便对 EMR 中的临时分析任务集群进行了销毁不再产生费用,COS 作为温冷数据统一存储介质继续保留支持后续新的紧急任务(只需随时新建云端 EMR Hadoop 集群基于 COS 中数据进行分析)。


四、大数据云端化带来的核心价值


此次虎牙直播大数据解决方案的成功尝试,最直接体现了大数据分析云端化的两点价值:灵活高效以及成本节约。


1. 灵活高效:分钟级集群创建

得益于腾讯云 EMR 产品的存储与计算分离的特性,数据统一存放于 COS 中,EMR 分析集群在任务需要时随时创建、在任务执行完毕后销毁集群,这就是云端的灵活能力;而在 EMR 集群创建过程中,上百节点规模集群的创建时间也仅需要 10 多分钟,这就是云端的高效能力。


2. 成本节约:60%柔性成本节约

云端大数据方案提供两层的成本节约:


(1)将腾讯云对象存储 COS 作为温冷数据的统一存储媒介,替换掉昂贵的 IDC 设备,这是第一层直接的成本节约。


(2)第二层的成本节约来源于 EMR 灵活架构的使用,EMR 分析集群能直接分析 COS 中的数据,使得我们能够按需创建及销毁集群,不用长期维持冗余设备,非常契合突发任务的场景。


结合 EMR 产品以往客户经验来看,会带来高达 60%的柔性成本节约。


五、云端数据架构的优势

云厂商在云端提供了丰富的大数据产品和服务,涵盖从大数据基础设施、全链路数据工具链、领域数据价值应用在内的各个环节。


基于云端的开放大数据技术和产品,企业用户可以快速构建迁移企业数据架构,甚至把已有大数据架构无缝整合到云端。



得益于云端的海量存储/计算设施及云厂商在大数据开放技术领域的大规模投入,云端大数据产品和服务呈现出以下几个特点:



云端大数据基础设施产品以其技术开放性、全链路覆盖、灵活性获得了互联网企业数据 IT 团队的一致认可,越来越多的企业也逐步意识到云厂商雄厚技术保障所带来的隐性价值认同。借助于云端大数据基础设施进行以数据驱动的业务创新、运营创新已成为新一代互联网企业的业界共识和主流趋势。


虎牙与腾讯云 EMR 产品的合作很好地诠释了这一趋势,互利共赢,释放多元数据价值。腾讯云大数据团队将不断打磨产品,探索惠及更多行业场景的云端实践之路。


本文转载自公众号云加社区(ID:QcloudCommunity)。


原文链接


https://mp.weixin.qq.com/s/4PVMw72k-XjKRJ6A7HhleA


2020 年 5 月 15 日 10:001634

评论

发布
暂无评论
发现更多内容

后疫情时代,共享育儿也能变成一门好生意?!

脑极体

鉴释课堂丨编译器技术入门知识一网打尽

鉴释

编译器 编译器原理

阿那亚:靠客户反馈驱动企业成长

石云升

商业价值 服务 7月日更

没想到专科的我,仅凭阿里这份JDK源码笔记居然拿到了年薪30W的offer

Java架构师迁哥

ZooKeeper 分布式锁 Curator 源码 03:可重入锁并发加锁

程序员小航

Java zookeeper 源码 分布式锁 zookeeper分布式锁

23w字!Github一夜爆火被各大厂要求直接下架的Java面试题库也太强了

Java架构师迁哥

linux c解决多个第三方so动态库包含不同版本openssl造成的符号冲突

奔着腾讯去

openssl so动态库 动态链接库

网络协议:TCP可靠传输原理

赖猫

c++ TCP 后端 网络协议 后端开发

敏捷教练的困境与出路:一个管理者的视角

蔡建斌

管理 技术管理 敏捷教练 引航计划 内容合集

YOLOX的安装

IT蜗壳-Tango

7月日更

没有电和网络的时候如何支付一瓶水?

escray

学习 极客时间 朱赟的技术管理课 7月日更

BoCloud博云:ESB老旧力不能支,微服务独立自治强势替代

BoCloud博云

微服务

并发问题的源头

Java旅程

Java 并发编程

登陆框有多危险,可能你还不知道。。。

网络安全学海

黑客 网络安全 信息安全 渗透测试· 漏洞分析

性能测试误差对比研究(三)

FunTester

性能测试 接口测试 测试框架 误差分析

postgresql安装

阿呆

postgresql

String、StringBuiler和StringBuffer面试那些事

Java旅程

Java 并发

阿里培训笔记惨遭泄露,Spring+SpringBoot+SpringCloud

Java架构师迁哥

和12岁小同志搞创客开发:如何使用继电器?

不脱发的程序猿

DIY 嵌入式 创客开发 继电器

VSCode 断点调试 electron-vue 主进程

admin

Vue 调试 Electron

上架一夜遭全网封杀!阿里大牛熬夜半年手码的Java面试指南太强了

白亦杨

巧用 readonly与 const

喵叔

7月日更

结构化流-Structured Streaming(八-中)

数据与智能

spark 结构化思维 Kafk

上架一夜遭全网封杀!阿里大牛熬夜半年手码的Java面试指南太强了

Java 编程 程序员 架构师

gitlab忘记root用户的密码

阿呆

gitlab #GitLab

网络传输协议kcp原理解析

赖猫

TCP 网络协议

性能测试误差对比研究(四)

FunTester

性能测试 接口测试 测试框架 测试开发 误差分析

hbase运维故障案例分析

GrowingIO技术专栏

大数据 运维 HBase

maven是什么

卢卡多多

7月日更

一个很多人不知道的SpringBoot小技能!!

冰河

Java 分布式 微服务 springboot 服务化

iOS15上线图片翻译功能,能取代专业翻译软件吗?

脑极体

开源中间件技术学习路线

开源中间件技术学习路线

节约60%成本!虎牙直播云端大数据是怎么做到的?-InfoQ