华为云助力斗鱼,轻松应对海量数据分析

2020 年 3 月 20 日

华为云助力斗鱼,轻松应对海量数据分析

互联网快速发展的当下,数据存储计算的需求与日俱增。华为在 GIV 2025 报告中指出,预计到 2025 年,全球每年新增数据存储量为 180ZB,企业的数据利用率将会达到 86%。


随着 5G、IoT、VR/AR、自动驾驶等技术的发展,会涌现更多大数据应用的创新,面对海量数据分析带来的算力需求不均、数据结构的多样化、高并发作业等诸多挑战,传统大数据平台存算一体耦合在同一集群,主要基于本地 HDFS 作为大数据存储。


这种存算一体的大数据技术架构随着存储量的增长计算成本也随之线性增长,无法灵活配置存储及算力,难以满足企业海量数据分析追求极致性价比的一些典型场景,需要通过大数据计算存储分离方案来解决。


  • 在离线分析场景中

  • 离线批处理,分析类型多,数据量大,大数据开发需求爆发式增长,对存储和算力需求不一。当存储空间或计算资源不足时,企业只能同时对两者进行扩容,虽然能保证性能最优,但存算资源,扩容成本高,利用率低。通过大数据计算存储分离方案,计算不够扩计算,存储不够扩存储,计算资源根据任务负载动态扩缩容机器,最大限度降低企业使用成本,提升资源利用率。

  • 在日志留存场景中

  • 存储周期变长(例如2个月变成6个月),但算力并不需要显著增加,通过大数据计算分离方案可降低计算的配置和成本。

  • 在一些为了提高效率的场景中

  • 有时需要关闭闲置的计算集群,但由于计算集群中存在数据,关闭闲置的计算集群会导致数据丢失,无法实现真正的弹性计算,存算分离可保证数据不丢失。


作为国内首家弹幕式直播分享网站,斗鱼已成为国内排名第一的电竞娱乐一站式直播分享平台,以游戏直播为主,涵盖了体育、综艺、娱乐等多种直播内容,每天都在为成千上万的观众分享欢乐。


据头榜 2019 年 12 月数据显示,斗鱼日均活跃观众 1485.56 万人次,累积弹幕总数 9 亿 7073 万,活跃主播 32.38 万人次,平均在线时长达 5 小时以上,累积付费礼物 4 亿 6146 万……每月将会产生 PB 级数据量。


与此同时,直播黑产(主播刷榜、渠道推广、非法充值等等)也越来越猖獗,斗鱼自建的大数据分析平台面临数据量和计算量大但要严格控制成本的困难,在有限的投入下提升斗鱼风控平台投诉排查效率。


在 HUAWEI CONNECT 2019 大会期间,李瑞(斗鱼风控代表)表示:


斗鱼大数据分析平台目前是自建集群基于开源 CDH,随着业务规模越来越大,面临数据量大、计算量大,维护成本高的困难,需要寻求稳定高性价比的解决方案。


通过严格的业务模拟、比拼测试后,华为云“存算分离+鲲鹏”大数据解决方案适用斗鱼大数据数据增速快于计算的业务场景。其在读写性能、复杂计算、简单计算、数据倾斜等方面均优于 IDC 本地大数据计算集群,整体性能得到大幅提升。


那么,华为云“存算分离+鲲鹏”大数据解决方案为直播代表斗鱼带来了哪些价值:


存算分离性价比高,极致弹性 大幅提升大数据集群资源利用率


华为云“存算分离+鲲鹏”大数据解决方案针对传统存算一体大数据架构中扩容困难、资源利用率低等问题,


采用计算存储分离架构:


  • 存储基于公有云对象存储实现11个9的高可靠,无限容量,支撑企业数据量持续增长;

  • 计算资源支持0~N弹性扩缩,百节点3分钟发放。存算分离后,计算节点可实现真正的极致弹性伸缩;

  • 数据存储部分基于OBS的跨AZ等能力实现更高可靠性,无需担心地震、挖断光纤等突发事件。


存储和计算资源可以灵活配置,根据业务需要各自独立进行弹性扩展,可使资源匹配更精准、更合理,让大数据集群资源利用率大幅提升,综合分析成本降低 50%,帮助斗鱼实现性价比最优。同时:


  • 通过高性能的计算存储分离架构,针对对象存储数据访问效率深度优化(元数据操作、写入算法优化等),实现存储加速;

  • 通过分布式高性能缓存,异构存储模型,支持热数据加速访问,实现缓存加速;

  • 通过高性能shuffle、高效的SQL优化器,实现计算引擎加速;支持多数据源的计算下压,性能相比开源提升1倍。


基于多级加速技术支持,助力斗鱼离线大数据分析效率大幅提升。



图 1 华为云存算分离大数据架构


鲲鹏加持 为大数据提供更高算力


在计算层,华为云“存算分离+鲲鹏”大数据解决方案基于鲲鹏处理器的多核高并发能力、自研 EulerOS,可为用户提供包括裸金属服务器,云服务器,容器和 Serverless 在内的多种粒度的大数据算力,大数据分布式场景性能可提升 25%,可轻松处理 PB 级数据作业,帮助斗鱼解决 IDC 算力不够的问题,为斗鱼在海量数据多并发作业提供可扩展的分析能力。


开放生态 全面兼容,0 改造上云


华为云坚持开放生态路线, “存算分离+鲲鹏”大数据解决方案完全兼容开源原生接口,全面兼容主流的大数据生态,让斗鱼大数据应用从 IDC“0 改造”平滑移植上华为云。


同时提供一份数据支持多引擎的能力,即同一份数据存放在 OBS 上供多引擎调度(传统批、流、交互式,以及 AI 引擎),数据“0”搬迁,减少数据冗余,支持多种业务计算诉求,实现真正数据湖,帮助斗鱼减少重复投资,轻松应对海量存储,提升业务分析效率。未来双方还将在 AI,视频云服务,5G+Cloud+直播创新等领域进一步合作,打造更好的用户体验。


华为云“存算分离+鲲鹏”大数据解决方案为客户和伙伴提供高性价比、极致弹性伸缩、多元计算引擎的业界领先大数据解决方案,使得客户和伙伴可以更加聚焦业务,创造价值,打破数据孤岛,助力企业数字化转型。


本文转载自华为云产品与解决方案站公众号。


原文链接:https://mp.weixin.qq.com/s/KSO9f2N5MY36pDmC_xSTLQ


2020 年 3 月 20 日 21:28253

评论

发布
暂无评论
发现更多内容

想不出来问题的你

escray

学习 面试 面试现场

Docker 安装及配置镜像加速

哈喽沃德先生

Docker 容器 微服务 容器技术 容器化

Java中的一些限制

xiaoxi666

1.Flink任务之间通信开销-6

小知识点

scala 大数据 flink

从Vessel到二代裸金属容器,云原生的新一波技术浪潮涌向何处?

华为云开发者社区

Docker 容器 云原生 k8s Vessel

【Elasticsearch 技术分享】—— ES 常用名词及结构

程序员小航

Java 搜索引擎 elastic ES Lucene Elastic Search

ARTS打卡Week 11

teoking

ARTS打卡(20.08.17-20.08.23)

小王同学

“深化产教融合·共育数字人才”全国产教融合信息化高峰论坛·江苏站成功举办

InfoQ_967a83c6d0d7

ARTS打卡 第13周

引花眠

微服务 ARTS 打卡计划

浅谈 GET 和 POST 区别

叉叉敌

面试题 post GET

我与游戏相伴【自我访谈2】

叶阳夏烟

系列 游戏 访谈录 剧情游戏 仙剑奇侠传

架构师训练营第十一周作业

Melo

你期待的薪酬是多少?

escray

学习 面试 面试现场

Newbe.Claptrap 框架入门,第三步 —— 定义 Claptrap,管理商品库存

newbe36524

Docker 云计算 微服务 .net core ASP.NET Core

一家估值20亿美元的公司,竟然没有办公室?

Atlassian速递

远程办公 Atlassian Jira

Python代码调试指南

王坤祥

Python Python基础

大数据技术思想入门(三):分布式文件存储的流程

抖码算法

Java 大数据 hadoop 分布式

想问面试官什么问题么?

escray

学习 面试 面试现场

disruptor 高性能队列最佳选择

柿子

队列 disruptoer 高性能队列

顺时针遍历矩阵,提高系统高并发350倍,React Native原理浅析 组件设计原则 安全架构 防火墙ModSecurity John 易筋 ARTS 打卡 Week 14

John(易筋)

ARTS 打卡计划 组件设计原则 React Native 高并发优化

rockchip的yocto编译环境搭建

良知犹存

Linux yocto rockchip

6. 二十不惑,ObjectMapper使用也不再迷惑

YourBatman

json Jackson ObjectMapper

看智微智能互动录播系统如何建设“三个课堂”

InfoQ_967a83c6d0d7

MacOS抓包工具Charles

叉叉敌

ios charles 抓包

速看!今天我才知道,UUID还分五个版本

麦叔

Java uuid

架构师训练营 - 第 8 周学习总结

红了哟

关于Aborted connection告警日志的分析

Simon

MySQL MySQL错误日志

utf8字符集下的比较规则

Simon

MySQL 字符集

Java ForEach语句判断是否为空

引花眠

bug

要刷LeetCode了,才发现自己连时间复杂度都不懂

海星

算法 LeetCode

华为云助力斗鱼,轻松应对海量数据分析-InfoQ