QCon上海站购票倒计时最后3天!查看精彩日程 了解详情
写点什么

华为云助力斗鱼,轻松应对海量数据分析

2020 年 3 月 20 日

华为云助力斗鱼,轻松应对海量数据分析

互联网快速发展的当下,数据存储计算的需求与日俱增。华为在 GIV 2025 报告中指出,预计到 2025 年,全球每年新增数据存储量为 180ZB,企业的数据利用率将会达到 86%。


随着 5G、IoT、VR/AR、自动驾驶等技术的发展,会涌现更多大数据应用的创新,面对海量数据分析带来的算力需求不均、数据结构的多样化、高并发作业等诸多挑战,传统大数据平台存算一体耦合在同一集群,主要基于本地 HDFS 作为大数据存储。


这种存算一体的大数据技术架构随着存储量的增长计算成本也随之线性增长,无法灵活配置存储及算力,难以满足企业海量数据分析追求极致性价比的一些典型场景,需要通过大数据计算存储分离方案来解决。


  • 在离线分析场景中

  • 离线批处理,分析类型多,数据量大,大数据开发需求爆发式增长,对存储和算力需求不一。当存储空间或计算资源不足时,企业只能同时对两者进行扩容,虽然能保证性能最优,但存算资源,扩容成本高,利用率低。通过大数据计算存储分离方案,计算不够扩计算,存储不够扩存储,计算资源根据任务负载动态扩缩容机器,最大限度降低企业使用成本,提升资源利用率。

  • 在日志留存场景中

  • 存储周期变长(例如 2 个月变成 6 个月),但算力并不需要显著增加,通过大数据计算分离方案可降低计算的配置和成本。

  • 在一些为了提高效率的场景中

  • 有时需要关闭闲置的计算集群,但由于计算集群中存在数据,关闭闲置的计算集群会导致数据丢失,无法实现真正的弹性计算,存算分离可保证数据不丢失。


作为国内首家弹幕式直播分享网站,斗鱼已成为国内排名第一的电竞娱乐一站式直播分享平台,以游戏直播为主,涵盖了体育、综艺、娱乐等多种直播内容,每天都在为成千上万的观众分享欢乐。


据头榜 2019 年 12 月数据显示,斗鱼日均活跃观众 1485.56 万人次,累积弹幕总数 9 亿 7073 万,活跃主播 32.38 万人次,平均在线时长达 5 小时以上,累积付费礼物 4 亿 6146 万……每月将会产生 PB 级数据量。


与此同时,直播黑产(主播刷榜、渠道推广、非法充值等等)也越来越猖獗,斗鱼自建的大数据分析平台面临数据量和计算量大但要严格控制成本的困难,在有限的投入下提升斗鱼风控平台投诉排查效率。


在 HUAWEI CONNECT 2019 大会期间,李瑞(斗鱼风控代表)表示:


斗鱼大数据分析平台目前是自建集群基于开源 CDH,随着业务规模越来越大,面临数据量大、计算量大,维护成本高的困难,需要寻求稳定高性价比的解决方案。


通过严格的业务模拟、比拼测试后,华为云“存算分离+鲲鹏”大数据解决方案适用斗鱼大数据数据增速快于计算的业务场景。其在读写性能、复杂计算、简单计算、数据倾斜等方面均优于 IDC 本地大数据计算集群,整体性能得到大幅提升。


那么,华为云“存算分离+鲲鹏”大数据解决方案为直播代表斗鱼带来了哪些价值:


存算分离性价比高,极致弹性 大幅提升大数据集群资源利用率

华为云“存算分离+鲲鹏”大数据解决方案针对传统存算一体大数据架构中扩容困难、资源利用率低等问题,


采用计算存储分离架构:


  • 存储基于公有云对象存储实现 11 个 9 的高可靠,无限容量,支撑企业数据量持续增长;

  • 计算资源支持 0~N 弹性扩缩,百节点 3 分钟发放。存算分离后,计算节点可实现真正的极致弹性伸缩;

  • 数据存储部分基于 OBS 的跨 AZ 等能力实现更高可靠性,无需担心地震、挖断光纤等突发事件。


存储和计算资源可以灵活配置,根据业务需要各自独立进行弹性扩展,可使资源匹配更精准、更合理,让大数据集群资源利用率大幅提升,综合分析成本降低 50%,帮助斗鱼实现性价比最优。同时:


  • 通过高性能的计算存储分离架构,针对对象存储数据访问效率深度优化(元数据操作、写入算法优化等),实现存储加速;

  • 通过分布式高性能缓存,异构存储模型,支持热数据加速访问,实现缓存加速;

  • 通过高性能 shuffle、高效的 SQL 优化器,实现计算引擎加速;支持多数据源的计算下压,性能相比开源提升 1 倍。


基于多级加速技术支持,助力斗鱼离线大数据分析效率大幅提升。



图 1 华为云存算分离大数据架构


鲲鹏加持 为大数据提供更高算力

在计算层,华为云“存算分离+鲲鹏”大数据解决方案基于鲲鹏处理器的多核高并发能力、自研 EulerOS,可为用户提供包括裸金属服务器,云服务器,容器和 Serverless 在内的多种粒度的大数据算力,大数据分布式场景性能可提升 25%,可轻松处理 PB 级数据作业,帮助斗鱼解决 IDC 算力不够的问题,为斗鱼在海量数据多并发作业提供可扩展的分析能力。


开放生态 全面兼容,0 改造上云

华为云坚持开放生态路线, “存算分离+鲲鹏”大数据解决方案完全兼容开源原生接口,全面兼容主流的大数据生态,让斗鱼大数据应用从 IDC“0 改造”平滑移植上华为云。


同时提供一份数据支持多引擎的能力,即同一份数据存放在 OBS 上供多引擎调度(传统批、流、交互式,以及 AI 引擎),数据“0”搬迁,减少数据冗余,支持多种业务计算诉求,实现真正数据湖,帮助斗鱼减少重复投资,轻松应对海量存储,提升业务分析效率。未来双方还将在 AI,视频云服务,5G+Cloud+直播创新等领域进一步合作,打造更好的用户体验。


华为云“存算分离+鲲鹏”大数据解决方案为客户和伙伴提供高性价比、极致弹性伸缩、多元计算引擎的业界领先大数据解决方案,使得客户和伙伴可以更加聚焦业务,创造价值,打破数据孤岛,助力企业数字化转型。


本文转载自华为云产品与解决方案站公众号。


原文链接:https://mp.weixin.qq.com/s/KSO9f2N5MY36pDmC_xSTLQ


2020 年 3 月 20 日 21:28356

评论

发布
暂无评论
发现更多内容

【IT运维】IT运维工作很无趣吗?很无聊吗?

行云管家

运维 多云管理平台 云管平台 IT运维

拍乐云 X 青云科技,预见数字自由,相约 CIC 2021 云计算峰会

拍乐云Pano

程序猿咆哮啦!Github霸榜半年的阿里并发编程速成笔记究竟有什么魅力?

Java领路人

Java 编程 程序员 面试 架构师

在外包做开发3年,为了进大厂,耗时半年,整合出25W字Java全栈面试题,这就是我的决心

Java架构师迁哥

国内首家入驻统信系统的APaaS厂商

明道云

技术实践 | 网易云信视频转码提速之分片转码

网易云信

百度智能云人脸离线识别SDK再升级,优化复杂光线识别效果,急速通行无惧暗光

百度大脑

人脸识别 百度智能云

场景背后见真章:银行数字化转型持续深入

CECBC区块链专委会

云原生Web服务框架ESA Restlight

OPPO数智技术

云原生

Linux之ln命令

入门小站

Linux

供应链、产品溯源以及区块链所面临的巨大阻碍是什么?

CECBC区块链专委会

统一预估引擎的设计与实现

OPPO数智技术

算法 后端

产业区块链迎来新纪元,基础设施建设成核心命题

CECBC区块链专委会

网络安全、Web安全、渗透测试之笔经面经总结

网络安全学海

面试 网络安全 信息安全 渗透测试 漏洞分析

如何抓住用户体验的关键时刻?

石云升

用户体验 关键时刻 7月日更

10分钟掌握Java性能分析诀窍

OPPO数智技术

Java 后端

硬实力+软技能!阿里,字节,腾讯三个offer实在纠结的很不知道怎么选,要不我选腾讯,剩下的两个名额送你们得了!哈哈哈~

Java领路人

Java 编程 面试 程序人生 架构师

获取微信小程序页面路径方法

一颗小树

小程序 微信开发者工具 页面路径 微信开发者

图解 JavaScript 数组方法

devpoint

ES6 array 7月日更

第七届军博会圆满闭幕,数军科技多项成果获关注

科技热闻

快手上线本地生活榜单:自媒体平台在逐步蚕食搜索引擎市场

石头IT视角

Java到底是什么?

卢卡多多

Java 入门 7月日更 Java入门

星环研发总监为你揭秘TDH8.0的前因后果 | TDH8.0 使用必读 3

星环科技

数据库 大数据平台 多模型数据

11道高频React面试题及详解,另附有React面试题集合

前端依依

面试 前端 React

oCPX简介——广告界的“无人驾驶”技术

OPPO数智技术

算法

【软件测试转型自动化测试001】Python环境搭建&语法规则

程序员阿沐

Python 软件测试 自动化测试 环境搭建 语法规则

用户管理系统 - 用户权限设计从入门到精通

蒋川

后台开发 权限系统 权限管理 权限架构 用户管理

char+char=number

喵叔

7月日更

阿里技术团队耗时半年打造的258W字Java全栈面试题总结太香了!

程序员小毕

Java spring 程序员 架构 面试

模型端侧加速哪家强?一文揭秘百度EasyEdge平台技术内核

百度大脑

人工智能 深度学习 百度 飞桨

下一代人工智能:逻辑理解?物理理解?

OPPO数智技术

人工智能

华为云助力斗鱼,轻松应对海量数据分析-InfoQ