写点什么

为什么我要选择 Spark on K8s?

  • 2019 年 9 月 12 日
  • 本文字数:1798 字

    阅读完需:约 6 分钟

为什么我要选择Spark on K8s?

大数据之路顺应人类科技的进步而诞生,一直顺风顺水,不到 20 年时间,已渗透到社会生产和人们生活的方方面面,。然而,伴随着信息量的指数级增长,大数据也开始面临存储资源告急、算力吃紧、数据处理效率无法满足业务增长诉求等一系列问题,导致唱衰之声此起彼伏。而近年来兴起的容器技术,以其轻量化、易迁移、扩容快等优势,结合计算存储分离的分布式架构,可以更好地发挥大数据平台在海量数据集、高并发、实时分析等应用场景下的优势。


互联网、汽车、保险、电力、零售等行业,利用海量信息分析用户特征及行为模式,从而制定更贴近用户的服务方案、商业策略,并进行精准推送。目前大部分数据分析都在 Hadoop 生态中进行,Hadoop 也凭借其完善的生态,备受用户欢迎,成为主流的开源大数据平台,也成为了大数据的代名词。



然而,从 2006 第一个 Hadoop 版本发布算起的话,大数据的发展也经历了至少 13 个年头,当初引以为傲的“计算存储融合”架构以及先进的数据分析理念和实践,也开始遭受挑战:


  1. 计算存储资源耦合,无法灵活调整存算配比,只能按固定比例扩容,导致部分资源浪费;

  2. 数据中心建设成本高,后期运维成本有高,性价比和灵活度均不如公有云方案;

  3. 互联网时代,数据爆炸式增长,现有数据中心资源不足,极易导致作业拥塞,降低计算效率;

  4. 大数据与其它业务资源池无法共享,需分开维护多套,进一步增加运维成本。


此外,AI、机器学习、自然语言处理(NLP)等概念的兴起,也对大数据造成冲击,“大数据已死”的风声开始不绝于耳。



随着 5G+云+AI 时代来临,数据变得更多、更复杂、更精细化,大数据不仅没有死,反而对企业变得前所未有的重要。而亟待我们解决的问题是:如何用一种更高效、更实用的解决方案,处理爆炸式增长的数据。围绕这一课题,各大公司也展开了新一轮的技术探索与升级。


首先,基础网络飞速发展,网络传输已不再是瓶颈,许多公司开始在大数据的存储和计算分离方面做尝试,效果如何呢?IDC 中国报告指出:“解耦计算和存储在大数据部署中被证明是有用的,它提供了更高的资源利用率,更高的灵活性和更低的成本。”


同时,伴随着容器技术的成熟及在各行业的深入应用,部分企业也着手于平台的容器化改造,希望结合容器的优势,为大数据平台赋予新的力量。


二者结合,我们似乎看到了大数据蜕变的曙光。



目前,存算分离的方案相对已经比较成熟,容器化方案还处于探索和小规模应用阶段,以 Spark 为例,方案大体上分为 2 种:


一种是 Spark Standalone,该方案仅对大数据系统做容器化部署改造,得益于容器轻量化、更细粒度的算力管理、任务隔离等特点,可以将主机划分成更多小颗粒的任务单元,使主机资源利用率更高,同时兼顾用户原有的使用习惯。


但此方案需要提前分配固定的容器数量,并保持容器的持续运行,无法对容器进行动态管理,资源的利用率虽然有所提升,但仍存在浪费。


另一种是 Spark On Kubernetes 集群方案,该方案使用 Kubernetes 替代 Yarn 来进行统一的资源编排和调度,技术上更贴近主流容器解决方案,免去了二层调度,可以进一步提升资源管理效率,相比 Standalone 方案,实现了对容器资源的动态管理,优化了资源分配。


然而,Kubernetes 不属于 Hadoop 生态组件,与传统 Spark on YARN 方案相比存在一些劣势,如:缺少任务队列、external shuffle service 等特性,且性能较差。因此在应用到生产系统时,还要做大量的功能增强、调度和性能优化,才能保持与传统大数据平台一致。


针对客户容器化过程中的问题,华为云计划推出鲲鹏大数据容器解决方案,该方案与 BigData Pro 相结合,将提供一套更完善的容器化大数据解决方案。BigData Pro 是业界首个鲲鹏大数据解决方案,该方案采用基于公有云的存算分离架构,以可无限弹性扩容的鲲鹏算力作为计算资源,以支持原生多协议的 OBS 对象存储服务为统一的存储数据湖,提供“存算分离、极致弹性、极致高效”的全新公有云大数据解决方案,大幅提升了大数据集群的资源利用率,能有效应对当前大数据行业存在的瓶颈,帮助企业应对 5G+云+智能时代的全新挑战,实现企业智能化转型升级。


2019 年全联接大会上,华为云将正式发布鲲鹏大数据容器解决方案,该方案针对大数据业务场景,在功能、调度和性能上有了优化和增强,能为用户提供更原生的大数据服务体验。


华为云鲲鹏大数据容器相比业界主流大数据平台有哪些优势?华为云鲲鹏大数据容器又使用了哪些黑科技?


9 月 18 日华为全联接大会


让我们一起拭目以待!


2019 年 9 月 12 日 18:212744

评论

发布
暂无评论
发现更多内容

距离Java开发者玩转 Serverless,到底还有多远?

博文视点Broadview

Python解释器和IPython

程序那些事

Python 数据分析 ipython 程序那些事 Python解释器

Java单例7种测试实践

叫练

单例模式 单例 手写单例 饿汉式 懒汉式

基于网络开放可编程技术构建新一代网络设备运管平台

华为云开发者社区

运维 网络 运维自动化 金融

【JS】防止浏览器控制台被直接查看(2)

德育处主任

JavaScript chrome 大前端 js 28天写作

代码编译时自动完成白盒测试,这真的可以

华为云开发者社区

c++ 测试 代码 框架

SpringCloud 从入门到精通 07--- 订单服务和支付服务注册进Eureka

Felix

智能合约APP开发|智能合约系统软件开发

系统开发

CSS11 - 浮动

Mr.Cactus

html/css

作为社畜,如何做好精力管理

熊斌

精力管理 28天写作

SpringCloud 从入门到精通 06--- Eureka服务端

Felix

5 天开发接口系统技术小结

老魚

laravel 建站 接口开发 28天写作

2020中国云计算生态峰会召开 浪潮云摘得三项大奖

浪潮云

云服务

为什么泡泡玛特是一个好生意

lidaobing

28天写作 泡泡玛特

这5个让人窒息的烂代码,你看完都忍不了

华为云开发者社区

GitHub 代码 代码注释 null

Dubbo 就是靠它崭露头角!

yes

dubbo 后端 RPC

智联招聘的微前端落地实践——Widget

智联大前端

大前端

Redis学习笔记01:SDS 简单动态字符串

架构精进之路

redis 七日更 28天写作

微服务该如何拆分?

xcbeyond

微服务 方法论 架构设计原则 28天写作

技术干货!HDFS读写原理和代码简单实现

华为云开发者社区

hadoop hdfs 架构 MRS 元数据

前端大佬们都在推荐的“绿宝书”你值得拥有

华章IT

JavaScript typescript 大前端 web开发 犀牛书

云上独享资源池 自主灵活更安全

浪潮云

产品推荐

kafka如何做到无消息丢失配置

topsion

kafka 消息不丢失

没有调查,就没有发言权 Jan 12, 2021

王泰

28天写作

HDFS SHELL详解(5)

罗小龙

hadoop 28天写作 hdfs shell

2021,加料!

浪潮云

云原生 工业互联网

初识 D3.js :打造专属可视化

vivo互联网技术

JavaScript 数据分析 可视化 图表 D3

做视频最大的困难是什么?为什么要保持日更? | 视频号 28 天 (05)

赵新龙

28天写作

Elasticsearch 核心概念

escray

elasticsearch elastic 28天写作 死磕Elasticsearch 60天通过Elastic认证考试

为什么我要选择Spark on K8s?_架构_华为云原生团队_InfoQ精选文章