【AICon】探索RAG 技术在实际应用中遇到的挑战及应对策略!AICon精华内容已上线73%>>> 了解详情
写点什么

华为云 BigData Pro 解读: 鲲鹏云容器助力大数据破茧成蝶

  • 2020-03-23
  • 本文字数:1725 字

    阅读完需:约 6 分钟

华为云BigData Pro解读: 鲲鹏云容器助力大数据破茧成蝶

大数据之路顺应人类科技的进步而诞生,一直顺风顺水,不到 20 年时间,已渗透到社会生产和人们生活的方方面面。


然而,伴随着信息量的指数级增长,大数据也开始面临存储资源告急、算力吃紧、数据处理效率无法满足业务增长诉求等一系列问题,导致唱衰之声此起彼伏。


而近年来兴起的容器技术,以其轻量化、易迁移、扩容快等优势,结合计算存储分离的分布式架构,可以更好地发挥大数据平台在海量数据集、高并发、实时分析等应用场景下的优势。

翩然入世

互联网、汽车、保险、电力、零售等行业,利用海量信息分析用户特征及行为模式,从而制定更贴近用户的服务方案、商业策略,并进行精准推送。


目前大部分数据分析都在 Hadoop 生态中进行,Hadoop 也凭借其完善的生态,备受用户欢迎,成为主流的开源大数据平台,也成为了大数据的代名词。

困蛹之境


然而,从 2006 第一个 Hadoop 版本发布算起的话,大数据的发展也经历了至少 13 个年头,当初引以为傲的“计算存储融合”架构以及先进的数据分析理念和实践,也开始遭受挑战:


1、 计算存储资源耦合,无法灵活调整存算配比,只能按固定比例扩容,导致部分资源浪费;


2、 数据中心建设成本高,后期运维成本有高,性价比和灵活度均不如公有云方案;


3、 互联网时代,数据爆炸式增长,现有数据中心资源不足,极易导致作业拥塞,降低计算效率;


4、 大数据与其它业务资源池无法共享,需分开维护多套,进一步增加运维成本。


此外,AI、机器学习、自然语言处理(NLP)等概念的兴起,也对大数据造成冲击,“大数据已死”的风声开始不绝于耳。

破茧之挣


随着 5G+云+AI 时代来临,数据变得更多、更复杂、更精细化,大数据不仅没有死,反而对企业变得前所未有的重要。而亟待我们解决的问题是:如何用一种更高效、更实用的解决方案,处理爆炸式增长的数据。


围绕这一课题,各大公司也展开了新一轮的技术探索与升级。


首先,基础网络飞速发展,网络传输已不再是瓶颈,许多公司开始在大数据的存储和计算分离方面做尝试,效果如何呢?IDC 中国报告指出:“解耦计算和存储在大数据部署中被证明是有用的,它提供了更高的资源利用率,更高的灵活性和更低的成本。”


同时,伴随着容器技术的成熟及在各行业的深入应用,部分企业也着手于平台的容器化改造,希望结合容器的优势,为大数据平台赋予新的力量。


二者结合,我们似乎看到了大数据蜕变的曙光。

化蝶之旅


目前,存算分离的方案相对已经比较成熟,容器化方案还处于探索和小规模应用阶段,以 Spark 为例,方案大体上分为 2 种:


一种是 Spark Standalone,该方案仅对大数据系统做容器化部署改造,得益于容器轻量化、更细粒度的算力管理、任务隔离等特点,可以将主机划分成更多小颗粒的任务单元,使主机资源利用率更高,同时兼顾用户原有的使用习惯。


但此方案需要提前分配固定的容器数量,并保持容器的持续运行,无法对容器进行动态管理,资源的利用率虽然有所提升,但仍存在浪费。


另一种是 Spark On Kubernetes 集群方案,该方案使用 Kubernetes 替代 Yarn 来进行统一的资源编排和调度,技术上更贴近主流容器解决方案,免去了二层调度,可以进一步提升资源管理效率,相比 Standalone 方案,实现了对容器资源的动态管理,优化了资源分配。


绿色动图分割线


然而,Kubernetes 不属于 Hadoop 生态组件,与传统 Spark on YARN 相比存在一些劣势,如:缺少任务队列、external shuffle service 等特性,且性能较差。因此在应用到生产系统时,还要做大量的功能增强、调度和性能优化,才能保持与传统大数据平台一致。


针对客户容器化过程中的问题,华为云计划推出鲲鹏大数据容器解决方案,该方案与 BigData Pro 相结合,将提供一套更完善的容器化大数据解决方案。


BigData Pro 是业界首个鲲鹏大数据解决方案


该方案采用基于公有云的存算分离架构,以可无限弹性扩容的鲲鹏算力作为计算资源,以支持原生多协议的 OBS 对象存储服务为统一的存储数据湖,提供“存算分离、极致弹性、极致高效”的全新公有云大数据解决方案,大幅提升了大数据集群的资源利用率,能有效应对当前大数据行业存在的瓶颈,帮助企业应对 5G+云+智能时代的全新挑战,实现企业智能化转型升级。


本文转载自华为云产品与解决方案公众号。


原文链接:https://mp.weixin.qq.com/s/g6rFKg3zak7tcNSVa84soA


公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2020-03-23 22:33643

评论

发布
暂无评论
发现更多内容

极客时间训练营-12周作业

潜默闻雨

第 12 周作业

Mr.Monkey

week12作业一

极客大学架构师训练营

PageRank简述

朱月俊

人生需要正确选择

朱月俊

极客时间架构师训练营-第十二周-命题作业

sljoai

极客大学架构师训练营 #第十二周# #命题作业#

极客时间架构师训练营-第十二周-总结

sljoai

极客大学架构师训练营 #第十二周#

JWT认证看这一篇就够了

架构师修行之路

程序员 架构

深度解析OAuth 2.0授权!!

架构师修行之路

架构 高并发系统设计 OAuth 2.0

w-12

麻辣

极客大学架构师训练营

架构师训练营-week12-学习总结

晓-Michelle

极客大学架构师训练营

史上第二全的java文件操作和数据读写

诸葛小猿

文件读写 inputstream OutputStream PrintWriter BufferedReader

week12 作业

Geek_196d0f

week12 小结

Geek_196d0f

架构师训练营 week12 - 学习总结

devfan

架构师训练营 第十二周 作业

CR

MapReduce

莫莫大人

极客大学架构师训练营

极客时间训练营-12周作业2

潜默闻雨

架构师训练营 week 12 作业

Frank Zeng

架构师训练营Week12学习总结

Frank Zeng

架构师训练营第十二周作业

坂田吴奇隆

极客大学架构师训练营

架构师训练营第十二周-总结

坂田吴奇隆

极客大学架构师训练营

mapReduce

纯纯

第12周作业

Jaye

Week12 总结

leis

大数据应用业务

leis

架构师训练营 week12

devfan

大数据架构之上

李小匪

大数据 架构

逛过这个商城,摄像机竟然学会了独立思考

脑极体

Week 12 作业

鱼_XueTr

架构师训练营第十二章作业

子豪sirius

华为云BigData Pro解读: 鲲鹏云容器助力大数据破茧成蝶_云原生_华为云产品与解决方案_InfoQ精选文章