【ArchSummit】如何通过AIOps推动可量化的业务价值增长和效率提升?>>> 了解详情
写点什么

深耕换来突破,大数据 MapReduce 最新版本出炉,尝鲜!

  • 2020-03-29
  • 本文字数:2310 字

    阅读完需:约 8 分钟

深耕换来突破,大数据MapReduce最新版本出炉,尝鲜!

经过数十位技术工程师,以及本小编的辛苦劳作,MapReduce 服务重磅推出新版本 1.8.1,无论是在集群安全性、易用性、灵活性,还是在组件的功能性都变得更加强大!下面由小编来简单地对比一下:



MapReduce 服务不愧是华为云重点打造的服务,它基于华为历经行业数万节点成功使用经验,在云上打造的企业级 Hadoop 大数据平台服务。一键部署、灵活弹性伸缩,包含了 Hadoop、Spark、HBase、Kafka、Storm、Hive 等丰富内核组件,帮助用户在云上轻松完成高可靠、高安全、低成本、一站式大数据平台的搭建。



读到这里是不是很想知道 MRS1.8.1 到底有什么详细的更新呢?且听小编一一道来。

MRS 专属大数据服务

在金融、公安、政府等项目中,由于数据的敏感性,对大数据的存储、清洗、处理过程中需要更高的隔离性与安全。因此,需要建立一个隔离度高、满足企业自身行业更强监管的专属云服务。



业务上云痛点铁三角


专属云服务(Dedicated Cloud)是在公有云上隔离出来的专属计算和存储资源池,租户可以在其中申请专用物理服务器来构建自己的计算和存储资源池,并使用高度可靠的隔离网络。专属云用户部署的云主机(ECS)和物理机(BMS)将分布在用户自己的专属资源池中,并且可在管理控制台管理资源,查看计算资源使用情况,就像私有云一样灵活使用专属云。



专属云服务客户价值


专属云大数据是将大数据集群服务与专属云服务进行结合的一种综合性服务,在专属云内用户独占物理设备、独享计算和存储资源,使用专属云内的资源搭建大数据服务。

基于弹性 IP 的集群快捷访问通道

虚拟私有云(vpc)为 MRS 集群上的弹性云服务器构建了隔离的虚拟网络环境,用户无法直接使用本机的浏览器访问 MRS Manager, MRS 服务提供了弹性公网 IP 功能,可以通过固定的公网 IP 地址与互联网互通,并且比用户自绑弹性公网 IP 更便捷,功能更全面。


  • 便捷

  • 访问 MRS Manager 步骤减少至 2 步,简化添加安全组规则,获取公网 IP 等步骤,便捷性提升四倍以上,用户用起来更方便。



  • 功能更全面

  • MRS 绑定的弹性公网 IP 的特性为用户提供的六大功能,如下图所示,不仅能够针对性的解决用户的痛点,也把用户体验提至最佳。


Kafka 升级到 1.1.0 版本

Kafka 是一个使用广泛的分布式消息队列,MRS 在 1.8.1 版本中 Kafka 升级到了 1.1.0,主要有以下几个特性的更新:

关于存储的一些优化。对于 Kafka 集群来说存储太昂贵并且容错性不高,最好的办法应该是使用 JBOD,并且设置 replication factor 为 4,与 RAID-10 比较,冗余度没变,提高了系统可用性。此优化针对 JBOD,允许 Broker 下的单个磁盘故障后 Broker 依然可以运行,提供在单个 Broker 内和多个 Broker 之间的多个磁盘之间的数据移动。

部分配置可以做到不用重启进程即可动态更新。

Kafka Streams API 的优化。Kafka Streams 是 Apache Kafka 从 0.10 版本引入的一个新特性,它提供了对存储于 Kafka 内的数据进行流式处理和分析的功能,它是一个客户端类库,相比 Storm、Flink 等流式处理框架,易于开发和理解,编程简单。

支持基于 delegation token 的认证,可以在不给 Kerberos 过大的压力的情况下支持更多的客户端。

Kafka 从 1.x 版本开始,开始朝着从以分布式消息队列为己任到分布式消息队列和流处理平台方向发力。MRS 作为一站式的大数据处理平台,快速更新 Kafka 版本,结合华为 c3ne 规格的虚拟机,利用其超大的网络带宽,可以充分发挥 Kafka 的性能。

Storm 升级到 1.2.1 版本

Storm 是一个分布式实时大数据处理系统。Storm 设计用于在容错和水平可扩展方法中处理大量数据。它是一个流数据框架,具有最高的摄取率。MRS 在 1.8.1 版本中 Storm 升级到了 1.2.1,这是一个常规维护版本,其中包含许多重要的错误修复,可以提高 Storm 的性能,稳定性和容错能力。

MRS 资源锁特性

MRS 资源锁通过对大数据集群中的 ECS、EVS 等资源进行加锁,在集群使用期间,防止用户在 ECS 页面的误操作而产生可能影响集群功能的后果,比如删除虚拟机、重装操作系统、切换操作系统、变更虚拟机规格等,来保证我们大数据集群的稳定可靠运行。


MRS 资源锁默默地为您保驾护航,用户不需要做任何额外操作。当我们创建大数据集群时,MRS 资源锁就会相应加上;当我们终止大数据集群时,MRS 资源锁就会相应释放。

弹性伸缩增强:资源计划

在大数据应用,尤其是实时分析处理数据的场景中,常常需要根据数据量的变化动态调整集群节点数量以增减资源。MRS 的弹性伸缩功能已经支持根据集群负载对集群进行弹性伸缩。此外,如果数据量以天为周期有规律的变化,并且希望在数据量变化前提前完成集群的扩缩容,MRS 新特性资源计划将派上用场。



资源计划也可以理解为定时弹性伸缩,可以单独使用,也可以与按负载弹性伸缩叠加使用。

弹性伸缩增强:自动化脚本

对于弹性伸缩来说,一些特定的业务场景,可以自动化实现根据节点数量的变化对资源分配或业务逻辑进行更改。


MRS 支持的自定义弹性伸缩自动化脚本的解决方案,预定义了一些与扩缩容的类型、节点数等相关几个参数,包括扩缩容节点数、扩缩容类型、节点 ip,触发规则名。


客户可以将自动化脚本存储在 MRS 集群虚拟机或 OBS 上,也可以传递自定义参数(多个参数中间用空格隔开),直接填写在参数配置框中传递给脚本。


自动化脚本给用户实现个性需求提供了途径,完全自定义的脚本与多个可选的执行时机基本可以满足用户的各项需求,使弹性伸缩更具灵活性。


通过上述的介绍,相信大家已经大致了解 MRS 新版本带来的新特性。为了让大家能第一时间体验到新特性,MRS 服务再发福利,免费为个人赠送包月的大数据分析集群套餐,不花一分钱就能体验云上的 MRS 大数据平台。


本文转载自 华为云产品与解决方案 公众号。


原文链接:https://mp.weixin.qq.com/s/LD-hj9yjv1kmcCvlRJOj4g


2020-03-29 19:21549

评论

发布
暂无评论
发现更多内容

定制开发APP——怎样吸引更多用户?

开源直播系统源码

软件开发 直播系统源码 定制开发 app定制开发

​五大不良 coding 习惯,你占了几样?

SEAL安全

Code 代码规范 CODING

兆骑科创创业大赛,线上直播路演,高层次人才引进服务平台

兆骑科创凤阁

高僧斗法(博弈-Nim博弈)

Five

算法竞赛 算法题 8月月更

基于 Impala 的高性能数仓建设实践之虚拟数仓

网易数帆

大数据 impala 数仓架构

万物皆可集成系列:低代码释放用友深度价值(1)—系统对接集成

葡萄城技术团队

软件测试100天上岸3-测试有哪些最高原则

和牛

测试 8月月更

哪家web前端培训班比较好

小谷哥

刘伟光:超大型金融机构国产数据库全面迁移成功实践

OceanBase 数据库

2022 全球 AI 模型周报

Zilliz

深度学习 计算机视觉 Transformer 多模态

身价百亿的Zendesk:创业,从一个小目标开始

ToB行业头条

蓝桥杯历届试题 蚂蚁感冒(模拟版+非模拟版)

Five

算法 算法竞赛 8月月更

OceanBase CEO杨冰:小就是大,构建企业核心竞争力

OceanBase 数据库

轻量化服务,大道至简,触手可及

鼎道智联

微服务 云服务 PWA 轻应用 原子化服务

OceanBase 4.0发布:首次实现单机分布式一体化架构、全面上云

OceanBase 数据库

观测云产品更新|观测云计费更新;新增场景仪表板/笔记/查看器的查看权限;优化监控器和事件等

观测云

7大特征交互模型,最好的深度学习推荐算法总结

博文视点Broadview

leetcode 225. Implement Stack using Queues 用队列实现栈(简单)

okokabcd

LeetCode 数据结构与算法

开源一夏 | Node.js实战之Node多进程与JXcore 打包深入运用

恒山其若陋兮

开源 8月月更

开源一夏 | Java 覆盖jar包内的方法

六月的雨在InfoQ

开源 钉钉 Java core 8月月更

兆骑科创创业赛事活动服务平台,投融资服务对接,政策申报

兆骑科创凤阁

QCN9074 WiFi 6E Card OpenWRT, IPQ6010,802.11ax,wallys,QCN9074 802.11ax 4x4 MU-MIMO 6GHz wifi6E

wallys-wifi6

IPQ6010 QCN9074

毕业设计

Asha

缓存穿透、缓存击穿、缓存雪崩及解决方案

Steven

VPN是什么?VPN与堡垒机有啥区别?

源字节1号

软件开发 小程序开发

演进式架构从不缺设计方法,最大的阻力在于「人」

万事ONES

3D可视化在智慧园区的应用

3DCAT实时渲染

华为被迫开源!从认知到落地SpringBoot企业级实战手册(完整版)

Java编程日记

Java 编程 程序员 面试 架构师

专访通过 OBCP V3 首位考生:V3 让知识更加结构化、体系化

OceanBase 数据库

Java:在Word文档中添加或删除页眉页脚

Geek_249eec

Java word 页眉页脚

Bundle-less 的思考和实践分享

字节跳动终端技术

bundle 字节跳动 前端 构建工具 拆包

深耕换来突破,大数据MapReduce最新版本出炉,尝鲜!_文化 & 方法_华为云产品与解决方案_InfoQ精选文章