写点什么

大数据开发实验环境如何搭建?你可以这样做

  • 2020-04-02
  • 本文字数:982 字

    阅读完需:约 3 分钟

大数据开发实验环境如何搭建?你可以这样做

互联网时代的飞速发展,企业产生的数据也与日俱增,如何让这些复杂无序的数据产生价值,如何让企业轻松驾驭这些海量数据信息来创新、快速洞察商机,这是现今企业的迫切需求。传统数据的处理分析能力已经不能满足要求,大数据时代的到来解决了这迫在眉睫的需求。



图片来自视觉中国


作为个人想要实践学习大数据首先要有数据,现在获取数据已经非常容易了,各种赛事kaggle、AI challenge、DataCastle、天池以及一些公司和机构都提供了很多的数据集。其次就是平台。但是如何获取企业级的大数据存储和计算能力,在个人的PC或者是小企业的服务器上搭建虚拟机学习大数据,入门还可以,实践是远远不够的。


但是很多时候我们浪费太多时间在实验环境搭建上。网上下载一些软件包因为版本更新或其他原因,很快很多软件包就不适用了;而且遇到一些环境问题因为版本和环境差别很大,可能只是很小的问题,但很难搜得到解决方法。这次就为大家带来一个比较契合个人做实操的云实验平台。



图片来自视觉中国


2017 年 7 月华为云上线,不到一年的时间,已经上线 14 大类 99 款云服务,50+解决方案。其中最引人关注的当属 EI 大数据的 MapReduce 服务(MapReduce Service)。


华为云 MRS 服务源于开源,所以对于开发者而言完全可以无缝对接。数据处理组件方面将开源组建 Hadoop、Spark、HBase、Kafka、Storm 等加强并封装到 MRS 服务中,打造了高可靠、高安全、易使用的运行维护平台,对外提供大容量的数据存储和分析能力,可解决企业级的数据存储和处理需求。用户可以独立申请和使用托管 Hadoop、Spark、HBase 和 Hive 组件,用于快速在主机上创建集群,提供海量数据的实时性要求不高的批量数据存储和计算能力。


MRS 使用简单,用户只需十五分钟就可以启动 MRS 集群,不必花时间关注节点调配、集群配置和集群调试。MRS 会自动处理这些任务,用户只需集中精力分析。提供 SQL 和 OpenAPI 等多种易用接口,大幅度降低开发人员编程难度。当数据完成存储和计算,可终止集群服务,集群终止后不再产生费用。当然,您也可以选择长期运行集群。


本文转载自 华为云产品与解决方案 公众号。


原文链接:https://mp.weixin.qq.com/s/ATqIb-ZcsvBLTBZZ5hQaKg


2020-04-02 14:391006

评论

发布
暂无评论
发现更多内容

鸿蒙HarmonyOS实战-工具安装和Helloworld案例

不在线第一只蜗牛

HarmonyOS 鸿蒙开发 鸿蒙系统

亚马逊云科技与英伟达扩展合作 持续推进生成式AI创新

财见

如何借助API提升产品设计的用户体验

Noah

万界星空科技商业开源MES,技术支持+项目合作

万界星空科技

开源 mes 开源mes 万界星空科技 商业开源

【AAAI 2024】M2Doc:文档版面分析的可插拔多模态融合方法

阿里云大数据AI技术

东郊到家服务系统开发

l8l259l3365

倒排索引关键点普及

京东科技开发者

软件测试学习笔记丨Python中执行pytest

测试人

软件测试

盘点|《数据安全法》的26部配套立法(附下载)

极盾科技

数据安全

生成大边界不重复随机整数

waitmoon

伪随机函数 随机数

云PBX的介绍

cts喜友科技

通信 通讯 云pbx 云通讯

Solidity案例详解(六)食品溯源合约

BSN研习社

区块链 Solidity

如何在Docker容器启动时自动运行脚本

华为云开发者联盟

Docker 开发 华为云 华为云开发者联盟

得嘞,分页插件PageHelper返回记录总数total竟然出错了!

京东科技开发者

数据中台应具备哪些功能?

京东科技开发者

小程序应用市场的发展演变

FinFish

应用市场 小程序应用市场 移动应用市场

面试官:Kafka和ES选主有什么区别?

王磊

Java 面试

云原生最佳实践系列2:基于 MSE 云原生网关同城多活

阿里巴巴云原生

阿里云 云原生 云原生网关

AWE2024,中国家电智能化的《山海经》

白洞计划

智能家居

海外云手机如何帮助亚马逊引流?

Ogcloud

云手机 海外云手机 云手机海外版 电商云手机 跨境云手机

如何用云手机运营Facebook账号

Ogcloud

云手机 海外云手机 云手机海外版 国外云手机 跨境云手机

海外客户获取难?海外云手机助力电商营销引流!

Ogcloud

云手机 海外云手机 云手机海外版 电商云手机 跨境云手机

Debezium vs OGG vs Tapdata:如何实时同步 Oracle 数据到 Kafka 消息队列?

tapdata

同步 Oracle 数据到 Kafka Oracle 到 Kafka Kafka 数据同步方案 Oracle 数据同步工具

软件测试学习笔记丨Pytest–Fixture特点及优势

测试人

软件测试

[每日秒懂] 软件工程

dinstone

DevOps 敏捷开发 软件工程 持续交付 持续部署

深入理解Sora技术原理

得物技术

AIGC sora

大数据开发实验环境如何搭建?你可以这样做_大数据_华为云产品与解决方案_InfoQ精选文章