把握行业变革关键节点,12 月 19 日 - 20 日,AICon北京站即将重磅启幕! 了解详情
写点什么

大数据开发实验环境如何搭建?你可以这样做

  • 2020-04-02
  • 本文字数:982 字

    阅读完需:约 3 分钟

大数据开发实验环境如何搭建?你可以这样做

互联网时代的飞速发展,企业产生的数据也与日俱增,如何让这些复杂无序的数据产生价值,如何让企业轻松驾驭这些海量数据信息来创新、快速洞察商机,这是现今企业的迫切需求。传统数据的处理分析能力已经不能满足要求,大数据时代的到来解决了这迫在眉睫的需求。



图片来自视觉中国


作为个人想要实践学习大数据首先要有数据,现在获取数据已经非常容易了,各种赛事kaggle、AI challenge、DataCastle、天池以及一些公司和机构都提供了很多的数据集。其次就是平台。但是如何获取企业级的大数据存储和计算能力,在个人的PC或者是小企业的服务器上搭建虚拟机学习大数据,入门还可以,实践是远远不够的。


但是很多时候我们浪费太多时间在实验环境搭建上。网上下载一些软件包因为版本更新或其他原因,很快很多软件包就不适用了;而且遇到一些环境问题因为版本和环境差别很大,可能只是很小的问题,但很难搜得到解决方法。这次就为大家带来一个比较契合个人做实操的云实验平台。



图片来自视觉中国


2017 年 7 月华为云上线,不到一年的时间,已经上线 14 大类 99 款云服务,50+解决方案。其中最引人关注的当属 EI 大数据的 MapReduce 服务(MapReduce Service)。


华为云 MRS 服务源于开源,所以对于开发者而言完全可以无缝对接。数据处理组件方面将开源组建 Hadoop、Spark、HBase、Kafka、Storm 等加强并封装到 MRS 服务中,打造了高可靠、高安全、易使用的运行维护平台,对外提供大容量的数据存储和分析能力,可解决企业级的数据存储和处理需求。用户可以独立申请和使用托管 Hadoop、Spark、HBase 和 Hive 组件,用于快速在主机上创建集群,提供海量数据的实时性要求不高的批量数据存储和计算能力。


MRS 使用简单,用户只需十五分钟就可以启动 MRS 集群,不必花时间关注节点调配、集群配置和集群调试。MRS 会自动处理这些任务,用户只需集中精力分析。提供 SQL 和 OpenAPI 等多种易用接口,大幅度降低开发人员编程难度。当数据完成存储和计算,可终止集群服务,集群终止后不再产生费用。当然,您也可以选择长期运行集群。


本文转载自 华为云产品与解决方案 公众号。


原文链接:https://mp.weixin.qq.com/s/ATqIb-ZcsvBLTBZZ5hQaKg


2020-04-02 14:391038

评论

发布
暂无评论
发现更多内容

转行软件测试跳槽到新公司,工作如何快速上手?

伤心的辣条

Python 程序员 软件测试 自动化测试 接口测试

前端工程化:保姆级教学 Jenkins 部署前端项目

伤心的辣条

Python 程序员 jenkins 自动化测试 接口测试

CVPR2022 |小红书首创多图交互建模挑战热门研究课题,大幅提升行人重识别性能

小红书技术REDtech

Transformer CVPR2022 行人重识别

想要了解数字机器人如何赋能政企领域,一定不要错过这个论坛

王吉伟频道

RPA 机器人流程自动化 机器人开发 华为开发者大会2022 华为WeAutomate

国际SaaS企业有哪些机遇和挑战

ToB行业头条

UI自动化测试框架搭建-优化企业微信通知

伤心的辣条

Python 程序员 软件测试 自动化测试 UI自动化

应用实践 | Apache Doris 在网易互娱的应用实践

SelectDB

MySQL 数据库 最佳实践 apache doris 数据优化

melody SGS旋律麦克风链游开发模式分析

开发微hkkf5566

本周三晚19:00Hello HarmonyOS应用篇第7课—分布式应用开发

HarmonyOS开发者

HarmonyOS

CloudTTY:下一代云原生开源 Cloud Shell

Daocloud 道客

Kubernetes 云原生 开源项目 网页命令行

35人首次上榜、行者皆勇者——创业邦3040新青年创投峰会圆满落幕

创业邦

GPU渲染全解读:GPU渲染器的发展与对比

Finovy Cloud

渲染器 GPU服务器

面试时必问的五大问题

伤心的辣条

Python 软件测试 自动化测试 测试开发 软件测试面试

数据关联最佳实践

观测云

可观测性 可观测

新一代政务云的“前移”与“致远”

云计算

元气部落仿站开发,元气部落盲盒系统APP开发

WDL22119

盲盒小程序开发 盲盒源码 盲盒H5开发 盲盒APP系统开发 元气部落仿站开发

安势信息加入OpenSSF (开源安全基金会), 共建软件供应链安全

安势信息

Linux DevOps SCA工具 opensource

打造软件供应链安全平台,「安势信息」完成数千万元天使轮融资

安势信息

从功能测试进阶自动化测试,熬夜7天整理出这一份3000字超全学习指南【附网盘资源】

伤心的辣条

Python 程序员 软件测试 IT 自动化测试

Python小白何时能做自动化

伤心的辣条

Python 软件测试 自动化测试 接口测试 测试开发

2022中国信通院安全运营发展论坛成功召开

中国IDC圈

安全

InnoDB体系架构

龙空白白

MySQL InnoDB

Vue-8-计算属性和侦听属性

Python研究所

6月月更

云上360行丨深耕快消品行业数字化转型,纷享销客与华为云合力同行

华为云开发者联盟

人工智能 modelarts 快消品 纷享销客

问题来了:4GB物理内存的机器上申请8G内存能成功吗?

Java全栈架构师

Java Linux 程序员 面试 程序人生

LeaRun.Java表单快速开发工具

力软低代码开发平台

Git 不要只会 pull 和 push,学学这 5 条提高效率的命令

CRMEB

国家先进计算产业创新(宜昌)中心正式落地 由中科曙光、升哲科技联合运营

SENSORO

人工智能 物联网 新基建 智慧城市

给你一个项目,你将如何开展性能测试工作?

伤心的辣条

Python 程序员 IT 自动化测试 接口测试

如何高效的进行接口测试?【工具篇】

Liam

测试 Postman 接口测试 API接口管理 接口测试工具

大数据开发实验环境如何搭建?你可以这样做_大数据_华为云产品与解决方案_InfoQ精选文章