腾讯亿级用户规模自研业务的上云实践解读,立即报名 了解详情
写点什么

利用 IPython Notebook 配合 Amazon EMR 实现数据分析

  • 2015-06-19
  • 本文字数:1692 字

    阅读完需:约 6 分钟

IPython Notebook 是一套基于 Web 的交互环境,允许大家将代码、代码执行、数学函数、富文档、绘图以及其它元素整合为单一文件。从后端层面看,IPython Notebook 会将此类信息保存为一个 JSON 文件。

相较于传统 REPL 或者传统写入 / 上传 / 测试任务流程,Notebook 的突出优势在于允许大家将交互式内容与图片及绘图相结合。在数据分析类任务领域,Notebook 能够出色地完成探索性测绘工作、快速筹备原型方案并将其与同事进行分享。而这也正是 IPython 的闪光点所在:当大家分享 Notebook 内容时,我们可以通过有组织的方式提供相关背景,并允许同事们就此进行效果体验。IPython 官方网站上提供了丰富的说明文档与示例资料,旨在帮助大家快速上手 IPython。而在将 Notebook 运行在 Amazon EMR 上时,我们则能够通过运行 Hadoop 任务并将结果绘制成视图的方式快速实现数据集分析。

在今天的博文中,我们将共同了解如何启动一套运行有 IPython Notebook 的 EMR 集群,通过自己的浏览器与目标 Notebook 相对接、利用 Hadoop Straming 进行分析并以图形化方式显示分析结果。通过 EMR bootstrap 操作,我们能够将 IPython Notebook 以及关联性安装在主节点之上,并同时获得用于实现基础性科学计算的工具包。

大家可以利用以下命令启动一套 EMR 集群:

复制代码
aws emr create-cluster --name iPythonNotebookEMR \ --ami-version 3.2.3
--instance-type m3.xlarge --instance-count 3 \ --ec2-attributes
KeyName=<> \ --bootstrap-actions
Path=s3://elasticmapreduce.bootstrapactions/ipython-notebook/install-
ipython-notebook,Name=Install_iPython_NB \ --termination-protected

大家也可以使用 EMR 控制台并选定以下 bootstrap 操作:

复制代码
s3://elasticmapreduce.bootstrapactions/ipython-notebook/install-ipython-notebook

在集群开始运行之后,Notebook 服务器将运行在端口 8192 上。我们可以通过打开由本地设备到目标 EMR 主节点间通道的方式实现接入。以下示例介绍了如何打开一条通往主节点的通道:

复制代码
ssh -o ServerAliveInterval=10 -i <<credentials.pem>> -N -L
8192:<<master-public-dns-name>>:8192 hadoop@<<master-
public-dns-name>>

顺利打开通道之后,开启我们的浏览器并通过以下 URL 访问该 Notebook:

http://localhost:8192

现在页面已经顺利开启,接下来选择New Notebook

下载字数统计代码

首先,大家需要将字数统计代码下载到自己的设备上。我们可以使用与 IPython 功能相契合的 wget 命令运行 shell 命令行,命令开头需要以!作为前缀:

复制代码
!wget https://elasticmapreduce.s3.amazonaws.com/samples/wordcount/wordSplitter.py

在字数统计代码下载完成后,大家可以将对待其它 Hadoop 任务一样将其付诸执行。该程序的输入结果读取自 Amazon S3,而输出结果则写入至 HDFS。

运行 MapReduce 程序

复制代码
!hadoop  jar /home/hadoop/contrib/streaming/hadoop-*streaming*.jar
-files wordSplitter.py -mapper wordSplitter.py -reducer aggregate -input
s3://elasticmapreduce/samples/wordcount/input -output /output

在该 Hadoop 任务运行完毕后,大家可以在 EMR 集群上的本地 HDFS 中检查输出文件内容。接下来,我们要做的是利用该结果绘制出一份条状图。大家可以点击此处从AWS 大数据博客GitHub 库中下载示例代码。(请记住,如果大家打算复制并粘贴这部分代码,请预留足够的空间!)

以下截图所示为运行示例代码后的显示结果。

清理

在体验过了IPython Notebook 的使用流程之后,大家可以通过控制台或者AWS 命令行关闭自己的集群,以免其闲置带来额外使用成本。

总结

在今天的文章中,大家了解了如何启动一套运行有IPython Notebook 的EMR 集群、通过浏览器接入Notebook、使用Hadoop Streaming 实现数据分析外加以图形化方式显示分析结果。现在大家可以利用IPython 的强大能力组织自己的代码并加以分享,这样其他人就能轻松了解我们项目的背景信息与实验效果了。

如果您有任何问题或者建议,请在评论栏中与我们交流。

原文链接: https://blogs.aws.amazon.com/bigdata/post/TxX4BY5T1PQ7BQ/Using-IPython-Notebook-to-Analyze-Data-with-Amazon-EMR

2015-06-19 00:042049

评论

发布
暂无评论
发现更多内容

A “word-wrap” functionality(一个字符串包裹函数)

HoneyMoose

SwiftUI @ Netflix:推动新技术落地是怎样一种体验?

故胤道长

swift 移动开发 iOS Developer SwiftUI

fastadmin+xunsearch题库系统搭建教程

一颗小树

php thinkphp fastadmin xunsearch 题库系统

名可名

顿晓

5月日更 命名

书单 | 月度畅销好书,助你技能满格,摆脱低效,走向财富人生

博文视点Broadview

限时白嫖!腾讯内部员工培训Java资料,网友:大厂就是不一样

牛哄哄的java大师

Java

网络攻防学习笔记Day1

穿过生命散发芬芳

5月日更 网络攻防

手机屏幕投屏到桌面的离线方案

黄敏

如何选择开源许可证

HoneyMoose

从零搭建一款PC页面编辑器PC-Dooring

徐小夕

大前端 可视化 lowcode 代码编辑器

超硬核!阿里技术大牛肝了2晚整理的Java知识,这也太强了!

飞飞JAva

Java Java泛型

OAuth 2.0 了解了,OAuth 2.1 呢?

Zhang

OAuth 2.0 认证授权 OAuth 2.1

北美亚特兰大一金融服务公司面试总结

HoneyMoose

InfoQ & 声网Agora 技术开放日邀请函

Jessie

音视频 声网

复杂Gremlin查询的调试方法

Tom(⊙o⊙)

gremlin调试

当你觉得老板的决策是错的,你会怎么做?

石云升

职场经验 5月日更

Redis-技术专区-知识问题总结大全(上篇)

洛神灬殇

redis 5月日更 问题分析

将本地文件/文章上传到 GitHub 的流程

彭宏豪95

git GitHub 效率 编程

你的烂代码终于有了解决方案

博文视点Broadview

如何在 GitHub 上面为你的项目选择开源许可证

HoneyMoose

【人间碎片】关于努力这件事

南吕

人生修炼 人生故事

当代软件IT大学生的技术学习之路

Nydia

签约计划

【算法训练营】C++学前班--如何在Windows上搭建开发环境

IT蜗壳-Tango

IT蜗壳教学 5月日更 C++环境搭建

【LeetCode】员工的重要性Java题解

Albert

算法 LeetCode 5月日更

BPF 之巅:洞悉 Linux 系统和应用性能

博文视点Broadview

外行在谈论流派,大师在讨论颜料

顿晓

极限编程 5月日更 门道

2021年十大突破性技术

石云升

读书笔记 5月日更

技术探索系列 - 轻松带你掌握 JMM(1)

洛神灬殇

Java JVM JMM 并发 5月日更

Excel用户如何学习数据分析语言DAX?

博文视点Broadview

了解代理服务器

进击的梦清

nginx Linux 运维 代理原理

鹅厂疯子整理了万字Java笔记!小白:硬核资源基础知识已入门

牛哄哄的java大师

Java Object

利用IPython Notebook配合Amazon EMR实现数据分析_语言 & 开发_Manjeet Chayel_InfoQ精选文章