写点什么

在 Amazon EMR 中构建由 Spark 支持的 Amazon SageMaker Notebook

  • 2019-10-31
  • 本文字数:3016 字

    阅读完需:约 10 分钟

在 Amazon EMR 中构建由 Spark 支持的 Amazon SageMaker Notebook

在 2017 年 AWS re:Invent 上介绍的 Amazon SageMaker 可以为数据科学和机器学习工作流程提供完全托管服务。Amazon SageMaker 的其中一个重要组成部分是功能强大的 Jupyter Notebook 接口,该接口可用来构建模型。通过将 Notebook 实例连接到 Amazon EMR 上运行的 Apache Spark 集群,可以增强 Amazon SageMaker 的功能。Amazon EMR 是一个用于处理大量数据的托管框架。通过将二者结合,可以基于大量数据构建模型。


Spark 是一个可以快速处理大数据的开源集群计算框架,并且包含适用于机器学习工作负载的 MLlib。为了方便在 Amazon SageMaker Notebook 与 Spark EMR 集群之间建立连接,需要使用 Livy。Livy 是一个开源 REST 接口,无需 Spark 客户端便可从任何位置与 Spark 集群交互。


本博文将向您介绍如何运行 Spark EMR 集群,如何配置必要的安全组以便在 Amazon SageMaker 与 EMR 之间进行通信,以及如何打开 Amazon SageMaker Notebook,最后还会介绍如何使用 Livy 将该 Notebook 连接到 EMR 上的 Spark。此设置将使用 PySpark、PySpark3、Spark 和 SparkR notebook。

设置 EMR Spark 和 Livy

打开 AWS 管理控制台,然后从屏幕顶部的服务菜单中选择“分析”部分下的 EMR。选择创建集群。转到高级选项 (位于顶部,其旁边是 Create Cluster – Quick Options (创建集群 – 快速选项)),取消选中所有选项。然后,专门选中 LivySpark。选择 Next



网络下方,选择您的 VPC。在本博文示例中,我的 VPC 名为 sagemaker-spark。此外,您还需要记下您的“EC2 子网”,因为稍后需要该信息。



选择下一步,然后选择创建集群。可以根据需要随意将您认为可能适合的其他任何选项加入集群中,例如,向集群添加用于对节点进行远程访问的密钥对,或者是自定义名称。


现在,您需要为您的 Spark 集群的节点获取私有 IP 地址。


依次选择服务EMR。等到您的集群被标记为正在等待 (绿色) 后选择所创建的集群。选择 Hardware (硬件) 选项卡。



选择您的主 ID,然后向右滚动,找到私有 IP 地址。保存该信息供稍后使用。在本博文示例中,我的私有 IP 地址为 10.0.0.65,但您的地址会有所不同。


设置安全组并打开端口

下面,我们需要设置安全组并打开相关端口,这样一来,Amazon SageMaker Notebook 方能通过端口 8998 上的 Livy 与 Spark 集群进行通信。


在控制台中,依次选择服务EC2。在左侧导航窗格中,选择安全组。然后,选择创建安全组按钮。


设置安全组名称 (我的是 sagemaker-notebook)、描述以及用于您的 EMR 集群的 VPC (我的是 sagemaker-spark)。



选择创建


这将创建安全组,使我们能够仅打开此组中的实例的端口。我们仍需要在 ElasticMapReduce-master 组中打开该端口。


仍然在安全组中,获取您的 SageMaker notebook 安全组的组 ID。我的是 sg-35610640,但您的将会有所不同。保存该值供稍后使用。



我们需要修改在创建 EMR 集群时自动创建的 EMR 主安全组。选择您的 ElasticMapReduce-master 组,然后选择入站选项卡。选择编辑按钮,然后选择添加规则按钮。


我们需要在端口 8998 上创建自定义 TCP 规则,然后将安全组 ID 设置为我们先前收集的 SageMaker notebook 安全组中的“组 ID”。请记住,我的是 sg-35610640。以下示例是完成操作后字段的显示情况:



选择保存按钮。现在,您已经打开了重要端口,因此,您的 SageMaker Notebook 实例可以通过 Livy 与您的 EMR 集群进行通信。

设置 SageMaker Notebook

现在,我们可以使用通过 Livy 运行的 EMR Spark 集群以及相关端口。接下来,我们来启动和运行 Amazon SageMaker Notebook 实例。


依次选择服务Amazon SageMaker。选择 Create Notebook Instance (创建 Notebook 实例) 按钮。


您需要设置 Notebook instance name (Notebook 实例名称),然后选择 Notebook instance type (Notebook 实例类型)。请注意,Notebook 实例名称有一些命名约束:最多包含 63 个字母数字字符,可以包含连字符但不能包含空格,并且在 AWS 区域中您的帐户内必须是唯一的。您还需要设置一个 IAM 角色,该角色具有 AmazonSageMakerFullAccess 权限,并且还有权访问任何必要的 Amazon Simple Storage Service (Amazon S3) 存储桶。您需要指定该角色对哪些存储桶具有访问权限,但可以让 Amazon SageMaker 为您生成该角色。



之后,您需要确保设置的 Notebook 实例与 EMR 集群位于相同的 VPC 中 (我的是 sagemaker-spark)。另外,还要选择与 EMR 集群相同的子网 (之前在创建 EMR 时,您应该已经记下了该信息)。最后,将您的安全组设置为之前为 Notebook 实例创建的组 (我的是 sagemaker-notebook)。


选择 Create Notebook Instance (创建 Notebook 实例)



耐心等待,直到 EMR 完成集群配置,SageMaker Notebook 状态显示 InService (正在服务)

将 Notebook 连接到 Amazon EMR

现在,我们的 EMR Spark 集群和 Amazon SageMaker Notebook 均已运行,但它们彼此还无法通信。下一步是在 SageMaker 中设置 Sparkmagic,以便它知道如何找到我们的 EMR 集群。


仍然在 Amazon SageMaker 控制台中,转到 Notebook Instances (Notebook 实例),然后在已配置的实例上选择打开


在 Jupyter 控制台中,依次选择 New (新)Terminal (终端)



键入以下命令:




然后,您需要编辑 config.json,并将“localhost”的各个实例替换为之前使用的 EMR 主实例的私有 IP。我的是 10.0.0.65,之前我们看到过,但您的会有所不同!


我使用了以下命令:


  • nano config.json

  • ctrl+\

  • localhost

  • <您的 EMR 主实例的私有 IP>

  • a

  • ctrl+x

  • y

  • enter


这样应该会替换三个内核凭证的“url”字段中 localhost 的三个实例。您可以根据自己的喜好随意使用任何编辑器,然后保存更改。



继续操作之前,我们应该先测试通过 Livy 与 EMR 的连接。为此,我们运行以下命令 (将 EMR 主实例私有 IP 替换为您实例的 IP 地址):


  • curl <EMR 主实例私有 IP>:8998/sessions


您的输出应类似以下内容:



如果出现错误,可能意味着您的端口尚未在安全组中打开,因此,建议您返回检查这些设置!


我们将终端关闭。键入 exit,然后关闭浏览器选项卡和终端。打开 Jupyter 的选项卡,依次选择 New (新)Sparkmagic (PySpark) 以打开 PySpark notebook。为了进行确认,我们依次选择内核重启以重新启动内核。



让我们在第一个单元中使用以下命令来测试连接:


  • %%info


同时键入 shiftenter 以运行该单元,显示的输出应该如下所示:



恭喜您!Sparkmagic 内核现在已在您的 Jupyter Notebook 中运行,因而可以使用 Livy 与您的 EMR Spark 集群进行通信。


作者介绍


Thomas Hughes 是 AWS 专业服务组织的一名数据科学家。他获得了加州大学圣巴巴拉分校的博士学位,解决了社会科学、教育学和广告学方面的诸多难题。目前正致力于解决机器学习在遇到大数据时出现的一些最为棘手的问题。



Stefano Stefani 是 AWS 的首席高级工程师,也是 AWS 众多服务领域的主管技术专家:Amazon SimpleDB、Amazon DynamoDB、Amazon Redshift 和 Amazon Aurora。目前,他在以下 Amazon AI 领域担任相同的职位:Amazon Lex、Amazon Rekognition、Amazon SageMaker、Amazon Transcribe 等。


本文转载自 AWS 技术博客。


原文链接:


https://amazonaws-china.com/cn/blogs/china/build-amazon-sagemaker-notebooks-backed-by-spark-in-amazon-emr/


2019-10-31 08:00726

评论

发布
暂无评论
发现更多内容

大算力与大模型的融合之力

百度开发者中心

nlp 大模型

语音数据集:为AI注入听觉的力量

数据堂

区块链铭文系统开发详情

l8l259l3365

华为云CodeArts Artifact:保障制品质量与安全的最佳选择

云计算 软件开发 华为云

如何为3D模型导入材质贴图

3D建模设计

3D渲染 纹理贴图 材质编辑

新型生成式 AI 助手 Amazon Q 为 IT 专业人士与开发人员提供有力支持(预览版)

亚马逊云科技 (Amazon Web Services)

re:Invent Amazon EC2 生成式人工智能 Amazon Lambda Amazon Chatbot

OpenHarmony创新赛人气投票活动,最佳人气作品由你来定!

OpenHarmony开发者

OpenHarmony

2024年程序员必须掌握的10款开发工具

伤感汤姆布利柏

敏捷开发 低代码 开发工具 测试工具 前端开发工具

优化大模型的关键策略

百度开发者中心

大模型 深度学习、

【等保】安徽省等保测评机构名单看这里!

行云管家

等保 等级保护 等保测评 安徽

容器中域名解析流程以及不同dnsPolicy对域名解析影响

华为云开发者联盟

容器 云原生 华为云 华为云开发者联盟

从互联网到云计算再到 AI 原生,百度智能云数据库的演进

百度Geek说

人工智能 云计算 云原生 企业号12月PK榜

浪潮云连续2年跻身中国分布式云市场领导者象限

云计算 数据云

Fine-tuning: 一种针对大模型的优化策略

百度开发者中心

nlp 大模型

31 | 深度和广度优先搜索:如何找出社交网络中的三度好友关系

鲁米

软件测试/人工智能/PyTorch技术在软件测试中的应用

测试人

人工智能 软件测试

语音数据集:AI语音技术的基石

数据堂

Amazon CodeWhisperer 审查:最新的 AI 代码伴侣

亚马逊云科技 (Amazon Web Services)

人工智能 机器学习 云上探索实验室 Amazon CodeWhisperer

低多边形植物模型法线贴图

3D建模设计

3D渲染 材质贴图 纹理贴图 材质纹理 材质编辑

3D模型材质丢失怎么办?

3D建模设计

3D渲染 材质贴图 材质编辑

软件测试/人工智能丨掌握视觉CV处理技术对软件测试工作的帮助

测试人

人工智能 软件测试

持续测试性能的方法

敏捷开发

DevOps 性能测试 自动化测试 CD 持续测试

KaiwuDB 获评信通院 2023 大数据“星河”标杆案例

KaiwuDB

KaiwuDB “星河”标杆案例

云原生之旅:一年的变革、成长与启示

熬夜磕代码、

注册中心元数据的应用

姚秋实(Nacol)

Java 架构 配置中心 元数据 metadata

语音数据集:推动AI语音技术的核心力量

数据堂

软件测试/人工智能丨Spark开发分布式造数,构建大规模测试数据

测试人

人工智能 软件测试

在 Amazon EMR 中构建由 Spark 支持的 Amazon SageMaker Notebook_语言 & 开发_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章