光环新网运营的 AWS 中国(北京)区域 HPC 集群创建

阅读数:21 2019 年 11 月 12 日 08:00

光环新网运营的AWS中国(北京)区域HPC集群创建

在上个博客“在 AWS 云上快速搭建高性能计算 (HPC) 集群”中,我们介绍了高性能计算的使用场景,框架和如何在 AWS Global 创建 HPC 集群,但在光环新网运营的 AWS 中国(北京)区域并不支持使用 CFNCluster 直接创建 HPC,因此我们需要使用 CloudFormation 手工创建集群,整个过程并不复杂。步骤如下:

1. 进入光环新网运营的 AWS 中国(北京)区域的 Console,然后进入 CloudFormation 的服务。如下图:

光环新网运营的AWS中国(北京)区域HPC集群创建

2. 点击 “Create New Stack”后,弹出下面的界面。

光环新网运营的AWS中国(北京)区域HPC集群创建

3. 在界面中制定 CloudFormation 的模板文件如下。

https://s3.cn-north-1.amazonaws.com.cn/cfncluster-cn-north-1/templates/cfncluster.cfn.json

4. 在后续界面中下面参数必须定义:

Stack name:要创建 HPC 集群的名称

AvailablityZone:指定要在那个可用区创建 HPC 集群

VPCId:指定需要创建集群的 VPCId

MasterSubnetId:指定 Master 节点的子网 ID

KeyName:指定 EC2 服务器访问的 key

Scheduler:指定高性能计算的管理框架,默认是 SGE,有 Openlava,Torque 等可以选择。

5. 可选参数定义:

InitialQueueSize:HPC 集群的初始节点数

ComputeInstanceType: 集群计算节点的类型

MasterInstanceType:Master 节点的类型

MaxQueueSize: 集群最大节点数

PlacementGroup:节点的放置组

对于全部的配置参数说明,可以参考下面链接:

http://cfncluster.readthedocs.io/en/latest/configuration.html

6. 点击 Next 后,输入集群的 tag。

光环新网运营的AWS中国(北京)区域HPC集群创建

光环新网运营的AWS中国(北京)区域HPC集群创建

7. 点击左下方的 checkbox 运行 AWS Cloudformation 帮助创建资源,然后点击创建。

光环新网运营的AWS中国(北京)区域HPC集群创建

8. 等待当前 HPC 集群的创建状态变为 COMPLETE,查看下方的 Outputs 消息输出,找到 HPC Master 节点的 IP。

光环新网运营的AWS中国(北京)区域HPC集群创建

9. 使用前面 Output 中的 Master 节点的 IP 或去 Console 中的 EC2 里面找到刚才创建的 Master 节点的机器,通过 ssh 连接,然后运行 HPC 的命令。

光环新网运营的AWS中国(北京)区域HPC集群创建

  • 总结

在 AWS 中国区,你可以使用 CloudFormation 快速的创建 HPC 集群,AWS 提供了丰富的服务器类型供你选择,你可以选择基于 CPU 或 GPU 等不同类型的服务器,也可以选择 SGE,OpenLava 等分布式资源管理软件来调度你的程序,如果我们不配置,默认的资源管理软件是 SGE。

作者介绍

光环新网运营的AWS中国(北京)区域HPC集群创建

蓝勇,AWS 解决方案架构师,负责基于 AWS 的云计算方案架构的咨询和设计,同时致力于 AWS 云服务在国内的应用和推广,在 DR 解决方案、数据仓库、RDS 服务、企业应用、自动化运维等方面有着广泛的设计和实践经验。在加入 AWS 之前,在甲骨文中国担任资深售前工程师,负责售前方案咨询和架构设计,在数据库,中间件,大数据及企业应用方面有丰富经验。

本文转载自 AWS 技术博客。

原文链接:
https://amazonaws-china.com/cn/blogs/china/fast-build-high-performance-computing-hpc-clusters-in-aws-china/

欲了解 AWS 的更多信息,请访问【AWS 技术专区】

评论

发布