使用 AWS CloudFormation 自动创建 Amazon Redshift 集群(二)

2019 年 12 月 27 日

使用 AWS CloudFormation 自动创建 Amazon Redshift 集群(二)

最佳实践


这些 CloudFormation 模板构建的架构支持 AWS 高可用性和安全性最佳实践。


VPC CloudFormation 模板可执行以下事项:


  1. 为高可用性和灾难恢复配置三个可用区。它可以在地理上将这些可用区分布在一个区域内,以便在发生自然灾害时实现最佳隔离和稳定性。

  2. 为每个可用区预置一个公有子网和一个私有子网。我建议将公有子网用于面向外部的资源,将私有子网用于内部资源,以减少数据泄露的风险。

  3. 创建并将含默认规则的网络 ACL 关联到私有子网和公有子网。AWS 建议将网络 ACL 用作防火墙,以控制子网级别的入站和出站流量。这些网络 ACL 提供了单独控制,您可以将这些控制自定义为第二层防御。

  4. 为每个私有子网创建并关联单独的路由表,您可以配置这些路由表来控制 VPC 内外的流量。公有子网共享一个路由表,因为它们都使用同一互联网网关作为与互联网通信的唯一路由。

  5. 在三个公有子网中的每个子网中创建 NAT 网关,以实现高可用性。与 NAT 实例相比,NAT 网关在部署、可用性和维护方面具有明显优势。NAT 网关允许私有子网中的实例连接到互联网或其他 AWS 服务,即使它们阻止互联网发起与这些实例的连接。

  6. 创建 Amazon S3 的 VPC 终端节点。在 VPC 的私有子网中运行的 Amazon Redshift 和其他 AWS 资源可以私密连接以访问 S3 存储桶。例如,通过私密、安全且可靠的连接,从 S3 加载数据和从 S3 卸载数据。


Amazon Linux 堡垒主机 CloudFormation 模板可执行以下事项:


  1. 创建分布在 VPC CloudFormation 模板设置的三个公有子网中的 Auto Scaling 组。Auto Scaling 组使 Amazon Linux 堡垒主机可用在其中一个可用区中。

  2. 设置弹性 IP 地址,并将其与 Amazon Linux 堡垒主机关联。弹性 IP 地址更容易记忆,并允许 IP 地址来自本地防火墙。如果您的系统终止了一个实例,而 Auto Scaling 组启动了一个新实例,那么现有的弹性 IP 地址将自动与新实例重新关联。这样您就可以随时使用同一受信任的弹性 IP 地址。

  3. 设置 Amazon EC2 安全组,并与 Amazon Linux 堡垒主机关联。这样您就可以锁定堡垒主机的访问权限,仅允许来自已知 CIDR 范围和端口的入站流量。

  4. 创建 Amazon CloudWatch Logs 日志组来保存 Amazon Linux 堡垒主机的 Shell 历史记录日志,并设置 CloudWatch 指标来跟踪 SSH 命令计数。通过允许您检查何人何时访问堡垒主机,这有助于进行安全审计。

  5. 创建 CloudWatch 警报来监控堡垒主机上的 CPU,并在任何内容触发警报时发送 Amazon SNS 通知。


Amazon Redshift 集群模板可执行以下事项:


  1. 创建跨多个可用区的 Amazon Redshift 集群子网组,以便您可以在不同的可用区创建不同的集群,以便在某个可用区出现故障时最大程度地降低影响。

  2. 配置数据库审计并将审计日志存储到 S3 存储桶中。它还会限制 Amazon Redshift 日志记录服务的访问权限,并将生命周期规则配置为将超过 14 天的日志存档到 Amazon S3 Glacier

  3. 创建具有策略的 IAM 角色,以授予使用 Amazon Redshift Spectrum 所需的最低权限来访问 S3、CloudWatch Logs、AWS GlueAmazon Athena。然后,它会将 IAM 角色与 Amazon Redshift 相关联。

  4. 创建 EC2 安全组并将其与 Amazon Redshift 集群关联。这样您就可以将 Amazon Redshift 集群的访问权限锁定到已知的 CIDR 范围和端口。

  5. 使用以下配置创建 Amazon Redshift 集群参数组,并将其与 Amazon Redshift 集群关联。这些参数只提供一般指导。请根据您的需求查看并自定义这些参数。


col 1col 2col 3
参数描述
enable_user_activity_loggingTRUE该参数可启用用户活动日志。有关更多信息,请参阅数据库审计日志记录
require_sslTRUE该参数可使 SSL 连接到 Amazon Redshift 集群。
wlm_json_configuration<tt>[ {</tt>


"query_group" : [ ],


"query_group_wild_card" : 0,


"user_group" : [ ],


"user_group_wild_card" : 0,


"concurrency_scaling" : "auto",


"rules" : [ {


"rule_name" : "DiskSpilling",


"predicate" : [ {


"metric_name" : "query_temp_blocks_to_disk",


"operator" : ">",


"value" : 100000


} ],


"action" : "log",


"value" : ""


}, {


"rule_name" : "RowJoining",


"predicate" : [ {


"metric_name" : "join_row_count",


"operator" : ">",


"value" : 1000000000


} ],


"action" : "log",


"value" : ""


} ],


"auto_wlm" : true


}, {


"short_query_queue" : true


} ] | 该参数可使用以下配置创建自定义工作负载管理队列 (WLM):


自动 WLM:Amazon Redshift 根据每个工作负载自动管理查询并发性和内存分配。


启用短查询加速 (SQA):Amazon Redshift 在专用空间中执行短时间运行的查询,这样 SQA 查询就不会被迫在队列中等待较长的查询。


为路由到此 WLM 队列的查询启用并发扩展


创建两条 WLM QMR 规则


当用于写入中间结果的临时磁盘空间超过 100GB 时记录查询。


当联接步骤中处理的行数超过 10 亿行时记录查询。


您还可以根据需要创建不同的规则,并选择不同的操作(中止、跳过或记录)。


max_concurrency_scaling_clusters | 1(或者您选择的值) | 设置启用并发扩展时允许的并发扩展集群最大数量。


auto_analyze | TRUE | 如果值为“true”,Amazon Redshift 将持续监控您的数据库并在后台自动执行分析操作。


statement_timeout | 43200000 | 终止任何用时超过指定毫秒数的语句。statement_timeout 值是指在 Amazon Redshift 终止查询之前,查询可以运行的最长时间。


  1. 根据安全性最佳实践,配置 Amazon Redshift 集群来监听非默认的 Amazon Redshift 端口。

  2. 根据 AWS 安全性最佳实践在私有子网中创建 Amazon Redshift 集群。要访问 Amazon Redshift 集群,请使用 Linux 堡垒主机 CloudFormation 模板设置的 Amazon Linux 堡垒主机。

  3. 除非您针对输入参数 NumberOfNodes 选择 1,否则请创建至少两个节点的集群。AWS 建议每个集群至少使用两个节点进行生产。有关更多信息,请参阅 Amazon Redshift 常见问题的“可用性与持久性”部分。

  4. 通过使用 Amazon Redshift 托管的 KMS 密钥或用户指定的 KMS 密钥,为 Amazon Redshift 集群启用静态加密。要使用用户指定的 KMS 密钥,但您还没有创建该密钥,请先创建一个 KMS 密钥。有关更多信息,请参阅创建 KMS 密钥

  5. 在生产环境下将 Amazon EBS 快照保留期配置为 35 天,在非生产环境下则配置为 8 天。这样您就可以将生产数据库恢复到最近 35 天内的任何时间点,或者将非生产数据库恢复到最近 8 天内的任何时间点。

  6. 当您使用“删除堆栈”选项删除 Amazon Redshift 集群时,它会自动获取 Amazon Redshift 数据库的最终快照。它可以避免因意外删除 CloudFormation 堆栈而导致的数据丢失。

  7. 创建 AWS Glue 数据目录作为 AWS 数据湖的元数据存储。

  8. 针对重要的 CloudWatch 指标(如 PercentageDiskSpaceUsed 和 Amazon Redshift 集群的 CPUUtilization)配置 CloudWatch 警报,并在以下任一情况触发警报时发送 SNS 通知。

  9. 提供通过之前拍摄的快照恢复 Amazon Redshift 集群的选项。

  10. 常见的标签附加到 Amazon Redshift 集群和其他资源。AWS 建议为云基础设施资源分配标签,以管理资源访问控制、成本跟踪、自动化和组织。


先决条件


在设置 CloudFormation 堆栈之前,请注意以下先决条件。


  1. 您必须拥有 AWS 账户和拥有足够权限的 IAM 用户,才能与 AWS 管理控制台和前面的架构概述部分中列出的服务进行交互。您的 IAM 权限还必须包括创建由 AWS CloudFormation 模板创建的 IAM 角色和策略的权限。

  2. VPC CloudFormation 堆栈需要三个可用区来设置公有子网和私有子网。请确保选择具有至少三个可用区的 AWS 区域

  3. 在计划设置 CloudFormation 堆栈的 AWS 区域,在 EC2 控制台中创建 EC2 密钥对。确保您保存了私有密钥,您只能在此时保存。在设置 Amazon Linux 堡垒主机 CloudFormation 堆栈时,可以将该 EC2 密钥对用作输入参数。


使用 AWS CloudFormation 设置资源


我提供的这些 CloudFormation 模板可作为一般指导。请根据您的需求查看并自定义这些参数。如果您继续这些堆栈部署的某些资源,将会产生费用。


设置 VPC、子网和其他网络组件


此 CloudFormation 模板将创建 VPC、子网、路由表、互联网网关、NAT 网关、Amazon S3 网关终端节点和其他网络组件。按照以下步骤在您的 AWS 账户中创建这些资源。


  1. 登录到 AWS 管理控制台。

  2. 在顶部的导航功能区中,选择要在其中创建堆栈的 AWS 区域,然后选择下一步。此 CloudFormation 堆栈需要三个可用区来设置公有子网和私有子网。请选择具有至少三个可用区的 AWS 区域

  3. 请选择以下“启动堆栈”按钮。此按钮会在您的 AWS 账户中使用模板自动启动 AWS CloudFormation 服务。系统会需要登录时提示您。您可以根据需要从控制台中查看 CloudFormation 模板。


  4. CloudFormation 堆栈需要一些参数,如以下屏幕截图所示。

  5. 堆栈名称:输入有意义的堆栈名称,例如 rsVPC

  6. ClassB 第二个八进制数:指定 VPC IPv4 CIDR 块的第二个八进制数 (10.XXX.0.0/16)。您可以指定介于 0 到 255 之间的任何数字,例如,指定 33 来创建具有 IPv4 CIDR 块 10.33.0.0/16 的 VPC。要详细了解针对 IPv4 的 VPC 和子网大小调整,请参阅针对 IPv4 的 VPC 和子网大小调整


  7. 图 2:CloudFormation 控制台中的 VPC 堆栈

  8. 输入所有参数值后,请选择下一步

  9. 在下一个屏幕上,输入所需的任何标签、IAM 角色或任何高级选项,然后选择下一步

  10. 在最后一个屏幕上查看详细信息,并选择创建


创建堆栈需要几分钟的时间。参阅 AWS CloudFormation 资源部分,查看该堆栈设置的不同组件的物理 ID。


然后,您必须设置 Amazon Linux 堡垒主机,以便用于登录 Amazon Redshift 集群。


本文转载自 AWS 技术博客。


原文链接:https://amazonaws-china.com/cn/blogs/china/automate-amazon-redshift-cluster-creation-using-aws-cloudformation/


2019 年 12 月 27 日 11:3079

欲了解 AWS 的更多信息,请访问【AWS 技术专区】

评论

发布
暂无评论
发现更多内容

建议将区块链产业纳入国家“十四五规划”

CECBC区块链专委会

区块链 新基建

MySQL-技术专题-连接查询和子查询

李浩宇/Alex

一文搞懂PV、UV、VV、IP及其关系与计算

冰河

多线程 高并发 流量 并发流量

区块链赋能医疗产业报告

CECBC区块链专委会

区块链 大数据 医疗

Java并发编程-线程基础

云流

程序员 并发编程 java 14 架构师训练

某Java程序员在外包公司每天读写删改几年后,发现跳不出来了

Java架构之路

Java 程序员 面试 算法 编程语言

一场哔哩哔哩Java开发面试之旅,分享面试经历及复习资料

Java成神之路

Java 程序员 面试 算法 编程语言

系统架构第四周作业「架构师训练营第 1 期」

天天向善

系统架构第四周总结「架构师训练营第 1 期」

天天向善

SpringBoot-技术专题-@Async异步注解

李浩宇/Alex

敏捷之道:各角色如何从DevOps中受益?

华为云开发者社区

产品 DevOps 敏捷

2020国庆我花了 7 天给大家撸了一篇云南旅游攻略

石头

美食 旅行

程序员在中国是青春饭?扯!看看阿里资深架构师是怎么说的!

Java架构师迁哥

Java 程序员 面试

嘘!偷窥鹅厂运维专家,让Linux内核奔跑起来不得不说的秘密

周老师

Java Linux 编程 程序员 架构

手写SpringIOC

彭阿三

spring源码 sping springioc

论软件工程师的自我修养:角色、重构与质量

华为云开发者社区

软件 开发 工程师

来碗小面

葱小白

美食 旅行

阿里巴巴内部“Java成长笔记”,看完才发现自己和阿里大牛的差距真的太远了!

Java架构之路

Java 阿里巴巴 程序员 面试 编程语言

开源监控系统open-falcon搭建笔记

卓丁

监控 监控管理平台 Open-Falcon 监控告警

深圳派发数字人民币红包!个人数字人民币钱包即将亮相

CECBC区块链专委会

数字货币 数字人民币

架构师第一期作业(第四周)

Cheer

课程作业

面朝大海,夏日的遗憾一定会被秋风温柔化解

张sir

美食 摄影 摄影征文 旅行

MySql领域经典之作,“不敢自诩为MySql专家,岂敢错过这本神书”

Java架构之路

Java MySQL 程序员 面试 编程语言

vidyo提供的云化视频会议与传统的视频会议有什么区别?

dwqcmo

音视频会议 集成架构 解决方案 智能硬件

反射API

彭阿三

反射

SpringBoot 实战:如何优雅的处理异常

看山

springboot 实战 优雅响应

创新者谈

善宝橘

创新

七千字的线性回归模型指南,建议收藏!

计算机与AI

数据挖掘 学习 线性回归

Redis-技术专题-Jedis实战入门

李浩宇/Alex

能够让机器狗学会灭火, ModelArts3.0让AI离我们又近一步

华为云开发者社区

人工智能 AI 机器狗

万万没想到!ModelArts与AppCube组CP了

华为云开发者社区

AI 技术 华为云

使用 AWS CloudFormation 自动创建 Amazon Redshift 集群(二)-InfoQ