使用 AWS Lambda 和 Amazon DynamoDB 自动管理 AWS CloudFormation 模板中的 Parameters 和 Mappings

阅读数:124 2019 年 11 月 15 日 08:00

使用AWS Lambda和Amazon DynamoDB自动管理AWS CloudFormation模板中的Parameters和Mappings

背景介绍

相信 AWS 的用户对 AWS CloudFormation 都不会陌生。AWS CloudFormation 是实现 IAC(Infrastructure as Code)自动化运维的一项重要服务,可以帮助用户对 AWS 资源进行建模和设置,以便能花较少的时间管理这些资源。CloudFormation 中有两个重要选项:Mappings 段和 Parameters 段,可以帮助用户组织模板里的参数和映射,让用户更好地自定义堆栈,以实现模板的重用和复用。比方说可以用 Mappings 管理对应 AWS 上不同 region 的 AMI ID,或者管理企业内部的不同部门。

使用AWS Lambda和Amazon DynamoDB自动管理AWS CloudFormation模板中的Parameters和Mappings

但是当用户所在的组织越来越多地采用 IAC 自动化时,mappings 和 parameters 的数量也会急剧增长,给 CloudFormation 模板的编写和维护带来复杂度。

解决方案

本文里我们介绍一种方法:用当前流行的 Serverless 计算 AWS Lambda 和 Amazon DynamoDB 自动地管理 AWS CloudFormation 模板中的 Parameters 和 Mappings。

本文中主要用到了以下几种 AWS 服务:

1、DynamoDB 表:Amazon DynamoDB 是一个 NoSQL 数据库,这里我们采用它保存 CloudFormation 模板中所有的 mappings 和 parameters。不仅可以实现集中存放,而且可以依赖 DynamoDB 的接口实现方便快速地增删和查找。比方说在我们的 sample code 中,整个企业采用这样一张表:partition key 包括组名(比如说 team1、team2 等)和环境(比如说 development、test、production 等),sort key 保存应用的名字。这个表里的数据类似这样:

使用AWS Lambda和Amazon DynamoDB自动管理AWS CloudFormation模板中的Parameters和Mappings

当我们把这些数据都 insert 到 DynamoDB 中后,可以在 AWS console 里看到表中的内容是这样的:

使用AWS Lambda和Amazon DynamoDB自动管理AWS CloudFormation模板中的Parameters和Mappings

2、Lambda 方法:AWS Lambda 又称为 Serverless 的计算,通过它你可以运行你的 code 而不需要预配置或者管理任何服务器。这里我们采用 Lambda 方法实现 CloudFormation 和 DynamoDB 之间的关联,它从 CloudFormation 模板接收 primary key 和 sort key 作为输入,查找 DynamoDB 表,并且返回所有的 key-value 数据。

3、Custom lookup resource:这是 CloudFormation 里的一个自定义资源,与一个 Lambda 方法绑定。CloudFormation 除了可以定义已有的 AWS 资源,还支持几种自定义资源,包括这种以 Lambda 方法作为后端的自定义资源。当这种自定义资源创建、更新或者删除时,CloudFormation 自动地向 Lambda API 发起请求,引发方法并将请求的数据传给 Lambda 方法,本例中所请求的数据是 primary key,返回的数据是 key-value 数据。通常在一个组织中只需要建立这一个 custom resource,所有的 CloudFormation 模板都可以复用它。下图是 sample code 里建立的 custom resource:

使用AWS Lambda和Amazon DynamoDB自动管理AWS CloudFormation模板中的Parameters和Mappings

让我们将这几种服务组合起来,并且定义好它们之间的交互顺序,整个解决方案就是下图展示的这样:

使用AWS Lambda和Amazon DynamoDB自动管理AWS CloudFormation模板中的Parameters和Mappings

那么整个的交互顺序如下:

1、用户创建 DynamoDB 表,插入所需的 mappings 和 parameters 数据。

2、CloudFormation 模板中的 custom resource 调用 Lambda 方法,用组名和环境名称(“teamname-environment”)作为 partition key,用应用名称(”appname”)作为 sort key。

3、Lambda 方法用 partition key 和 sort key 作为输入查询 DynamoDB 表。

4、DyanamoDB 将结果返回给 Lambda 方法。

5、Lambda 方法将这些 key-value 数据作为结果返回给模板中的 custom resource。

6、custom resource 拿到数据后,堆栈里的其他资源可以通过 Fn::GetAtt 的方式获得这些数据。

结论

通过这种方式,可以将我们创建堆栈所需的固定部分保存在模板中,而将可变部分 mappings 和 parameters 保存在方便增删改查的 DynamoDB 中,用 Lambda 实现两者之间的关联。对于大型组织来说,这样可以提高运维效率,也是使用 CloudFormation 的一种最佳实践。

参考

可以在我们的网站上下载到相关的 sample code: https://github.com/awslabs/custom-lookup-lambda

关于 AWS Lambda 的更多内容请参考网站: https://aws.amazon.com/lambda/

关于 CloudFormation 自定义资源的更多内容请参考网站: http://docs.aws.amazon.com/AWSCloudFormation/latest/UserGuide/template-custom-resources.html

作者介绍

使用AWS Lambda和Amazon DynamoDB自动管理AWS CloudFormation模板中的Parameters和Mappings

张芸

AWS 云架构咨询顾问,获得 AWS 解决方案架构师专业级认证和 DevOps 工程师专业级认证,为企业客户和合作伙伴提供迈向云端的专业服务。目前已为多家跨国公司及本土公司、合作伙伴提供上云迁移、应用优化、架构设计等咨询设计和实施服务。在加入 AWS 之前有近 10 年的云计算和大数据开源技术研究和开发经验,拥有多项美国和中国专利及专利申请,涉及云计算及服务,分布式系统,软件定义数据中心和自动化运维等领域,合作编著图书《大数据–战略·技术·实践》。

本文转载自 AWS 技术博客。

原文链接:
https://amazonaws-china.com/cn/blogs/china/automatically-manage-parameters-and-mappings/

欲了解 AWS 的更多信息,请访问【AWS 技术专区】

评论

发布