“AI 技术+人才”如何成为企业增长新引擎?戳此了解>>> 了解详情
写点什么

怎样利用 AWS Config 监控和响应 Amazon Simple Storage Service (S3) 允许公开读写访问权限

  • 2019-10-23
  • 本文字数:6128 字

    阅读完需:约 20 分钟

怎样利用 AWS Config 监控和响应 Amazon Simple Storage Service (S3) 允许公开读写访问权限

AWS Config 支持持续监控 AWS 资源,简化评估、审核以及记录资源配置和变化的过程。为此,AWS Config 使用一系列规则来定义 AWS 资源所需的配置状态。AWS Config 提供多种 AWS 托管规则来解决各种安全问题,例如,检查您是否已将 Amazon Elastic Block Store (Amazon EBS) 卷加密,是否已正确标记资源,以及是否为根账户启用了 Multi-Factor Authentication (MFA)。您还可以使用 AWS Lambda 函数创建自定义规则,以编写整理您的合规性需求。


在本文中,我们将向您展示如何使用 AWS Config 监控 Amazon Simple Storage Service (S3) 存储桶 ACL 和策略,确定是否存在允许公开读写访问权限的违规行为。如果 AWS Config 发现违反策略的行为,我们会使其触发 Amazon CloudWatch Event 规则以触发 AWS Lambda 函数,从而更正 S3 存储桶 ACL,或通过 Amazon Simple Notification Service (Amazon SNS) 通知您存在违反策略且允许公开读写访问权限的行为。我们将通过五个主要步骤为您演示此过程。


  1. 启用 AWS Config 来监控 Amazon S3 存储桶 ACL 和策略,以发现违规行为。

  2. 创建 IAM 角色和策略,为 Lambda 函数授予读取 S3 存储桶策略和通过 SNS 发送提醒的权限。

  3. 创建和配置 CloudWatch Events 规则,在 AWS Config 检测到违反 S3 存储桶 ACL 或策略的行为时触发 Lambda 函数。

  4. 创建 Lambda 函数,以使用 IAM 角色审核 S3 存储桶 ACL 和策略、更正 ACL,并通知您的团队策略违规行为。

  5. 验证监控解决方案


注意:本文假设您的合规性策略要求您所监控的存储桶不允许公开读写访问权限。例如,如果您打算开放提供静态内容的存储桶,可以从本文着手,根据您的需要定制解决方案。


在本文末尾,我们将提供一个可实施本文所述解决方案的 AWS CloudFormation 模板。您可以使用该模板在多个区域快速部署解决方案。


重要说明:如果使用部署的某些资源(包括使用所提供的 CloudFormation 模板部署的资源),则在使用这些资源期间会产生费用。在提供 AWS Config 规则的每个区域使用这些规则都会产生费用。

架构

以下是我们将要实施的架构图:



图 1:架构图

步骤 1:启用 AWS Config 和 Amazon S3 存储桶监控功能

以下步骤将演示如何设置 AWS Config 来监控 Amazon S3 存储桶。


  1. 登录 AWS 管理控制台,并打开AWS Config 控制台

  2. 如果这是您第一次使用 AWS Config,请选择开始使用。如果您已经使用过 AWS Config,请选择设置

  3. 设置页面中的 Resource types to record (要记录的资源类型) 下,取消选中 All resources (所有资源) 复选框。在 Specific types (具体类型) 列表中,选择 S3 下的存储桶


  4. 图 2:显示“Specific types (具体类型)”列表的“设置”对话框

  5. 选择用于存储配置历史记录和快照的 Amazon S3 存储桶。我们会创建一个新的 Amazon S3 存储桶。


  6. 图 3:创建 S3 存储桶

  7. 如果您更希望使用账户中现有的 Amazon S3 存储桶,请选择 Choose a bucket from your account (从您的账户中选择存储桶) 单选按钮,然后使用下拉菜单选择现有的存储桶。


  8. 图 4:选择现有的 S3 存储桶

  9. Amazon SNS topic (Amazon SNS 主题) 下,选中 Stream configuration changes and notifications to an Amazon SNS topic (将配置更改和通知流式传输至 Amazon SNS 主题) 旁边的复选框,然后选择 Create a topic (创建主题) 旁边的单选按钮。

  10. 您也可以选择之前创建和订阅的主题。


  11. 图 5:选择之前创建和订阅的主题

  12. 如果您创建了新的 SNS 主题,则需要订阅它才能收到通知。我们将在后面的步骤中演示此操作。

  13. 除非您已经有要使用的角色,否则请在 AWS Config role (AWS Config 角色) 下选择 Create a role (创建角色)。我们使用系统自动推荐的角色名称。


  14. 图 6:创建角色

  15. 选择下一步

  16. 配置 Amazon S3 存储桶监控规则:

  17. AWS Config rules (AWS Config 规则) 页面上搜索 S3,选择 s3-bucket-publice-read-prohibiteds3-bucket-public-write-prohibited 规则,然后单击下一步


  18. 图 7:AWS Config 规则对话框

  19. 审核页面上,选择确认。AWS Config 此时会分析您的 Amazon S3 存储桶,捕获它们当前的配置,并根据我们选择的规则评估配置。

  20. 如果您创建了新 Amazon SNS 主题,请打开 Amazon SNS 管理控制台并找到您创建的主题:


  21. 图 8:Amazon SNS 主题列表

  22. 复制该主题的 ARN(以 arn: 开头的字符串),您需要在后面的步骤中使用它。

  23. 选择主题旁边的复选框,然后在操作菜单下选择订阅主题

  24. 选择电子邮件作为协议,输入您的电子邮件地址,然后选择创建订阅

  25. 几分钟后,您会收到一封电子邮件,要求您确认订阅与此主题有关的通知。选择对应链接以确认订阅。

步骤 2:为 Lambda 创建角色

我们的 Lambda 需要相关权限,才能检查和修改 Amazon S3 存储桶 ACL 和策略,记录 CloudWatch 日志并发布到 Amazon SNS 主题。现在,我们将设置自定义 AWS Identity and Access Management (IAM) 策略和角色来支持这些操作,并将它们分配到我们将在下一节中创建的 Lambda 函数。


  1. 在 AWS 管理控制台中,在服务下选择 IAM 以访问 IAM 控制台。

  2. 创建具有以下权限的策略,或者复制以下策略:


   {       "Version": "2012-10-17",       "Statement": [           {               "Sid": "SNSPublish",               "Effect": "Allow",               "Action": [                   "sns:Publish"               ],               "Resource": "*"           },           {               "Sid": "S3GetBucketACLandPolicy",               "Effect": "Allow",               "Action": [                   "s3:GetBucketAcl",                   "s3:GetBucketPolicy"               ],               "Resource": "*"           },           {               "Sid": "S3PutBucketACLAccess",               "Effect": "Allow",               "Action": "s3:PutBucketAcl",               "Resource": "arn:aws:s3:::*"           },           {               "Sid": "LambdaBasicExecutionAccess",               "Effect"quot;: "Allow",               "Action": [                   "logs:CreateLogGroup",                   "logs:CreateLogStream",                   "logs:PutLogEvents"               ],               "Resource": "*"           }       ]   }
复制代码


  1. 为 Lambda 函数创建角色:

  2. 从要使用该角色的服务列表中选择 Lambda

  3. 选择您之前创建的策略旁边的复选框,然后选择 Next: Review (下一步:审核)

  4. 指定角色名称,为其输入描述,然后选择创建角色。在该示例中,我们将角色命名为 LambdaS3PolicySecuringRole。

步骤 3:创建和配置 CloudWatch 规则

在这一节中,我们将创建一个 CloudWatch 规则,以便在 AWS Config 确定您的 Amazon S3 存储桶不合规时触发 Lambda 函数。


  1. 在 AWS 管理控制台中,在服务下选择 CloudWatch

  2. 在左侧的事件下,选择规则

  3. 单击创建规则

  4. Step 1: Create rule (第 1 步:创建规则) 中的事件源下,选择下拉列表并选择生成自定义事件模式

  5. 复制以下模式,并将其粘贴到文本框中:


   {     "source": [       "aws.config"     ],     "detail": {       "requestParameters": {         "evaluations": {           "complianceType": [             "NON_COMPLIANT"           ]         }       },       "additionalEventData": {         "managedRuleIdentifier": [           "S3_BUCKET_PUBLIC_READ_PROHIBITED",           "S3_BUCKET_PUBLIC_WRITE_PROHIBITED"         ]       }     }   }
复制代码


该模式会在检查 Amazon S3 存储桶的公开访问权限时匹配 AWS Config 生成的事件。
复制代码


  1. 我们将在稍后添加 Lambda 目标。现在,选择您之前创建的 Amazon SNS 主题,然后选择配置详细信息


  2. 图 9:“创建规则”对话框

  3. 输入规则的名称和描述。在该示例中,我们指定名称 AWSConfigFoundOpenBucket

  4. 单击创建规则

步骤 4:创建 Lambda 函数

在这一节中,我们将创建新的 Lambda 函数,用于检查 Amazon S3 存储桶的 ACL 和存储桶策略。如果发现存储桶 ACL 允许公开访问权限,该 Lambda 函数会将其覆盖,改为私密。如果找到了存储桶策略,Lambda 函数会创建 SNS 消息,将该策略添加到消息正文中,然后将其发布到我们创建的 Amazon SNS 主题。存储桶策略可能很复杂,而覆盖策略可能会导致访问权限意外丢失,因此该 Lambda 函数不会尝试对您的策略进行任何更改。


  1. 获取之前创建的 Amazon SNS 主题的 ARN。

  2. 在 AWS 管理控制台中,在服务下选择 Lambda 进入 Lambda 控制台。

  3. 在控制面板中,选择创建函数。或者,如果您直接进入了函数页面,也可以选择右上角的创建函数按钮。

  4. 创建函数页面上:

  5. 选择从头开始创作

  6. 为该函数提供一个名称。我们使用 AWSConfigOpenAccessResponder。

  7. 我们编写的 Lambda 函数与 Python 3.6 兼容,所以请在运行语言下拉列表中选择 Python 3.6

  8. 角色下选择选择现有角色。选择您在前一节中创建的角色,然后选择创建函数


  9. 图 10:“创建函数”对话框

  10. 现在,我们根据之前创建的规则添加 CloudWatch 事件。

  11. Add triggers (添加触发器) 部分,选择 CloudWatch Events。CloudWatch Events 框应该会显示在 Lambda 函数左侧,还会显示一条内容为 Configuration required (需要配置) 的备注。


  12. 图 11:“Add triggers (添加触发器)”部分的 CloudWatch Events

  13. 规则下拉框中,选择您之前创建的规则,然后选择添加

  14. 向上滚动到 Designer (设计者) 部分,然后选择您的 Lambda 函数的名称。

  15. 删除默认代码,然后粘贴以下代码:


   import boto3   from botocore.exceptions import ClientError   import json   import os
ACL_RD_WARNING = "The S3 bucket ACL allows public read access." PLCY_RD_WARNING = "The S3 bucket policy allows public read access." ACL_WRT_WARNING = "The S3 bucket ACL allows public write access." PLCY_WRT_WARNING = "The S3 bucket policy allows public write access." RD_COMBO_WARNING = ACL_RD_WARNING + PLCY_RD_WARNING WRT_COMBO_WARNING = ACL_WRT_WARNING + PLCY_WRT_WARNING
def policyNotifier(bucketName, s3client): try: bucketPolicy = s3client.get_bucket_policy(Bucket = bucketName) # notify that the bucket policy may need to be reviewed due to security concerns sns = boto3.client('sns') subject = "Potential compliance violation in " + bucketName + " bucket policy" message = "Potential bucket policy compliance violation. Please review: " + json.dumps(bucketPolicy['Policy']) # send SNS message with warning and bucket policy response = sns.publish( TopicArn = os.environ['TOPIC_ARN'], Subject = subject, Message = message ) except ClientError as e: # error caught due to no bucket policy print("No bucket policy found; no alert sent.")
def lambda_handler(event, context): # instantiate Amazon S3 client s3 = boto3.client('s3') resource = list(event['detail']['requestParameters']['evaluations'])[0] bucketName = resource['complianceResourceId'] complianceFailure = event['detail']['requestParameters']['evaluations'][0]['annotation'] if(complianceFailure == ACL_RD_WARNING or complianceFailure == ACL_WRT_WARNING): s3.put_bucket_acl(Bucket = bucketName, ACL = 'private') elif(complianceFailure == PLCY_RD_WARNING or complianceFailure == PLCY_WRT_WARNING): policyNotifier(bucketName, s3) elif(complianceFailure == RD_COMBO_WARNING or complianceFailure == WRT_COMBO_WARNING): s3.put_bucket_acl(Bucket = bucketName, ACL = 'private') policyNotifier(bucketName, s3) return 0 # done
复制代码


  1. 向下滚动到环境变量部分。该代码使用一个环境变量来存储 Amazon SNS 主题的 ARN。

  2. 输入 TOPIC_ARN 作为密钥。

  3. 输入之前创建的 Amazon SNS 主题的 ARN 作为值。

  4. Execution role (执行角色) 下选择选择现有角色,然后从下拉菜单中选择之前创建的角色。

  5. 保留其他内容不变,然后在顶部选择保存

步骤 5:验证效果

到现在为止,我们已经有了一个 Lambda 函数、一个 Amazon SNS 主题、监控 Amazon S3 存储桶的 AWS Config,以及在发现存储桶不合规时触发 Lambda 函数的 CloudWatch 规则。我们来进行测试,确保它们能够正常工作。


我们有在受 AWS Config 监控的区域中创建的 Amazon S3 存储桶 myconfigtestbucket,还有关联的 Lambda 函数。ACL 或策略中未设置该存储桶的公开读写访问权限,所以它是合规的。



图 12:“Config 控制面板”


我们来更改存储桶的 ACL,以允许公开列出对象:



图 13:显示“Everyone granted access (已为每个人授予权限)”的“权限”选项卡屏幕截图


保存后,该存储桶便可公开访问了。几分钟后,AWS Config 控制面板会发现一项不合规的资源:



图 14:显示不合规资源的“Config 控制面板”


在 Amazon S3 控制台中,我们可以看到:在调用由之前创建的 CloudWatch 规则触发的 Lambda 函数后,存储桶中不再公开列出对象。



图 15:显示不再允许访问的“权限”选项卡


请注意,AWS Config 控制面板此时显示没有不合规的资源了:



图 16:显示没有不合规资源的“Config 控制面板”


现在,我们来配置允许列表访问的存储桶策略,以尝试进行 Amazon S3 存储桶策略检查:



图 17:允许访问的存储桶策略


对 myconfigtestbucket 存储桶设置该存储桶策略后,AWS Config 会在几分钟后检测到该存储桶不再合规。因为这是存储桶策略而不是 ACL,所以我们将一条通知发布到我们之前创建的 SNS 主题,以通知我们可能违反策略的行为:



图 18:有关可能违反策略的行为的通知


获知该策略允许公开列出存储桶后,我们现在可以修改或删除该策略,随后 AWS Config 会检测到资源符合策略。

结论

在本文中,我们演示了如何使用 AWS Config 监控 Amazon S3 存储桶是否使用公开的读写访问权限 ACL 和策略。另外,我们演示了如何使用 Amazon CloudWatch、Amazon SNS 和 Lambda 覆盖公开的存储桶 ACL,或者在存储桶使用可疑策略时提醒您。您可以使用 CloudFormation 模板在多个区域快速部署该解决方案。通过该方法,您将能够轻松找出并保护公开的 Amazon S3 存储桶 ACL 和策略。将该解决方案部署到多个区域后,可以使用 AWS Config 聚合器来聚合结果。阅读本文了解更多信息


如果您对本博文有任何反馈,欢迎在下方的评论部分提交。如果您对本博文有任何疑问,请在 AWS Config 论坛中开启一个新话题,或者与 AWS Support 联系。


希望了解更多 AWS 安全性方面的新闻?请在 Twitter 上关注我们。


本文转载自 AWS 技术博客。


原文链接:


https://amazonaws-china.com/cn/blogs/china/how-to-use-aws-config-to-monitor-for-and-respond-to-amazon-s3-buckets-allowing-public-access/


2019-10-23 08:00561

评论

发布
暂无评论
发现更多内容

【Linux深潜】详解Linux系统自身安全调优配置

沃趣科技

Linux

手把手,带你用数据做好迭代复盘改进 | 敏捷开发落地指南

阿里云云效

阿里云 敏捷开发 研发 迭代管理 项目协作

黎明前的至暗时刻,旅企是该坚守还是放弃?

易观分析

旅游业

如何写出GC更优的代码,以达到提升代码性能的目的

非凸科技

性能 编程语言 垃圾回收 GC 吞吐率

融云参编,业界首个办公即时通信软件安全标准重磅发布!

融云 RongCloud

豆瓣评分8.5,详细讲解Python基础知识和应用的百科全书来了!

图灵教育

Python 程序员 计算机

做本让客户念念不忘的产品手册

小炮

产品手册

架构实战营 第 6 期 模块五课后作业

火钳刘明

架构实战营 「架构实战营」

云图说|DDS读写两步走,带您领略只读节点的风采

华为云开发者联盟

数据库 华为云 读写分离 DDS

还有谁不知道CRM系统可以为企业做这些?

低代码小观

CRM 客户关系管理 CRM系统 客户关系管理系统 企业管理软件

连续3年实力登榜!EMQ映云科技再度跻身“2022中国边缘计算企业20强”

EMQ映云科技

物联网 IoT 边缘计算 emq 5月月更

墨天轮访谈 | 百度云邱学达:GaiaDB如何解决云上场景的业务需求?

墨天轮

数据库 百度云 国产数据库

2022开源之夏 | 龙蜥社区@你,快来报名

OpenAnolis小助手

开源软件 龙蜥社区 开源之夏 供应链点亮计划 学生开发者

跟我学Python图像处理丨掌握4种图像平滑算法

华为云开发者联盟

Python OpenCV 图像属性 兴趣ROI区域 图像通道

大咖说 X 智篆商业|未来五年:消费增长的“两大来源”与“四个方面”

大咖说

阿里云 存量时代 智篆商业

网络协议之:memcached text protocol详解

程序那些事

Java Netty 网络协议 程序那些事 5月月更

Nginx 日志采集与分析

观测云

运维 可观测性 可观测

企评家|上海贵酒股份有限公司成长性报告简述

企评家

OpenHarmony 3GPP协议开发深度剖析——一文读懂RIL

OpenHarmony开发者

OpenHarmony RIL

国内外最顶级的12大看板工具

PingCode

OpenHarmony兼容性平台更新上线

OpenHarmony开发者

OpenHarmony 兼容性平台

String源码解析-String的不变性分析

zarmnosaj

5月月更

node爬虫爬取小说章节

空城机

爬虫 Node 5月月更

易周金融观点 | 支付机构入局数字藏品;Q1手机银行交易超150万亿

易观分析

金融

一名优秀的算法工程师,日常都做些什么呢?

非凸科技

招聘 社招 校园招聘

一个无经验的大学毕业生,可以转行做软件测试吗?我的真实案例

伤心的辣条

Python 程序人生 软件测试 自动化测试 测试 单元测试

OpenHarmony布道师招募正式启动,打造个人技术影响力的机会来了!

科技汇

WordPress 固定链接设置

海拥(haiyong.site)

5月月更

加速虚拟与现实交互,2022视觉计算私享会邀请你一起沉浸体验

阿里云弹性计算

vr 虚拟现实 元宇宙 视觉计算

百问百答第37期:如何一次性贯穿前后请求,调用链告诉你答案

博睿数据

调用链 博睿数据 IT运维

主流开源分布式图计算框架 Benchmark

NebulaGraph

图计算 分布式图数据库

怎样利用 AWS Config 监控和响应 Amazon Simple Storage Service (S3) 允许公开读写访问权限_语言 & 开发_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章