AWS的工程师们最近写了一篇文章，介绍了一个叫作AWSSSMChaosRunner的开源混沌工程工具，他们用它来测试Prime Video的故障注入。这个工具使用AWS Systems Manager构建，可以在EC2实例上执行任意命令，团队可以用它缓解与延迟相关的问题。

AWSSSMChaosRunner是使用AWS Systems Manager构建的，用于针对一组特定的EC2实例远程执行命令。通过声明方式指定的命令集合创建了一组注入错误。

Prime Video软件工程师Varun Jewalikar和AWS首席开发者(架构)布道师Adrian Hornsby写道，典型的混沌工程实验包括模拟资源耗尽和缓慢的网络。对于这样的场景有一些对策，但“它们很少得到充分测试，因为单元测试或集成测试通常不能充分验证它们”。

AWS Systems Manager是一个工具，可以通过一个叫作SSM Agent的代理组件跨AWS资源执行各种运维任务。默认情况下，代理被预先安装在某些Windows和Linux AMI上——它们也有“文档”的概念，类似于可以执行的Runbook。它还可以执行简单的shell脚本，AWSSSMChaosRunner就是利用了这个特性。SSM的SendCommand API允许跨多个实例执行命令，这些实例可以通过AWS标记来过滤。CloudWatch可以用于在一个地方查看来自所有实例的日志。

安全方面的问题由代理负责，比如创建在EC2实例上执行的用户。AWSSSMChaosRunner可以做的事情包括在一个特定端口上悄悄地中断所有传出的TCP流量、在一个接口上引入网络延迟、占用CPU，等等。需要注意的是，当前支持的故障注入要么是在基础设施上，要么是在AWS服务层上。

AWSSSMChaosRunner源自一组SSM文档，这些文档与将故障注入AWS资源有关。根据文中所写，在使用标准SSM Agent API执行文档之后，负载生成组件根据应用程序模拟真实的流量。AWSSSMChaosRunner也可以用于ECS，但不能用于Lambda，因为后者是一个完全托管的服务。还有其他方法可以在AWS Lambda中进行故障注入。

Prime Video背后使用了AWS服务，它利用AWSSSMChaosRunner来测试依赖服务出现高延迟时的性能。Jewalikar和Hornsby提到，AWSSSMChaosRunner助他们修复了Elasticache超时配置的一个bug。

还有其他可用于执行混沌工程实验的库，早期的一个库是Netflix的Chaos Monkey。其他公司也开发了自己的框架，比如LinkedIn的Waterbear项目和Twitter的Python库。Gremlin公司还提供了故障注入服务。

AWSSSMChaosRunner的源代码可以在GitHub上找到。

原文链接：

An Open Source Chaos Engineering Library from AWS

创作场景

AWS 开源混沌工程工具 AWSSSMChaosRunner