基于 Amazon ECS 的并行批处理任务解决方案

   FROM ubuntu:16.04   # Setup
   RUN apt-get update -qq && apt-get install -y curl
   # Install node.js
   RUN curl -s https://s3.amazonaws.com/mapbox/apps/install-node/v2.0.0/run | NV=4.4.2 NP=linux-x64 OD=/usr/local sh
   RUN curl -sL https://deb.nodesource.com/setup_8.x | bash -
   RUN apt-get install -y nodejs
   # Setup application directory
   RUN mkdir -p /usr/local/src/watchbot
   WORKDIR /usr/local/src/watchbot
   # npm installation
   COPY ./package.json ./
   RUN npm install --production
   # Copy files into the container
   COPY ./index.js ./
   COPY ./lib ./lib
   COPY ./bin ./bin
   # Logging onto the host EC2
   VOLUME /mnt/log
   # Run the watcher
   CMD ["/bin/sh", "-c", "npm start"]

然后构建容器镜像：
Bash

   sudo docker build -t ecs-watchbot:v3.5.1.

登录 ECR：
Bash

   eval "sudo $(aws ecr get-login --region us-east-1 --no-include-email )"

上传容器镜像到 ECR：
Bash

   sudo docker tag ecs-watchbot:v3.5.1 123456789012.dkr.ecr.us-east-1.amazonaws.com/ecs-watchbot:v3.5.1
   sudo docker push 123456789012.dkr.dkr.ecr.us-east-1.amazonaws.com/ecs-watchbot:v3.5.1

   sudo yum -y erase npmcurl --silent --location https://rpm.nodesource.com/setup_8.x | sudo bash -sudo yum -y install nodejs
   sudo npm install -g @mapbox/cfn-config
   sudo npm install -g @mapbox/cloudfriend
   sudo npm install -g @mapbox/watchbot

   export NODE_PATH=/usr/lib/node_modules/@mapboxvalidate-template cloudformation-kms.template.jsbuild-template cloudformation-kms.template.js >> cloudformation-kms.template

然后使用下面的命令创建 Amazon Cloudformation 堆栈：
Bash

   aws cloudformation create-stack \
   --stack-name kms-production \
   --capabilities CAPABILITY_IAM \
   --template-body file://cloudformation-kms.template \
   --region us-east-1

堆栈创建完毕以后，会有一个输出，其 export name 为 `cloudformation-kms-production`，这对应到生成的 KMS key 的 ARN，这个 ARN 会在 `ecs-telephone` 模板中被使用到。

   import boto3
   import os
   message = os.environ["Message"]
   print (message)

然后编写一个 `Dockerfile`，如下所示：
Bash

   FROM ubuntu:16.04
   WORKDIR /usr/local/src/ecs-telephone
   RUN apt-get update -qq
   RUN apt-get install -y curl
   RUN apt-get install -y python-pip python-dev build-essential
   RUN pip install boto3
   COPY domsg.py ./
   CMD ["python","domsg.py"]

运行下面的命令构建用户的任务容器镜像，tag 为123：
Bash

   sudo docker build -t ecs-telephone:123 .

创建 ECR 仓库，假设名为 `ecs-telephone`，对应的 URI 为 `012345678901.dkr.ecr.us-east-1.amazonaws.com/ecs- telephone`。然后把用户的任务容器镜像上传到 ECR 里：
Bash

   eval "sudo $(aws ecr get-login --region us-east-1 --no-include-email )"
   sudo docker tag ecs-telephone:123 012345678901.dkr.ecr.us-east-1.amazonaws.com/ecs-telephone:123
   sudo docker push 012345678901.dkr.ecr.us-east-1.amazonaws.com/ecs-telephone:123

   const watchbot = require('@mapbox/watchbot');const cf = require('@mapbox/cloudfriend');const Parameters = {
   GitSha: { Type: 'String' },
   Cluster: { Type: 'String' },
   Family: { Type: 'String' }
   };
   const watcher = watchbot.template({
   cluster: cf.ref('Cluster'),
   service: 'ecs-telephone',
   family: cf.ref('Family'),
   serviceVersion: cf.ref('GitSha'),
   workers: 1,
   reservation: { cpu: 256, memory: 128 },
   env: { StackRegion: cf.region },
   notificationEmail: 'devnull@mapbox.com'
   });

这里有三个输入参数：* `GitSha`：表示包含用户任务的 docker 镜像的 tag 值。* `Cluster`：表示整个任务平台所在的 Amazon ECS 集群的 ARN，注意这里需要输入 ARN 而不是集群的名称。该 ARN 可以使用 awscli 命令来获得：`aws ecs list-clusters`* `Family`：表示该批处理任务平台的名称，可以根据需要输入一个字符串，其内容没有特定要求。
还可以在这里根据实际需要修改相应的参数，包括：* `service`：表示使用该模板创建的 ECS 服务的名字。* `workers`：表示 watcher 在发现队列里有消息的时候，启动的包含用户的业务逻辑的容器。缺省为1个。* `reservation`：任务容器在运行时所需要的 CPU 和内存资源。* `notificationEmail`：各种通知产生以后，会发送到该邮箱里。
参数都修改完毕并保存以后，使用下面的命令创建 Amazon Cloudformation 模板：
Bash

   export NODE_PATH=/usr/lib/node_modules
   validate-template ecs-telephone.template.js
   build-template ecs-telephone.template.js >> ecs-telephone.template

打开该模板，找到包含 `Watchbot-worker-ecs-telephone` 字样的部分，可以看到如果使用该模板部署 ECS 服务，则会去找名为`ecs-telephone` 的 Amazon ECR 仓库，用户可以根据实际情况修改该 ECR 仓库名。
如果要在中国区运行该模板的话，需要手工进行修改。具体修改的地方包括：* 找到 EcrRegion 部分，在其中添加 `"cn-north-1": { "Region": "cn-north-1" }`* 搜索 amazonaws.com，除了 ecs-tasks.amazonaws.com 以外，其他都要添加 .cn，也就是改为 amazonaws.com.cn。* 找到下面这一段，将其删除。      [](https://s3.cn-north-1.amazonaws.com.cn/awschinablog/aws-ecs-parallel(6).png)](https://s3.cn-north-1.amazonaws.com.cn/awschinablog/aws-ecs-parallel(5).png)

   aws cloudformation create-stack \--stack-name ecs-telephone \--capabilities CAPABILITY_IAM \
   --template-body file://ecs-telephone.template \
   --parameters \
   ParameterKey=GitSha,ParameterValue=123 \
   ParameterKey=Cluster,ParameterValue=arn:aws:ecs:us-east-1:123456789012:cluster/production-cluster-ECSCluster\
   ParameterKey=Family,ParameterValue=ecs-telephone \
   --region us-east-1

   {
   "Subject": "Your subject",
   "Message": "Your random message"
   }

该消息中的 Message 内容：“Your random message” 就会被上面第六步中的 `domsg.py` 输出到 Amazon CloudWatch 的 log group 里。我们可以进入 Amazon CloudWatch 控制台界面上，点击右边的 Logs，然后会看到包含 watchbot 的 log group，点击进去以后找到最新的 log stream 并点击进入，会看到该消息，说明整个流程正常运行起来了：  [](https://s3.cn-north-1.amazonaws.com.cn/awschinablog/aws-ecs-parallel(7).png)](https://s3.cn-north-1.amazonaws.com.cn/awschinablog/aws-ecs-parallel(7).png)