【AICon】探索RAG 技术在实际应用中遇到的挑战及应对策略!AICon精华内容已上线73%>>> 了解详情
写点什么

Amazon EC2 容器服务背后的技术

  • 2015-07-24
  • 本文字数:1796 字

    阅读完需:约 6 分钟

Amazon EC2 Container Service (ECS) 是一个高度可扩展的高性能软件容器管理服务,它支持 Docker,使用户可以轻松地在 Amazon EC2 实例集群上运行应用程序。近日,Amazon 首席技术官 Werner Vogels撰文介绍了Amazon ECS 的架构。下图是Amazon ECS 包含的基本组件:

Amazon ECS 的核心是集群管理器,这是一个处理集群协调和状态管理任务的后台服务,它的上面是不同的调度器。集群管理和容器调度相互分离,用户可以构建自己的调度器。集群是一个供用户应用程序使用的计算资源池,而所谓的资源是指由容器划分的 Amazon EC2 实例的 CPU、内存和网络资源。Amazon ECS 通过运行在每个实例上的 Amazon ECS 容器代理协调集群。该代理允许 Amazon ECS 与 EC2 实例通信,并在用户或调度器请求时启动、停止和监控容器。它是用 Go 编写的,在 GitHub 上遵循 Apache 许可协议开源。

为了协调集群,需要一个有关集群状态的唯一信息源,提供诸如集群包含的 EC2 实例、运行在实例上的任务、组成任务的容器以及可用资源或已占用的资源这样的信息。这样,才能成功地启停容器。为此,他们将状态存储在一个键 / 值存储中。在任何现代集群管理中,键 / 值存储都是一个核心。而且,为了实现持久性和高可用性,预防网络分区或硬件故障,该键 / 值存储需要采用分布式部署。但这又带来一个问题,就是数据一致性很难保证,并发修改也很难处理。这就需要有一种并发控制机制来确保多个状态修改不会冲突。

为了实现并发控制,他们在实现 Amazon ECS 时使用了 Amazon 的其中一个核心分布式系统组件:一个基于 Paxos 算法以事务日志为基础的数据存储。该组件记录了每个数据条目的每次修改。每次写入操作都会作为日志中的一个事务提交,并且有一个特定的有顺序的 ID。数据存储中的当前值是根据日志记录所做的所有事务操作的总和。它允许 Amazon ECS 采用乐观并发的方式存储集群状态信息,在一个共享数据不断变化的环境中,这是非常合适的。

有了键 / 值存储,就可以协调集群了。而为了使用户能够利用 Amazon ECS 的状态管理功能,他们通过一组 API 开放了 Amazon ECS 集群管理器。用户可以通过它们以一种结构化的方式访问存储在键 / 值存储中的所有集群的状态信息。这组 API 成为用户在 Amazon ECS 上构建自己的解决方案的基础。Vogels 举了两个例子。

一个是自创建第一天起就托管在 AWS 上的免费叫车应用 Hailo 。在过去的几年里,该应用从一个运行在单个 AWS 区域中的单体应用程序演化成为一个运行在多个区域中的基于微服务的架构。起初,每个微服务运行在一个实例集群上。但实例为静态分区,导致每个分区的资源利用率都不高。为此,他们决定基于服务优先级和其它指标在一个弹性资源池上调度容器。他们选择了Amazon ECS,因为后者通过API 完全暴露了集群状态,使他们可以使用满足特定应用需求的逻辑构建一个自定义的调度器。

另一个是教育类通讯软件 Remind 。它起初是一个运行在 Heroku 上的大型单体应用。但随着用户数的增长,他们希望具备水平扩展的能力。因此,大约在 2014 年底,其工程团队开始探索使用容器迁移到微服务架构。他们希望在 AWS 上构建一个兼容 Heroku API 的 PaaS(平台即服务)。为了管理集群和容器编排,他们首先考察了一些开源解决方案,如 CoreOS 和 Kubernetes。但考虑到团队规模较小,他们没有时间管理集群基础设施及保持集群高可用。经过简单的评估之后,他们决定在 Amazon ECS 上构建他们的 PaaS。这样,工程团队就可以专注于应用开发和部署。在 6 月份的时候,Remind 开源了他们的 PaaS 解决方案“ Empire ”。在接下来的几个月中,他们将把核心基础设施的 90% 迁移到 Empire 上。

总之,Amazon ECS 的架构提供了一种高可扩展、高可用、低延迟的容器管理服务。它允许以乐观并发的方式访问共享的集群状态信息,并通过 API 赋予用户创建自定义容器管理解决方案的能力。另外,Vogels 还提到,集群中实例的数量并不会对 Amazon ECS 的延迟产生明显的影响。

感兴趣的读者可以点击这里查看过去一年来Amazon ECS 增加的特性。


感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们,并与我们的编辑和其他读者朋友交流(欢迎加入 InfoQ 读者交流群)。

立即免费注册 AWS 账号,获得 12 个月免费套餐:点击注册

有云计算问题?立刻联系 AWS 云计算专家:立即联系

2015-07-24 05:223035
用户头像

发布了 1008 篇内容, 共 372.4 次阅读, 收获喜欢 340 次。

关注

评论

发布
暂无评论
发现更多内容

10 张图打开 CPU 缓存一致性的大门

小林coding

缓存 cpu 操作系统 计算机

LeetCode题解:47. 全排列 II,回溯,JavaScript,详细注释

Lee Chen

算法 大前端 LeetCode

系统从初期到支撑亿级流量,都经历了哪些架构的变迁?

冰河

分布式 微服务 系统架构 SOA 垂直架构

实用!8个 chrome插件玩转GitHub,单个文件下载小意思

程序员小富

GitHub

30 岁的码农人生 ——人生至暗时,你依然能窥见光明

cxuan

程序员 程序人生 感悟

今天你的idea崩了吗?分享6种“白嫖”正版idea的途径,真香定律

小Q

学习 架构 面试 开发 IntelliJ IDEA

区块链助力跨省、零材料办理 成都武侯打造“中国政务服务第一链”

CECBC

区块链

可视化数据科学中的概率分布以帮你更好地理解各种分布

计算机与AI

学习 数据科学

如何在微信公众号图文中插入外链

Ceelog

微信公众号

Dubbo 微服务调用时序图

Acker飏

算法学习1-- 数组常见问题

菜鸟小sailor 🐕

算法和数据结构

新基建下区块链基础设施建设

CECBC

区块链

什么是动态代理

Rayjun

Java 动态代理

32个问题,学习Java虚拟机的运行时数据区

AI乔治

Java 架构 JVM JVM虚拟机原理

它可能是分布式系统中最重要的枢纽

架构师修行之路

分布式 微服务 注册

JVM系列-第一节:JVM简介、运行时数据区、内存分代模型

诸葛小猿

Java JVM JVM简介 运行时数据区 内存分代模型

一次艰难的内存泄露排查,BeanUtils的锅

AI乔治

Java 架构

求职时这样回答问题你就输了!来自IT类面试官视角的深度解读

华为云开发者联盟

面试 软件开发

谈谈贪官污吏

空山

谷歌朝南,华为朝北

脑极体

英特尔老矣,尚能“转”否?

脑极体

为你总结了N个真实线上故障,从容应对面试官!

AI乔治

Java 架构 GC

中国银行前行长李礼辉:区块链技术优势与产业前景

CECBC

区块链 数字货币

甲方日常 39

句子

工作 随笔杂谈 日常

【JSRC小课堂】Web安全专题(一)认证缺失和认证缺陷漏洞

京东科技开发者

WEB安全

即构SDK10月迭代:新增多款语音音效、外部采集码流控制及Android SDK 最低支持操作系统版本调整

ZEGO即构

android RTC

阿里巴巴专属著作超赞,就是名字起得有点狂“成神之路”???

Java架构师迁哥

记一次Jvm参数调优实战

AI乔治

Java 架构 JVM 编程思维 jvm调优

你有时间吗?

池建强

时间

AES加密模式

Mars

AES

分布式系统使用网关到底是好还是坏?

架构师修行之路

分布式 微服务 网关

Amazon EC2容器服务背后的技术_语言 & 开发_谢丽_InfoQ精选文章