亚马逊简单队列服务(SQS)添加了 FIFO 队列

  • Steffen Opel
  • 王纯超

2017 年 1 月 4 日

话题:AWS语言 & 开发架构

亚马逊的简单队列服务(SQS)最近添加了FIFO(先入先出)队列,“确保消息是按照它们发送的顺序处理的,每个消息只被处理一次,而且不会出现重复消息”。AWS 在美国东部(俄亥俄州)和美国西部(俄勒冈州)地区推出了这种新的队列类型,并“计划在 2017 年初在其他地方推广”。

亚马逊的 SQS 被描述为一个“快速、可靠、可扩展、完全托管的消息队列服务,旨在解耦云应用程序的组件,并能传输任意大小的数据,而不会丢失消息或要求其他的依赖服务始终可用”。

SQS 服务的一个显著的特点是它去掉了“标准”队列在伸缩性方面的限制,因此用户可以创建一个无限数量的队列,每个队列默认提供“近乎无限的吞吐量”。然而,这种简便的伸缩模式所要求的消息处理架构只能保证消息的尽力排序(best-effort ordering)和至少一次传递。

根据 AWS 的观察结果,“客户告诉我们 FIFO 应用的吞吐量通常较低,每秒 10 条消息甚至更低”,新型的 FIFO 队列现在弥补了标准 SQS 队列在这方面存在的不足,它用无限制的扩展换取更健壮的消息排序和处理保障。FIFO 队列的特点有:

  • 先进先出:严格维持消息发送和接收的顺序。
  • 只处理一次:消息只发送一次并一直保持可用直到消费者处理和删除该消息。在 5 分钟的去重间隔中,队列不会引入重复消息。
  • 有限的吞吐量:每秒 300 条事务(TPS)。

一篇关于亚马逊 SQS FIFO API 的工作原理的技术博文更加详细地描述了底层架构取舍和相应的约束。该文作者强调,尽管“许多应用使用 SQS 的传统的超级可扩展、至少一次的消息处理方式表现良好”,但是有一些应用场景需要排序或者只处理一次消息,例如“价格更新事件流”或者“交互式 shell 会话中的命令”。

“如果网络连接掉线的时间不会超过几分钟,并且消息都有唯一的标识符”,那么 FIFO 队列的默认设置应该就足够实现严格的排序和只处理一次的目标。至于其它粒度方面的需求,可以使用消息组(属于同一组的消息按顺序处理)和专门的去重 ID(否则默认为消息内容的 SHA256 哈希值)。

微软 Azure 的服务总线队列可以保证FIFO 消息排序和只发送一次。相比之下,谷歌云平台(Google Cloud Platform)的云 Pub/Sub服务既不支持 FIFO 消息排序,也不支持只发送一次,因为谷歌认为“实际要求严格排序的应用场景少之又少”。

亚马逊 SQS 文档包含一份开发人员指南API 参考。开发人员指南里有一个章节是关于FIFO 队列的,它提供了一个从标准队列迁移到新型队列需要注意的事项列表。还有一份单独的FAQ。SQS 是按 API 的请求数来定价的(而不是消息,一个请求可以包含多达 10 条消息),新的 FIFO 队列的定价方式和标准队列之前的定价方式类似。标准队列的定价已经降低了百分之二十。亚马逊 SQS论坛为该服务提供支持。

查看英文原文:Amazon Simple Queue Service (SQS) Gains FIFO Queues


感谢薛命灯对本文的审校。

给 InfoQ 中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ@丁晓昀),微信(微信号:InfoQChina)关注我们。

AWS语言 & 开发架构