写点什么

Nextdoor 分布式任务队列系统的演进

  • 2014-08-21
  • 本文字数:1637 字

    阅读完需:约 5 分钟

近日,私密社交网络 Nextdoor 在其官方博客发表了一篇文章,介绍其分布式任务队列系统的演进过程。该系统每天要处理数以百万计的异步任务,包括向数以百万计的邻居发送内容通知、创建搜索索引、以及其它应该从交互式Web 和移动应用程序解耦的耗时的处理过程。它由两部分组成:消息代理(队列)和一组任务工作进程。像其它许多系统一样,他们使用 RabbitMQ 作为消息代理,使用 Celery 作为任务工作进程。在公司规模较小的时候,这些开源项目提供了很大的帮助。但随着用户数的增多,不久前,他们在 Celery 的稳定性方面遇到了问题。即使得到了 Celery 创建者 Ask Solem 本人的支持,但他们仍然会遇到一些问题。最终,他们决定用他们自己开发的项目 Taskworker 替换 Celery。同时,为了减少运维开销,他们用 Amazon SQS 替换了 RabbitMQ。他们的理由是,Amazon SQS 容易理解,具有高可扩展性,而且完全由 Amazon 管理。

文章首先列出了他们在使用 Celery 时面临的三个主要问题:

  1. Celery 工作进程在他们系统的现有规模下不稳定。工作进程经常莫名其妙地宕掉,而且由于其代码库很复杂,很难进行故障排除。
  2. Celery 工作进程无法有效利用系统的计算资源。由于 Celery 不支持优先级队列,所以许多工作进程节点要么未充分利用,要么出现了过载。
  3. Celery 工作进程处理任务的延时经常非常高。

由于上述问题的存在,他们为 Taskworker 设定了三个目标:

  1. 简单:故障排除要简单。
  2. 高效:计算资源的利用要尽可能的高效。
  3. 可扩展:系统应该是完全分布式的,并可横向扩展。

文章接下来详细介绍了 Taskworker 设计及应用到生产环境过程中的一些关键点。

设计决策

基于上述三个目标,他们提出了一种很简单的设计,用 Python 伪代码表示(不包括错误处理和重试逻辑)如下:

复制代码
def run_taskworker():
while True:
queue = select_queue()
tasks = queue.get_tasks()
for task in tasks:
task.run()

在底层,他们会在每个工作进程节点上运行一组 Taskworker 进程,每个进程都运行上面所示的循环。所有进程都是完全独立的。select_queue()函数根据队列的优先级决定从哪个队列获取任务。它既要能优先处理高优先级队列的任务,又要能避免低优先级队列挨饿。

在通过模拟生产负载进行了十多次基准测试后,他们最终选用了一个彩票算法的变体,如下所示:

复制代码
def select_queue():
candidate_queues = get_all_queues()
while not candidate_queues.empty():
queue = run_lottery(candidate_queues)
if queue.empty():
candidate_queues.remove(queue)
else:
return queue
return run_lottery(get_all_queues())

文中还提到,他们要管理十几个或更多不同种类的队列,每个队列包含的任务具有相同的优先级和相似的运行时间。他们在队列层面进行配置设定,包括优先级、SQS 可见性超时以及一次任务处理循环获取的任务数。另外,SQS 在向工作进程发送任务时遵循“至少一次”的语义,这就需要任务必须是幂等的。

应用到生产环境

在这一部分,文章介绍了以下三个方面:

  1. 发布过程:为了保持兼容,SQS 队列和 Taskworker 的版本总是相同。
  2. 能力计划:他们使用 Taskworker 模拟生产负载,以决定在一天中的不同时段如何设置工作进程的能力。
  3. 任务迁移:他们基于每个任务增加了自己开发的开关功能,用于决定是将任务发布到 RabbitMQ 还是 SQS。当开始迁移的时候,他们只需要简单地、一个任务接一个任务地开启开关功能。

结论

截止博文发表时,Taskworker 已经在生产环境中运行了三个多月。他们没有再遇到稳定性问题。在运行相同数量的工作进程节点的情况下, Celery 系统队列中的任务忙时平均延时是 Taskworker 系统的 40 倍。

文章最后指出,Taskworker 还有许多可以改进的地方,而且正在准备开源。


感谢郭蕾对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

2014-08-21 08:292893
用户头像

发布了 256 篇内容, 共 95.2 次阅读, 收获喜欢 12 次。

关注

评论

发布
暂无评论
发现更多内容

spring Cloud Eureka Rest接口重写

xcbeyond

Java SpringCloud Eureka

MySQL索引问题探究手记

架构精进之路

MySQL 索引

钓鱼网站:详解hosts文件

xcbeyond

Java 域名解析 hosts

枚举算法练习例题(Python版)

罗罗诺亚

Python 算法 枚举

一个数据库管理员的自我救赎之路

华为云开发者联盟

数据库 华为云 数据库迁移 企业上云 DRS

SpringCloud服务注册中心双节点集群(Eureka集群)

xcbeyond

Java 架构 微服务 Eureka 集群

操作系统bochs安装及使用

allworldg

操作系统

是时候学习Linux了

Simon

Linux

MySQL5.7升级到8.0过程详解

Simon

MySQL

影响音视频延迟的关键因素(一):流媒体系统

ZEGO即构

TCP udp RTC HLS RTMP

ARTS week 4

锈蠢刀

Java-技术专题-synchronized关键字

码界西柚

自从有了语音开黑小能手,队友再也不会骂我了!

anyRTC开发者

WebRTC 在线教育 直播 RTC RTMP

程序范式的意义

soolaugust

架构 程序设计

CRM往事丨三件事,所有SaaS的缩影

人称T客

区块链、人工智能……警惕非法金融借创新概念迷惑投资人

CECBC

区块链 金融

恢复青春气息,就靠这套人像美肤算法了

博文视点Broadview

算法 计算机视觉 图像识别 人像

写作只是消遣?

Geek_db1689

写作 讨论写作 自我感悟 瞎想乱写

云上安全工作乱如麻,等保2.0来一下

华为云开发者联盟

安全 华为云 等保 云平台 多云服务

我的敏捷历程 —— 兼评《敏捷整洁之道 - 回归本源》

FollowFlow

敏捷开发 Agile 极限编程 XP

实践案例丨教你一键构建部署发布前端和Node.js服务

华为云开发者联盟

node.js 后端 服务器 代码 华为云鲲鹏

如果你每次面试前都要去背一篇Spring中Bean的生命周期,请看完这篇文章

程序员DMZ

spring 生命周期

海量并发也没那么可怕,运维准点下班全靠它!

华为云开发者联盟

容器 网络 并发 华为云

面试必杀技,讲一讲Spring中的循环依赖

程序员DMZ

spring

面试官:你说你懂i++跟++i的区别,那你知道下面这段代码的运行结果吗?

程序员DMZ

JVM i++

易观郭炜:流动水系数造未来

易观大数据

MySQL关于日期为零值的处理

Simon

MySQL

跨域问题(CORS / Access-Control-Allow-Origin)

xcbeyond

Java CORS 跨域

关于日期及时间字段的查询

Simon

MySQL sql查询

低/零代码干掉了传统的开发模式

代码制造者

编程语言 低代码 零代码 信息化 编程开发

SWARM学习1——Kademlia分布式路由表协议

AIbot

区块链 DHT 分布式存储 分布式文件存储 分布式路由

Nextdoor分布式任务队列系统的演进_语言 & 开发_马德奎_InfoQ精选文章