PinLater:Pinterest 的异步任务执行系统

  • 谢丽

2015 年 11 月 24 日

话题:语言 & 开发架构

近日,Pinterest宣布开源异步任务执行系统PinLater。该系统已经在 Pinterest 的生产环境中应用了两年多,是 Pinterest 最关键的任务系统之一。目前,PinLater 使用了 10 多个位于Amazon EC2之上的不同集群,500 多个任务队列每分钟总计要处理超过 600 万个任务。

PinLater 的基本架构如下:

可以看出,PinLater 包含三个组件:

  1. 一个无状态的 Thirft 服务,管理任务提交和调度;
  2. 一个存储后台,存储任务和状态;
  3. 工作进程池,执行任务。

要了解更多架构细节,可以查看 Pinterest 工程师 Raghavendra Prabhu 先前发表的一篇文章

PinLater主要有如下特性:

  • 可靠的任务执行:显式确认、自动重试、延迟可配置;
  • 任务调度:可以将任务安排到将来的一个特定时间点执行;
  • 速率限制:可以限制系统中特定队列的执行速率;
  • 语言无关:可以使用任何 Thrift 支持的语言编写任务入队程序和任务执行程序;
  • 横向可扩展:服务及存储均是横向可扩展的;
  • 支持多种存储后台:目前针对不同的使用场景支持 MySQL 和 Redis 实现;
  • 可见性:可以通过Ostrich查看任务及相应的任务队列,跟踪各种运行时属性。

过去的一年中,Pinterest 对 PinLater 进行了改进,在使用 MySQL 作为存储后台时,其吞吐量提升了 5 倍,单个 i2.2xl MySQL EC2 实例每秒可以执行 2000 多次入队操作。考虑到 MySQL 提供了更高的可靠性,他们计划将所有工作负载移至 MySQL。他们还构建了一个检查点功能和一个故事板,前者用于支持长时间执行的任务和复杂的工作流程,后者用于查看任务状态、调试失败任务等。要了解更多信息,请查看PinLater 的 GitHub 页面


感谢郭蕾对本文的审校。

给 InfoQ 中文站投稿或者参与内容翻译工作,请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ@丁晓昀),微信(微信号:InfoQChina)关注我们,并与我们的编辑和其他读者朋友交流(欢迎加入 InfoQ 读者交流群(已满),InfoQ 读者交流群(#2))。

语言 & 开发架构