50万奖金+官方证书,深圳国际金融科技大赛正式启动,点击报名 了解详情
写点什么

仅用 8 个虚拟机缩放至日处理数十亿事务,PayPal 是怎么做到的

  • 2016-09-21
  • 本文字数:1830 字

    阅读完需:约 6 分钟

传统方式下日处理十亿笔事务的系统可能需要数百台虚拟机,PayPal 只用 8 台虚拟机就做到了这一切,CPU 占用率高达 90% 时依然可以提供快速响应,这种 PayPal 以往从未达到的事务处理密度,实现过程所需时间只是传统方法的 1/10,在降低成本的同时无须为计算基础架构扩容即可帮助该组织顺利应对增长。这是怎么做到的?

PayPal 已将系统迁移至基于 Akka 的 Actor 模式。在 Squbs:PayPal 采用全新的反应式方法构建应用程序这篇文章中,PayPal 介绍了整个过程的来龙去脉。目前他们已将 Squbs 开源并发布至 GitHub

当项目需要采取一种 _ 做实事的方法 _ 时,有状态的服务模式依然没能获得足够重视。若要进一步了解有状态服务,建议阅读当下继续构建可扩展有状态服务的理由,这篇文章是根据Caitie McCaffrey 的讲话撰写的。如果这篇文章还不能让你信服,还有使用Akka 的竞品Erlang 实现极高吞吐率的WhatsApp: Facebook 斥资 190 亿美元所购买的 WhatsApp 体系结构

推荐上述文章的原因在于,PayPal 这篇文章对体系结构的介绍不详尽,而是用了较多篇幅介绍导致他们选择 Akka 的原因,以及迁移至 Akka 所获得的收益。但这篇文章依然为“不走寻常路”的做法提供了宝贵的激励和示范。

为服务使用大量虚拟机,这种做法有什么问题?

  • 使用吞吐率非常低,极小规模的虚拟机运行服务。基于 Actor 的反应式系统最大的亮点在于可以更高效地利用计算资源,这样即可大幅缩小系统规模,避免传统做法下“简单粗暴”的自动伸缩。
  • 会对网络和路由基础架构造成极大压力。由于服务趋向于更高程度的互联,请求可能需要经历大量网络跃点,这会增加延迟并降低用户体验。
  • 越大越贵。包含数百个虚拟机的服务在管理、监控,以及无效缓存(Ineffective caching)等方面存在极高的固有成本。
  • 越小越敏捷。将服务部署到数百台虚拟机,这个过程将花费大量时间。
  • 更充分地利用每台虚拟机上更多 CPU。由于 CPU 无法进一步提速,基础架构需要能更高效地利用每台虚拟机上装备的更多 CPU。
  • 需要通过易于维护和快速构建,并且松散耦合的 NanoService 构建微服务。谁都不想面对包含大量层面的复杂体系,你需要对不同服务的作用获得更高能见度,而无须深入到层层叠叠的代码中。

考虑到上述因素,PayPal 希望搭建一套具备下列特征的系统:

  • 可缩放,不仅要能横向缩放至数百个节点,还要能纵向缩放至更多处理器,借此实现每天处理数十亿请求的目标。
  • 低延迟,可以通过极为细化的粒度进行控制。
  • 面对故障具备弹性。
  • 可灵活调整服务边界。
  • 通过编程模型和企业文化促进可缩放能力和简易性,以及更简洁的故障和错误处理机制。

毫无疑问 PayPal 希望使用更“瘦”的堆栈,他们不想自己的堆栈包含大量不同层面的技术和活动部件。通常来说,Akka 和基于状态的系统很适合这一需求,这种方式可将包含大块组件的堆栈“分解”为某种单一技术。PayPal 选择 Akka 而非 Erlang 的原因在于他们对 Java 有更丰富的经验,而 Akka 就是在 Java 的基础上运行的。对很多人来说,从零开始学习 Erlang 并不现实。

借助 Akka 他们可以:

  • 编写更易于解释的代码
  • 编写更易于测试的代码
  • 相比使用 JVM 的传统模式,更自然地处理错误和故障场景
  • 编写更快速、更具弹性、更简单的代码,以更流畅的方式处理错误,减少 Bug 数量

于是 PayPal 立刻以 Akka 为基础编写了自己的框架,这个框架名为 Squbs ,使用该名称是为了与“Cubes”保持押韵。借此可为名为“Cube”的 NanoService 的构建创建模块化技术层。Cube 是相互对称的,不同 Cube 之间的依赖性也是对称且松散的,只暴露出 Akka 已经提供的消息接口。

该文还介绍了程序员在采用 Akka 代码时,此类代码非线性的本质可能造成的困难,因此你可能还需要雇佣接受过 Akka/Scala 相关培训的人员。

由于大部分服务的用途较为类似:接收请求,调用并读写数据库,调用其他服务,调用规则引擎,从缓存中获取数据,写入缓存… 因此可以通过类似 Orchestrator Pattern 和 Perpetual Stream 等模式对服务进行抽象。

Squbs 已成为 PayPal 构建基于 Akka 的反应式应用程序的标准做法。如果你的团队尚未考虑过有状态系统,也许这种做法值得一试,毕竟这种做法在 PayPal、Facebook、Uber,以及微软都取得了不错的效果。

作者 Todd Hoff 阅读英文原文 How PayPal Scaled To Billions Of Transactions Daily Using Just 8VMs


感谢陈兴璐对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

2016-09-21 17:286203
用户头像

发布了 283 篇内容, 共 122.2 次阅读, 收获喜欢 63 次。

关注

评论

发布
暂无评论
发现更多内容

关于技术学习的6个观点

郭明

技术人

《迁移学习导论》第2版,升级内容抢先看!

博文视点Broadview

SAP 人工智能解决方案的演进史 - 从 SAP Leonardo 到 SAP Data Intelligence

汪子熙

人工智能 机器学习 AI SAP 8月月更

仿钉钉审批流程后端 PHP 处理(一)

CRMEB

直播回放含PPT下载|基于Flink & DeepRec构建Online Deep Learning

阿里云大数据AI技术

深度学习

Java 是否应该使用通配符导入( wildcard imports)

HoneyMoose

Jina 实例秀|七夕神器!比你更懂你女友的口红AI

Jina AI

七夕 神经网络架构搜索

语音社交app源码——具备哪些开发优势?

开源直播系统源码

软件开发 语聊房 直播系统源码 语音聊天系统 语音聊天app

mysql进阶(二十六)MySQL 索引类型

No Silver Bullet

MySQL MySQL索引 8月月更

技术干货 | 用零信任保护代码安全

权说安全

开源一夏|ArkUI如何自定义弹窗(eTS)

坚果

开源 HarmonyOS OpenHarmony 8月月更

【黄啊码】MySQL入门—1、SQL 的执行流程

黄啊码

MySQL 8月月更

什么是 DevOps?看这一篇就够了!

胡说云原生

管理 DevOps 运维 开发 签约计划第三季

React的理念与V16的架构变化

郭明

React

开源一夏 | 查询分页不只有limit,这四种分页方法值得掌握

知识浅谈

开源 8月月更

再次搞定 Ali 云函数计算 FC

小鑫同学

签约计划第三季

【LeetCode】分组的最大数量Java题解

Albert

LeetCode 8月月更

IDEA 自动导入的配置(Auto import)

HoneyMoose

浅聊偏函数

掘金安东尼

JavaScript 函数式 8月月更

Rust 入门指南 (用 WASM 开发第一个 Web 页面)

王泰

rust Wasm WebAssenbly ​Rust

MySQL之my.cnf配置文件

TimeFriends

8月月更

Jina 实例秀|基于神经搜索的网络安全威胁检测(一)

Jina AI

神经网络架构搜索 Python.

STM32+SIM800C采用MQTT协议登录OneNet上传温湿度、MQ2烟雾浓度、GPS数据

DS小龙哥

8月月更

C#/VB.NET:在 Word 中设置文本对齐方式

Geek_249eec

C# word VB.NET 文本对齐

转转测试环境的标签域名实践

转转技术团队

nginx hosts

Java使用IReport导出复杂报表

源字节1号

微信小程序 软件开发 前端开发 后端开发

【黄啊码】MySQL入门—2、使用数据定义语言(DDL)操作数据库

黄啊码

MySQL 8月月更

萌宠来袭,如何让“吸猫撸狗”更有保障?

旺链科技

区块链 产业区块链 宠物行业

CentOS6搭建nginx+uwsgi+flask

haiger13

签约计划第三季

临床研究方法学,到现场,到数据真实发生的地方 | 对话数智 x 张维拓

ModelWhale

数据分析 人才培养 数据科学 8月月更 临床医学

仅用8个虚拟机缩放至日处理数十亿事务,PayPal是怎么做到的_语言 & 开发_Todd Hoff_InfoQ精选文章