写点什么

扩展 Twitter 以支撑新负载峰值

  • 2013-09-01
  • 本文字数:1420 字

    阅读完需:约 5 分钟

对于许多人而言,Twitter 已经变成一种不可或缺的通讯工具。个人和企业每天都在以一种更深广的方式使用Twitter,甚至所有人都对“其扩展性如何”感兴趣。本月初,Twitter 经历并无缝地处理了一次每秒143199 条tweet 的新负载峰值——与当前每秒5700 条tweet 的稳定状态相比,这一数值可谓是大幅飙升。Twitter 平台工程副总裁Raffi Krikorian报道了这项新纪录,并花时间回顾了已经进行的工程变更,它们扩展了Twitter,使其流量达到了这样一个新的水平。

三年前,围绕2010 世界杯的活动使Twitter 达到了每秒2000 条tweet 的峰值,导致了重大的稳定性问题,也使Twitter 工程团队意识到重构系统的必要性。后续工程检查发现,Twitter 拥有世界上最大的Ruby on Rails 部署,所有东西都在一个代码库中,应用程序和工程团队均是一个庞大而统一的整体。它的MySQL 存储系统已经达到上限,硬件资源却没有充分利用,而反复“优化”又致使代码库僵化。Krikorian 在报告中指出,通过此次检查,Twitter 确立了几大目标:机器数量减至十分之一;迁移到松耦合的面向服务的体系架构,该架构边界更清晰而且内聚性更高;可以通过更小的获得授权的团队更快地推出新功能。

Twitter 放弃了 Ruby,转而使用 JVM。它已经达到了 Ruby 进程级并发模型的上限,于是需要一种能够提供更高吞吐量而且能够更好地利用硬件资源的编程平台。通过在 JVM 上重写代码库,Twitter 获得了 10 倍的性能提升,现在每台主机每秒可以推送 10-20K 次请求。

Twitter 体系结构的最大变化是以 tweet、“时间线(timeline)”和用户服务等三个“核心名词”为重点,迁移到面向服务的体系结构。基于“契约式设计(design by contract)” 的开发方法,使各团队可以按照预先约定的接口定义独立地进行接口实现。服务具有自治和自包含的特点,这也在新的工程团队结构中得到了反映。异步 RPC 平台 Finagle 的创建,使所有的工程团队可以用一种标准的方式处理并发、故障恢复及负载均衡。

新体系结构在 Twitter 工程团队的构成中得到了反映。服务和团队都有自治且自包含的特点,而且每个团队都有自己的接口和问题域。因此,不需要任何人成为整个系统的专家,也不需要每个人都考虑 Twitter 的可扩展性。团队的关键能力是抽象出每个需要的人都可以使用的 API。

Krikorian 说,即使运用了淡化整体性的体系结构,持久化依然是一个巨大的瓶颈。因此,Twitter 已经利用 Gizzard 把单一的主 MySQL 数据库替换成一个具有容错性的 Sharded 数据库的分布式结构。

这里强调一个扩展大型系统的共同点,即可观测性和统计信息是管理系统和提供具体数据支持优化工作的关键工具。Twitter 的开发平台包含了这样的工具,使开发人员可以非常容易地提供请求跟踪和统计报告。

Twitter 扩展故事的最后一部分是在运行时环境配置和测试环境方面做了许多工作。在“Twitter 扩展”过程中,测试实际上只能在生产环境完成,部署新功能也需要团队间具有挑战性的协作水平。因此,Twitter 创建了 Decider 机制,在该机制下,新功能只有在部署完成后才能启用。在部署时,新功能可以设定为“关闭(off)”状态,然后或者以二进制方式(一次性)启用,或者按操作比例逐步启用。

总的来说,现在的 Twitter 比以前更具扩展性、更有弹性且更灵活,其流量正在打破新纪录,而且它可以在不受重大干扰的情况下推出新功能。在博文的末尾,Krikorian 鼓励读者继续关注 @twittereng ,以了解 Twitter 重构的更多细节。

查看英文原文: Scaling Twitter to New Peaks

2013-09-01 23:112597
用户头像

发布了 256 篇内容, 共 94.7 次阅读, 收获喜欢 12 次。

关注

评论

发布
暂无评论
发现更多内容

对话核心开发者,波卡的EVM+最新技术分享活动回顾

One Block Community

区块链 Substrate EVM 波卡

C++11 智能指针之shared_ptr<void>

轻口味

c++ android 4月月更

前端食堂技术周刊第 32 期:2022 年 3 月 TC39 会议、Rome Formatter、Node 内置 Test Runner

童欧巴

JavaScript 程序员 前端 web前端

订单管理系统(OMS)搭建实战 - 低代码拖拽定制订单管理系统

蒋川

低代码 低代码开发 低代码平台 订单系统 订单管理系统

MariaDB 的自增字段 AUTO_INCREMENT 字段

HoneyMoose

CRMEB多商户后台前端代码打包并更新打包的代码到项目里面教程详解

CRMEB

怒肝 JavaScript 数据结构 — 栈篇(二)

杨成功

数据结构 4月月更

Hoo虎符研究院|一图了解币圈后浪Magic Eden

区块链前沿News

虎符研究院

自己动手写Docker系列 -- 5.3实现logs命令查看容器日志

golang Docker

关于数据湖几个问题详细剖析

五分钟学大数据

数据湖 4月月更

Tomcat:应用加载原理分析

IT巅峰技术

Tomccat

Linux驱动开发-编写NEC红外线协议解码驱动

DS小龙哥

4月月更

音视频&流媒体的原理以及基础入门知识

玩转音视频技术

Linux SRS 音视频开发 流媒体开发

Java 在 IntelliJ IDEA 中提示 set the language level 9

HoneyMoose

架构师作业2

小虾米

架构师实战营

Go 实现 WebSockets:1.什么是 WebSockets

宇宙之一粟

Go 4月月更

基于 HTML+CSS+JS 的纸牌记忆游戏

海拥(haiyong.site)

html 游戏 4月月更

Spring定义BeanDefinition

IT巅峰技术

互联网的下一站,大概率是能源

脑极体

从分层架构到微服务架构(五)之服务化架构

元闰子

架构 从分层架构到微服务架构

C++后端开发进阶学习大纲指南

赖猫

c++

哈希值游戏DAPP开发|区块链哈希值竞猜游戏开发

薇電13242772558

区块链 哈希值

Substrate Builders Program | 了解波卡生态云计算平台与最先进的查询节点框架

One Block Community

区块链 Substrate 波卡

云上MongoDB常见索引问题及最优索引规则大全

MongoDB中文社区

mongodb

焱融看|AI 如何驱动存储发展

焱融科技

云计算 AI 分布式 高性能 文件存储

crmeb Java 项目打包可运行jar文件详细教程

CRMEB

Go 学习笔记——Only For

为自己带盐

Go 4月月更

Redis集群架构剖析(5):复制与故障转移

非晓为骁

主从复制 redis cluster master

设置 Jupyter Notebook 主题

信号量

Python Jupyter Notebook notebook 主题 科学计算

[Day9]-[动态规划]编辑距离

方勇(gopher)

LeetCode 动态规划 数据结构算法

Java 初始化 List 的几种方法

HoneyMoose

扩展Twitter以支撑新负载峰值_SOA_Saul Caganoff_InfoQ精选文章