【QCon】精华内容上线92%,全面覆盖“人工智能+”的典型案例!>>> 了解详情
写点什么

《天空之城》助 Twitter 刷新纪录,新架构功不可没

  • 2013-08-25
  • 本文字数:1461 字

    阅读完需:约 5 分钟

本月,宫崎骏大师的《天空之城》在NTV 迎来其第14 次电视重播,剧情发展到高潮之时,“Blase 祭”也将Twitter 的TPS(Twitters per second)推上了新的高度——143,199 TPS,Twitter 一般每天会发出5 亿多条微博,平均5700 TPS,新纪录是平均值的25 倍。

Twitter 的“大鲸鱼”曾为人津津乐道,每次 Twitter 出现故障都会挂出大鲸鱼,但细心的朋友一定已经注意到“大鲸鱼”的出镜率越来越低了。自 2010 年世界杯后,Twitter 便开始了大刀阔斧的架构重构,如今的 Twitter 早已不再是那个全球最大的基于 Ruby on Rails 的 Web 站点了。Raffi Krikorian 在 Twitter 的官方博客中介绍了新架构是如何应对 14.3 万 TPS 这一高峰的。

在开始重构前,他们为自己定下了三个目标:

  • 新架构能在性能、效率、可靠性上有所突破,即改善用户体验到的延时,减少 10 倍的服务器数量,在故障面前,基础设施能做到故障隔离。
  • 实现一个松耦合的面向服务的模型,鼓励系统级的封装和模块化。
  • 能更快地让新功能发布到线上。

Twitter 曾经是 Rails 的“金字招牌”,发展初期大量使用了 Rails,但后来 Twitter 从 Ruby 转向了 Scala,一度让人们认为 Ruby 的性能问题阻碍了 Twitter 的发展,而 Linkedin Iron.io 从 Ruby 转向其他语言,也加重了大家对 Ruby 性能的顾虑。其实,Ruby 并非幕后真凶,Rails 才是!为了提供一站式的 Web 建站设施,Rails 默认提供了太多的功能,正如范凯在其博客中说的那样:

Rails 适合开发 Website,但不太适合 Web Service,而移动时代的发展趋势就是:未来服务器端会更多的使用 Web Service 而不是 Website,这也意味着 Rails 将越来越不适合时代的发展。

虽然 Ruby 有点冤,但是 Twitter 却在从 Ruby 到 JVM 的转型中实实在在地得到了好处。Twitter 在 JVM 上实现了它的搜索引擎、流 API 和社交图谱,这让其服务器的吞吐量从每秒处理 200 到 300 个请求提升到了 10000 到 20000 个请求,带来了 10 倍以上的性能提升。

SOA 化也是 Twitter 重构中的重点,从一个庞大的 Ruby 应用拆分为多个相对独立、边界清晰的小系统,专注于各自的服务,服务之间通过 Finagle 实现 RPC 调用。很多知名的互联网站点都有过类似的经历,比如大家所熟知的支付宝和阿里巴巴,支付宝的首席架构师程立就曾在InfoQ 上分享过自己在大规模SOA 系统上的经验;在RPC 框架方面,阿里巴巴也有自己的 Dubbo 框架

存储上,Twitter 对原先的 MySQL 主从结构做了调整,对数据库进行了拆分,在此期间,他们还开发了一系列的框架,比如 Gizzard Snowflake 。淘宝也同样对数据库进行了拆分,大量地分库分表,并且开源了自己的TDDL 框架由此可见,国内外的各大网站当发展到一定规模之后,必然会采取一些类似的措施来保证自己能够进一步发展下去,正所谓“英雄所见略同”。

博文中还提到了监控与开关相关的内容,例如与Finagle 整合在一起的Viz 和 Zipkin ,能方便地对每个请求进行监控。而他们的 Decider 系统集成在 Twitter 的所有服务里,这个系统类似一个开关,能够快速地对功能进行切换,甚至能让某个功能仅为指定百分比的用户提供服务,如此一来,可控的灰度发布就能成为可能。说到功能开关,乔梁曾在介绍百度的持续交付经验时也提到过类似的概念,不过他说的仅是控制特定功能的打开与关闭,显然 Twitter 的 Decider 更胜一筹。

除了这次的博文,Raffi Krikorian 去年在 QConSF 上还专门就 Twitter 的时间线优化做过分享,而著名的 HighScalability.com 上对 Twitter 的新架构也有介绍,如果您对 Twitter 的架构感兴趣,不妨再做进一步的了解,然后将您的体会分享给大家。

2013-08-25 09:374379
用户头像

发布了 135 篇内容, 共 58.5 次阅读, 收获喜欢 43 次。

关注

评论

发布
暂无评论
发现更多内容

对话 BitSail Contributor | 姚泽宇:新生火焰,未来亦可燎原

字节跳动数据平台

大数据 开源 字节跳动 数据引擎

等保堡垒机选择哪个厂家好?咨询电话多少?

行云管家

等保 堡垒机 等级保护

redis.conf 7.0 生产配置详解,全网最全

码哥字节

NoSQL 数据库 redis 底层原理 Redis 7

从TMMI角度谈谈质量度量

老张

软件测试 质量度量

Linux常用命令

代码的路

Linux

​Apache IoTDB UDF 「Sample」的案例与最佳实践

Apache IoTDB

易观:2022年中国产业数字化发展成熟度指数报告

易观分析

数字化 产业 报告

算力攻坚,视频云背后的「硬」核玩家

云布道师

阿里云 视频云

软件测试/测试开发丨Java or Python?测试开发工程师如何选择合适的编程语言?

测试人

Java Python 软件测试 自动化测试 测试开发

长安汽车*IoTDB | 构建1.5亿时间序列车况数据处理方案,查询稳定实现毫秒级返回

Apache IoTDB

NFTScan 与 AlienSwap 达成战略合作伙伴,双方在 NFT 数据层面展开合作

NFT Research

NFT

屡获殊荣|旺链科技亮相2022中国双链年会并喜获佳绩

旺链科技

区块链 区块链技术 双链年会

不写代码就实现了自动化测试,面试官都惊呆了!Apipost的自动化测试功能强烈推荐

徐天

自动化测试 apipost

【HA小知识】DRBD数据不一致怎么办?怎么处理?

行云管家

高可用 ha 高可用软件

跨域:后端工程师最熟悉的陌生“人”

华为云开发者联盟

后端 华为云 跨域 企业号 1 月 PK 榜

亚马逊云科技启示录:创新作帆,云计算的征途是汪洋大海

亚马逊云科技 (Amazon Web Services)

云计算 亚马逊云科技 Builder 专栏

EMQ & IoTDB 联合 Meetup 回顾 | 数据基础设施软件的应用实践分享

Apache IoTDB

Apache IoTDB & SeaTunnel 联合 Meetup | 10月15日 线上直播预约开启!

Apache IoTDB

Apache IoTDB 中的时间精度 | 铁头乔分享

Apache IoTDB

站酷基于服务网格 ASM 的生产实践

阿里巴巴中间件

阿里云 云原生 服务网格

性能再升级,XMeter Cloud专业版正式上线

EMQ映云科技

物联网 IoT 云服务 mqtt 企业号 1 月 PK 榜

软件测试/测试开发 | Jenkins 持续集成体系介绍

测试人

软件测试 持续集成 jenkins 自动化测试 测试开发

pip安装时 fatal error C1083 无法打开包括文件 “io.h” No such file or directory

代码的路

Python

Linux安装tensorflow

代码的路

Linux

Halcon快速入门教程

嵌入式视觉

定位 算子 测量 HALCON 工业智慧视觉

新一代 IT 服务管理平台 DOSM,助力企业数字化转型

云智慧AIOps社区

数字化转型 运维自动化 智能运维 云智慧 IT管理

软件测试/测试开发 | 做到这几点,你也能成为 BAT 的抢手人!

测试人

软件测试 自动化测试 测试开发 测试工程师

如何管理项目干系人?

敏捷开发

项目管理 项目干系人

【碎碎念】下雪了

Firshare

年终总结

软件测试/测试开发 | Jenkins job 机制该如何使用?

测试人

软件测试 jenkins 自动化测试 测试开发

年中盘点 | 2022年,PaaS 再升级

亚马逊云科技 (Amazon Web Services)

PaaS 亚马逊云科技 Builder 专栏

《天空之城》助Twitter刷新纪录,新架构功不可没_SOA_丁雪丰_InfoQ精选文章