写点什么

Twitter 已经用 Heron 替换了 Storm

  • 2015-06-15
  • 本文字数:944 字

    阅读完需:约 3 分钟

Twitter 已经用 Heron 替换了 Storm。此举将吞吐量最高提升了 14 倍,单词计数拓扑时间延迟最低降到了原来的 1/10,所需的硬件减少了 2/3。

Twitter 使用 Storm 实时分析海量数据已经有好几年了,并在 2011 年将其开源。该项目稍后开始在 Apache 基金会孵化,并在去年秋天成为顶级项目。Storm 以季度为发布周期,现在已经达到了 0.9.5 版本,并且正在向着人们期望的 1.0 稳定版前进。但一直以来,Twitter 都在致力于开发替代方案 Heron,因为 Storm 无法满足他们的实时处理需求。

Twitter 的新实时处理需求包括:“每分钟数十亿的事件;大规模处理具有次秒级延迟和可预见的行为;在故障情况下,具有很高的数据准确性;具有很好的弹性,可以应对临时流量峰值和管道阻塞;易于调试;易于在共享基础设施中部署。” Karthik Ramasamy 是 Twitter Storm/Heron 团队的负责人。据他介绍,为满足这些需求,他们已经考虑了多个选项:增强 Storm、使用一种不同的开源解决方案或者创建一个新的解决方案。增强 Storm 需要花费很长时间,也没有其它的系统能够满足他们在扩展性、吞吐量和延迟方面的需求。而且,其它系统也不兼容 Storm 的 API,需要重写所有拓扑。所以,最终的决定是创建 Heron,但保持其外部接口与 Storm 的接口兼容。

拓扑部署在一个 Aurora 调度器上,而后者将它们作为一个由多个容器(cgroups)组成的任务来执行:一个 Topology Master、一个 Stream Manager、一个 Metrics Manager(用于性能监控)和多个 Heron 实例 (spouts 和 bolts)。拓扑的元数据保存在 ZooKeeper 中。处理流程通过一种反压机制实现调整,从而控制流经拓扑的数据量。除 Aurora 外,Heron 还可以使用其它服务调度器,如 YARN 或 Mesos。实例运行用户编写的 Java 代码,每个实例一个 JVM。Heron 通过协议缓冲处理彼此间的通信,一台机器上可以有多个容器。(要了解更多关于 Heron 内部架构的细节信息,请阅读论文《 Twitter Heron:大规模流处理》。)

Twitter 已经用 Heron 完全替换了 Storm。前者现在每天处理“数 10TB 的数据,生成数 10 亿输出元组”,在一个标准的单词计数测试中,“吞吐量提升了 6 到 14 倍,元组延迟降低到了原来的五到十分之一”,硬件减少了 2/3。

当被问到 Twitter 是否会开源 Heron 时,Ramasamy 说“在短时间内不会,但长期来看可能。”

2015-06-15 13:409280
用户头像

发布了 1008 篇内容, 共 423.6 次阅读, 收获喜欢 346 次。

关注

评论

发布
暂无评论
发现更多内容

你需要用战略耐心实现职业目标

石云升

读书笔记 11月日更

阿里巴巴数据中心获两项DCD大奖

阿里技术

Apache再次接受阿里开源产品捐赠 移动开发框架Weex进入孵化

阿里技术

不会用Camtasia的“库”,你可能错过了一个亿

淋雨

Camtasia

超强实时跟踪系统首次开源!支持跨镜头、多类别、小目标跟踪!

百度大脑

人工智能 人工智能摄像头

使用redis生成唯一编号

喵叔

11月日更

网络监控原理

喀拉峻

网络安全 安全 网络

阿里CTO张建锋:一根高尔夫球杆背后的数据智能[演讲全文]

阿里技术

应运而生! 双11当天处理数据5PB—HiStore助力打造全球最大列存储数据库

阿里技术

阿里科学家凭集成学习技术获CIKM Cup竞赛冠军

阿里技术

普华永道:阿里巴巴研发投入领跑中国上市公司

阿里技术

Rust 元宇宙 1 —— 创世纪

Miracle

rust 元宇宙

天猫技术全面打造『身临其境』的消费者交互体验

阿里技术

花了2个钟才搞懂这AOP为啥没生效,水友却睡着了……

4ye

Java spring 程序员 后端 签约计划第二季

王坚:世界上最遥远的距离是红绿灯与交通监控摄像头的距离

阿里技术

阿里巴巴Aliware十年微服务架构演进历程中的挑战与实践

阿里技术

马云:“电子商务”将消失 新五通一平将引领未来

阿里技术

Rust 元宇宙 2 — 邻居

Miracle

rust 元宇宙

Rust 元宇宙 4 —— 让世界动起来

Miracle

rust 元宇宙

Rust 元宇宙 5 —— SDL2.0

Miracle

rust SDL 元宇宙

新零售时代的双11移动技术亮剑 ——2016年阿里移动平台新技术解读

阿里技术

直播预告丨“Hello ArkUI:初识Slider组件(JS)”周三约起

HarmonyOS开发者

HarmonyOS

Rust 元宇宙 3 —— 进入和离开

Miracle

rust 元宇宙

阿里研究员毕玄谈应用运维体系的变迁,DevOPS是大势所趋

阿里技术

百度ERNIE新突破!登顶中文医疗信息处理权威榜单CBLUE冠军

百度大脑

人工智能

阿里巴巴服务网格技术三位一体战略背后的思考与实践

阿里巴巴云原生

阿里云 云原生 服务网格 三位一体

当学霸们跑步的时候他们在跑什么

阿里技术

最前沿人工智能,助力双11搜索推荐技术再升级——深度增强学习大规模在线应用

阿里技术

[干货] Weex在双11会场的大规模应用:业务支撑、稳定性保障和秒开实战

阿里技术

Rust 元宇宙 6 —— 显示世界

Miracle

rust SDL 元宇宙

2016年双11:新技术、新能源的第一战场

阿里技术

Twitter已经用Heron替换了Storm_大数据_Abel Avram_InfoQ精选文章