写点什么

Kafka 权威指南(三):Kafka 起源故事

2020 年 3 月 31 日

Kafka权威指南(三):Kafka起源故事

编者按:本文节选自图灵程序设计丛书 《Kafka 权威指南》一书中的部分章节。


起源故事

Kafka 是为了解决 LinkedIn 数据管道问题应运而生的。它的设计目的是提供一个高性能的消息系统,可以处理多种数据类型,并能够实时提供纯净且结构化的用户活动数据和系统度量指标。


数据为我们所做的每一件事提供了动力。

——Jeff Weiner,LinkedIn CEO


LinkedIn 的问题

本章开头提到过,LinkedIn 有一个数据收集系统和应用程序指标,它使用自定义的收集器和一些开源工具来保存和展示内部数据。除了跟踪 CPU 使用率和应用性能这些一般性指标外,LinkedIn 还有一个比较复杂的用户请求跟踪功能。它使用了监控系统,可以跟踪单个用户的请求是如何在内部应用间传播的。不过监控系统存在很多不足。它使用的是轮询拉取度量指标的方式,指标之间的时间间隔较长,而且没有自助服务能力。它使用起来不太方便,很多简单的任务需要人工介入才能完成,而且一致性较差,同一个度量指标的名字在不同系统里的叫法不一样。


与此同时,我们还创建了另一个用于收集用户活动信息的系统。这是一个 HTTP 服务,前端的服务器会定期连接进来,在上面发布一些消息(XML 格式)。这些消息文件被转移到线下进行解析和校对。同样,这个系统也存在很多不足。XML 文件的格式无法保持一致,而且解析 XML 文件非常耗费计算资源。要想更改所创建的活动类型,需要在前端应用和离线处理程序之间做大量的协调工作。即使是这样,在更改数据结构时,仍然经常出现系统崩溃现象。而且批处理时间以小时计算,无法用它完成实时的任务。


监控和用户活动跟踪无法使用同一个后端服务。监控服务太过笨重,数据格式不适用于活动跟踪,而且无法在活动跟踪中使用轮询拉取模型。另一方面,把跟踪服务用在度量指标上也过于脆弱,批处理模型不适用于实时的监控和告警。不过,好在数据间存在很多共性,信息(比如特定类型的用户活动对应用程序性能的影响)之间的关联度还是很高的。特定类型用户活动数量的下降说明相关应用程序存在问题,不过批处理的长时间延迟意味着无法对这类问题作出及时的反馈。


最开始,我们调研了一些现成的开源解决方案,希望能够找到一个系统,可以实时访问数据,并通过横向扩展来处理大量的消息。我们使用 ActiveMQ 创建了一个原型系统,但它当时还无法满足横向扩展的需求。LinkedIn 不得不使用这种脆弱的解决方案,虽然 ActiveMQ 有很多缺陷会导致 broker 暂停服务。客户端的连接因此被阻塞,处理用户请求的能力也受到影响。于是我们最后决定构建自己的基础设施。


Kafka 的诞生

LinkedIn 的开发团队由 Jay Kreps 领导。Jay Kreps 是 LinkedIn 的首席工程师,之前负责分布式键值存储系统 Voldemort 的开发。初建团队成员还包括 Neha Narkhede,不久之后, Jun Rao 也加入了进来。他们一起着手创建一个消息系统,可以同时满足上述的两种需求,并且可以在未来进行横向扩展。他们的主要目标如下:


  • 使用推送和拉取模型解耦生产者和消费者;

  • 为消息传递系统中的消息提供数据持久化,以便支持多个消费者;

  • 通过系统优化实现高吞吐量;

  • 系统可以随着数据流的增长进行横向扩展。


最后我们看到的这个发布与订阅消息系统具有典型的消息系统接口,但从存储层来看,它更像是一个日志聚合系统。Kafka 使用 Avro 作为消息序列化框架,每天高效地处理数十亿级别的度量指标和用户活动跟踪信息。LinkedIn 已经拥有超过万亿级别的消息使用量(截止到 2015 年 8 月),而且每天仍然需要处理超过千万亿字节的数据。


走向开源

2010 年底,Kafka 作为开源项目在 GitHub 上发布。2011 年 7 月,因为倍受开源社区的关注,它成为 Apache 软件基金会的孵化器项目。2012 年 10 月,Kafka 从孵化器项目毕业。从那时起,来自 LinkedIn 内部的开发团队一直为 Kafka 提供大力支持,而且吸引了大批来自 LinkedIn 外部的贡献者和参与者。现在,Kafka 被很多组织用在一些大型的数据管道上。2014 年秋天,Jay Kreps、Neha Narkhede 和 Jun Rao 离开 LinkedIn,创办了 Confluent。 Confluent 是一个致力于为企业开发提供支持、为 Kafka 提供培训的公司。这两家公司连同来自开源社区持续增长的贡献力量,一直在开发和维护 Kafka,让 Kafka 成为大数据管道的不二之选。


命名

关于 Kafka 的历史,人们经常会问到的一个问题就是,Kafka 这个名字是怎么想出来的,以及这个名字和这个项目之间有着怎样的联系。对于这个问题,Jay Kreps 解释如下:


我想既然 Kafka 是为了写数据而产生的,那么用作家的名字来命名会显得更有意义。我在大学时期上过很多文学课程,很喜欢 Franz Kafka。况且,对于开源项目来说,这个名字听起来很酷。因此,名字和应用本身基本没有太多联系。


图书简介https://www.ituring.com.cn/book/2067



相关阅读


Kafka权威指南(一):初识Kafka


Kafka权威指南(二):为什么选择Kafka


2020 年 3 月 31 日 10:001415

评论

发布
暂无评论
发现更多内容

架构师训练营——食堂就餐卡系统设计

养乐多

第1周 学习总结

安阳

week01总结

seki

极客大学架构师训练营

架构师训练营第一周学习总结

常江舟

极客大学架构师训练营

食堂就餐卡设计说明书

第一周作业一:食堂就餐卡系统设计

田振宇

架构师0期第一周作业(总结)

何伟敏

【总结】架构师如何做架构

小胖子

架构师训练营0期Week1总结

theivanxu

架构师训练营——第一周总结

Andy风

架构师训练营作业一:食堂就餐卡系统设计

常江舟

极客大学架构师训练营

食堂就餐卡系统设计

Arthur.Li

极客大学架构师训练营 UML

食堂就餐系统

安阳

架构师训练营——第一周总结

养乐多

就餐卡系统设计

小胖子

架构方法

shangyu

极客大学架构师训练营

极客时间-作业一-学习总结

刘柯

食堂就餐卡系统设计文档

秤须苑

极客大学架构师训练营

架构方法:架构师如何做架构

【架构课作业-第一周】食堂就餐卡系统设计

Nelson

极客大学架构师训练营

架构师训练营-食堂就餐卡系统设计

架构文档

Week 01 食堂饭卡系统设计

Geek_165f3d

架构师训练营第一周【学习总结】

小K

极客大学架构师训练营

食堂就餐卡系统设计 - 简陋版

X﹏X

《第一章:架构师如何做架构》总结

尔东雨田

极客大学架构师训练营

架构师课程学习第一周心得

秤须苑

极客大学架构师训练营

【第一周作业】食堂就餐卡系统设计

黑莓

如何让自己有机会成为一名架构师?

kk

极客大学架构师训练营

架构师第一周上课总结

种个大西瓜

第一周:架构方法-架构师如何做架构学习总结

DZ

week01作业

seki

打造 VUCA 时代的 10 倍速 IT 团队

打造 VUCA 时代的 10 倍速 IT 团队

Kafka权威指南(三):Kafka起源故事-InfoQ