AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

LinkedIn 的 Kafka 生态

  • 2016-05-31
  • 本文字数:2888 字

    阅读完需:约 9 分钟

Apache Kafka 是一个高度可扩展的消息系统,在 LinkedIn 的中心数据管道中扮演着关键角色。LinkedIn 早在 2010 年就开发了 Kafka,现在每天在 1400 个节点上处理超过 1.4 万亿条消息。Kafka 的高稳定性低延迟,使我们能够使用Kafka 支撑LinkedIn 的许多新的关键任务用例,包括在 Espresso 中使用基于 Kafka 的副本取代 MySQL 副本, Venice 以及支撑下一代的 Databus (正在开发中)。

随着 Kafka 的使用率持续的快速增长,我们必须尽可能的解决一些重大问题,所以我们围绕 Kafka 开发了一个完整的生态系统。本文中,我会总结我们的一些解决方案,能够对正在使用 Kafka 的人有一些帮助,并强调几个活动预告,能让你学到更多。

(点击放大图像)

上图并不能完全反映LinkedIn 的各种数据管道和拓扑结构,但足以说明LinkedIn 的Kafka 部署的关键部分,以及他们是怎样相互作用。

Kafka 核心服务

Kafka 代理者

我们在每个数据中心,为了不同的目的运行了多个 Kafka 代理者集群。在目前的开发环境中,有将近 1400 个代理者每周接收超过 2PB 的数据。通常大约每个季度我们会复制 Apache Kafka 的主干,裁剪出一个新的内部发行版。

Kafka 镜像制造者

镜像制造者让我们可以通过从源集群消费,然后生产到目的集群来制造副本。有许多镜像管道同时运行在数据中心内和跨数据中心。 Todd Palino 的文章总结了我们怎样使用它来方便 Kafka 的不同组成。

模式注册中心

在 LinkedIn,我们使用标准化的 Avro 作为我们数据管道的通用语言。所以每个生产者编码 Avro 数据,注册 Avro 模式到模式注册中心,并在每条序列化的消息中内置一个模式 ID。消费者为了反序列化 Avro 消息,从模式注册中心服务获取 ID 对应的模式。虽然有多个模式注册中心实例跨越我们的数据中心,但有一个单一的(已复制)包含这些模式的数据库支持。

Kafka REST 代理

Kafka REST 是一个为非 Java 客户端提供的 HTTP 代理。我们的大多数 Kafka 集群都有一个关联的 REST 代理。Kafka REST 也可以作为一个官方服务用于主题上的管理操作。

Nuage

Kafka 在大部分情况下是自助服务的:用户定义自己的事件模式,然后开始生产数据到主题中;Kafka 代理者使用默认配置和分区数自动创建主题;最后,任何一个消费者可以消费主题,使得 Kafka 完全的开放访问。

随着 Kafka 的使用率上升和新用例出现,在上述方式中显然存在很多限制。首先,一些主题需要定制配置,对 Kafka SREs 有特殊的要求;其次,对于大多数用户,很难发现和检查自己主题的元数据(例如,比特率、审计完整性、模式历史等);最后,随着 Kafka 加入各种各样的安全特性,一些主题所有者可能想要限制访问他们的主题,并且自己管理 ACLs。

在 LinkedIn, Nuage 作为在线数据基础设施资源的自助服务入口,我们最近和 Nuage 团队一起工作,为 Nuage 添加内置的 Kafka 支持。这为用户管理自己的主题和关联元数据提供了便利。Nuage 委托 CRUD 操作给 Kafka REST,这样抽象了 Kafka 管理工具的细微差别。

LiKafka 客户端库

LiKafka 生产者封装了开源的生产者,同样做了模式注册、Avro 编码、审计,并且支持大消息。审计事件计算10 分钟内发送给每个主题的事件数。同样地,它的消费者封装了开源的消费者,并做了模式查找、Avro 解码和审计。

Kafka 推送作业

Kafka 推送作业用来从 Hadoop 运送压缩数据到 Kafka 中给在线服务消费。推送作业运行在我们的 CORP 环境的 Hadoop 集群中,生产数据到 CORP 数据部署 Kafka 集群中。一个镜像制造者复制这些数据到 PROD 数据部署集群中。

Gobblin

Gobblin 是 LinkedIn 的新集成框架,替代 Camus 。它本质上是一个大型的 Hadoop 作业,用来复制 Kafka 中的所有数据到 Hadoop 中进行离线处理。

监控服务

Kafka 监控

这是一个持续运行的用于 Kafka 部署的测试集,用来验证新版本和监控目前的部署。目前我们监控基本但是重要的指标,比如端到端延时和数据丢失。未来我们想使用这个框架在测试集群中持续测试管理操作(比如分区再分配)的正确性,甚至利用错误注入框架,比如 Simoorg ,来确保我们即使在许多故障的情况下也能够满足可用性 SALs。

Kafka 审计

在我们的审计跟踪基础设施中,有两个关键组件:

  1. Kafka 审计服务,消费并重新计算 Kafka 集群中的所有数据,然后发送类似的审计事件到跟踪的生产者。这允许我们使 Kafka 集群生产者计算的数量保持一致,并发现是否有数据丢失。
  2. Kafka 审计验证服务,持续监控数据完整性,并提供一个可视化的审计跟踪的用户界面。这个服务消费并插入审计事件到审计数据库中,当数据延迟或者丢失时发出警告。我们使用审计数据库来调查发生的警告,并精确定位数据在哪丢失。

(点击放大图像)

Burrow

Burrow 是一个优雅的解决监控 Kafka 消费者健康这个棘手问题的方案,为消费者状态提供了一个完整的视图。它提供一个不需要指定阈值的消费者延迟检测服务,监控主题-分区粒度的所有消费者的提交偏移,并计算需要的消费者状态。

LinkedIn 的流处理

Samza 是 LinkedIn 的流处理平台,让用户尽快的启动他们的流处理作业并在生产环境中运行。流处理领域一直很活跃,有许多类似的开源项目。不像其他的流处理系统专注于广泛的功能集,我们专注于让 Samza 可靠、高性能和可扩展。现在我们在很多生产环境中运行,所以我们可以将注意力转向扩大功能集。早先的博客文章深入研究了我们的生产环境场景,围绕相关性、分析、站点监控、安全等,以及我们正在研究的大量新功能。

活动预告

如果你有兴趣学习更多关于我们的 Kafka 生态系统,我们怎样部署以及故障排除,我们的最新特性/用例,我们邀请你参加这些即将到来的演讲:

我们希望在那里见到你!


感谢杜小芳对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

2016-05-31 17:289021

评论

发布
暂无评论
发现更多内容

网络审计:为什么定期检查您的网络很重要

天翼云开发者社区

云计算 网络安全 网络审计

基于开源IM即时通讯框架MobileIMSDK:RainbowChat v11.5版已发布

JackJiang

网络编程 即时通讯 IM

中国服装品牌商品计划管理系统落地难题探究

第七在线

面试,有时候是个运气活

老张

面试 求职

2024-04-17:用go语言,欢迎各位勇者莅临力扣城,本次的挑战游戏名为「力扣泡泡龙」。 游戏的起点是一颗形状如二叉树的泡泡树,其中每个节点的值代表该泡泡的分值。勇者们有一次机会可以击破一个节点泡

福大大架构师每日一题

福大大架构师每日一题

【PolarDB-X从入门到精通】 第五讲:PolarDB集中式版安装部署(源码编译部署)

阿里云数据库开源

阿里云 技术学习 polarDB 技术干货 PolarDB-X

免费在线OCR识别工具TextIn Tools,开启智能学习新时代

合合技术团队

合合信息 OCR识别 文字处理 扫描全能王

简单了解国密与信创的四大关系-行云管家

行云管家

信创 数据安全 国产化 国密

Advanced RAG 03:运用 RAGAs 与 LlamaIndex 评估 RAG 应用

Baihai IDP

AI LLM 企业号 4 月 PK 榜 rag 检索增强生成

揭秘APP自动化测试中弹窗异常处理的技术要点!

测吧(北京)科技有限公司

测试

Apache Doris 2.1.2 版本正式发布!

SelectDB

数据库 大数据 开源 实时数仓 Doris

深度解读《深度探索C++对象模型》之拷贝构造函数

爱分享

c++ C++对象模型 C++拷贝构造函数 C++虚函数 C++虚继承

使用 Docker 部署 instantbox 轻量级 Linux 系统

不在线第一只蜗牛

Docker Linux 容器

如何爬出Kotlin协程死锁的坑?

阿里技术

Java kotlin 协程死锁

阻碍团队使用工具的原因竟然是……

BY林子

审计 度量

盘点|《数据安全法》的62项配套「国家标准」(附下载)

极盾科技

数据安全

再获权威认可!天翼云论文被IEEE/ACM CCGrid收录

天翼云开发者社区

云计算 私有云 云网关

比特币L2项目主网密集上线:新业态背后的挑战与机遇

区块链软件开发推广运营

dapp开发 区块链开发 链游开发 NFT开发 公链开发

揭秘APP自动化测试中弹窗异常处理的技术要点

测试人

App 软件测试 自动化测试 测试开发 弹窗

利用1688.item_get API接口,快速定位智能手表新品,商品ID一键获取

技术冰糖葫芦

api 货币化 API 测试 pinduoduo API

【活动报名】WorkPlus AI助理沙龙——把AI装进企业,企业级AI落地场景分享

BeeWorks

深蓝互动将启动《重返未来:1999》鸿蒙原生应用开发

最新动态

DTC2024,华为云数据库创新融合大发展,打造世界级数据库!

华为云开发者联盟

数据库 华为云 华为云数据库 华为云开发者联盟 企业号2024年4月PK榜

云主机AI服务的性能测试和优化

天翼云开发者社区

云计算 AI 云服务 云主机

数据相关术语、英文翻译以及定义汇总看这里!

行云管家

数据 数据安全 企业数据

LinkedIn 的Kafka 生态_语言 & 开发_覃璐_InfoQ精选文章