Kafka

Kafka是由Apache软件基金会开发的一个开源流处理平台。
收录了Kafka频道下的 49 篇内容
  • 文章
记一次Kafka集群的故障恢复
记一次 Kafka 集群的故障恢复

1、kafka 集群所用版本 0.9.0.1 2、集群部署了实时监控: 通过实时写入数据来监控集群的可用性, 延迟等 ;

Knative 实战:基于 Kafka 实现消息推送
Knative 实战:基于 Kafka 实现消息推送

本文介绍如何基于 Kafka 实现消息推送。

LinkedIn定制Kafka,每天处理7万亿条消息
LinkedIn 定制 Kafka,每天处理 7 万亿条消息

Apache Kafka 是 LinkedIn 基础设施的核心组件,最初是作为内部流式处理平台而诞生的,后来被开源出来,并得到了外部的广泛采用。截止到目前,LinkedIn 的 Kafka 集群每天处理的消息数量超过了 7 万亿条。

腾讯云Kafka高可控运营背后的开发实践
腾讯云 Kafka 高可控运营背后的开发实践

我是腾讯技术架构部的工程师杨原,今天我给大家分享的题目是腾讯云 Kafka 自动化运营实践,主要想跟大家分享一下我们在运营 Kafka 过程中遇到的一些问题,那么我们是怎么去解决这个问题的?

Redis Streams,Redis Pub/Sub和Kafka比较,同步和异步通信该选谁?
Redis Streams,Redis Pub/Sub 和 Kafka 比较,同步和异步通信该选谁?

我们来谈谈通信工具和模式。RabbitMQ)之外,我们现在有了另一种通信模式可供选择。在本文中,我将指导您了解各种通信模式的定义特征,并简要介绍用于实现每种模式的最常用工具。

如何离线分析Kafka海量业务消息?
如何离线分析 Kafka 海量业务消息?

说起 Kafka,许多使用者对它是又爱又恨。Kafka 是一种分布式的、基于发布 / 订阅的消息系统,其极致体验让人欲罢不能,但操心的运维、复杂的安全策略、可靠性易用性的缺失等,仍需要使用者付出诸多的背后工作。

谁是性能杀手?Kafka多Topic下启用SSL时延增大问题分析
谁是性能杀手?Kafka 多 Topic 下启用 SSL 时延增大问题分析

项目中将 Kafka 接口进行 RESTful 封装,在使用 RESTful 接口进行性能测试时,发现 Topic 数增多后,开启 SSL 与非 SSL 进行测试,发现开启 SSL 后性能下降得厉害。

Kafka实战:如何把Kafka消息时延秒降10倍(上)
Kafka 实战:如何把 Kafka 消息时延秒降 10 倍(上)

国内某大型税务系统,业务应用分布式上云改造。如上图所示是模拟客户的业务网页构建的一个并发访问模型。Thread)调用 Kafka 的 SDK 接口,并发送 3 条消息到 DMS(分布式消息服务),每条消息大小 3k,需要等待 3 条消息都被处理完成后才会返回请求响应⑧。

Kafka-Clients源码学习:KafkaProducer篇
Kafka-Clients 源码学习:KafkaProducer 篇

本文基于 Kafka-clients:1.1.0 版本,分享了 Kafka-Clients 源码学习:KafkaProducer 篇。

【干货】Kafka 事务特性分析(上)
【干货】Kafka 事务特性分析(上)

消息事务是指一系列的生产、消费操作可以要么都完成,要么都失败,类似数据库的事务。这个特性在 0.10.2 的版本是不支持的,从 0.11 版本开始才支持。

【干货】Kafka 事务特性分析(下)
【干货】Kafka 事务特性分析(下)

为了支持事务,Kafka 0.11.0 版本引入以下概念:Coordinator)。Topic 作为事务 Log:类似于消费管理 Offset 的 Topic,事务 Topic 本身也是持久化的,日志信息记录事务状态信息,由事务协调者写入。

Kafka无法消费,究竟是bug的错还是配置的问题?
Kafka 无法消费,究竟是 bug 的错还是配置的问题?

在一个月黑风高的夜晚,突然收到现网生产环境 Kafka 消息积压的告警,梦中惊醒啊,马上起来排查日志。Coordinator 为何物?