Kafka

关注
收录了Kafka频道下的 92 篇内容
Kafka是由Apache软件基金会开发的一个开源流处理平台。
  • 全部
  • 文章
  • 视频
  • 电子书
打造全球最大规模Kafka集群,Uber的多区域灾备实践
打造全球最大规模 Kafka 集群,Uber 的多区域灾备实践

Uber 拥有世界上最大的 Kafka 集群,每天处理数万亿条消息和几个 PB 的数据。

使用Kafka,如何成功迁移SQL数据库中超过20亿条记录?
使用 Kafka,如何成功迁移 SQL 数据库中超过 20 亿条记录?

不同的情况需要不同的解决方案,不过也许有人可以从我们的解决方案中得到一些有价值的见解。

将Kafka作为存储系统
将 Kafka 作为存储系统

我们的解决方案与传统的将 Kafka 作为实时、流式系统的用法不一样。我们成功地将 Kafka 作为存储系统,构建了一个 API,在进行事件恢复时提升了用户体验和数据访问能力。

Delhivery 公司最佳实践剖析:从 Apache Kafka 迁移至 Amazon MSK
Delhivery 公司最佳实践剖析:从 Apache Kafka 迁移至 Amazon MSK

Amazon MSK 能够降低基础设施的维护强度,简化问题的识别与解决,缩短代理维护时间,最终将生产力提升至新的层面。

手淘双11最新实践:PopLayer弹层领域研发模式升级
手淘双 11 最新实践:PopLayer 弹层领域研发模式升级

作为业务支撑方向的中间件,如何为业务提效,将业务的关注重点从开发转向内容运营,助力其完成触达矩阵,成为了一件非常值得探索的事情。

Kafka实时API探秘
Kafka 实时 API 探秘

事件提供了一种“金发姑娘式”的方法,实时 API 可以作为应用程序的基础,既灵活又高性能,既松耦合又高效。Apache Kafka 提供了一个可伸缩的事件流平台,你可以用它来构建强大的基于事件的应用程序。

原理实践,全面讲解Logstash+Kibana+kafka
原理实践,全面讲解 Logstash+Kibana+kafka

前面的时候,我因为后台粉丝的一些问题,整理了一篇文章,将 ELK 三个技术进行详细的讲解,从原理到实践,全面覆盖,但是因为篇幅原因,我分成了两篇进行整理,上篇主讲 ES,文章链接在这里:熬夜不睡觉整理 ELK 技术文档,从此摆脱靠百度的工作(附源码)

Pulsar 和 Kafka 基准测试:哪个性能更优?
Pulsar 和 Kafka 基准测试:哪个性能更优?

企业必须首先了解不同事件流系统的优势和差异,才能选出与其业务需求最匹配的技术。

Java 程序员说:世界上有三个伟大的发明【火、轮子、kafka】

有人说世界上有三个伟大的发明:火,轮子,以及 Kafka。

最新性能测试:Kafka、Pulsar 和 Pravega 哪个最强?
最新性能测试:Kafka、Pulsar 和 Pravega 哪个最强?

Pravega 读写性能评估

解惑“高深”的 Kafka 时间轮原理,原来也就这么回事!

【摘要】 Kafka 时间轮是 Kafka 实现高效的延时任务的基础,它模拟了现实生活中的钟表对时间的表示方式,同时,时间轮的方式并不仅限于 Kafka,它是一种通用的时间表示方式,本文主要介绍 Kafka 中的时间轮原理。

时间轮在Kafka的实践
时间轮在 Kafka 的实践

时间轮是一个应用场景很广的组件,在很多高性能中间件中都有它的身影,如 Netty、Quartz、Akka,当然也包括 Kafka,本文主要介绍时间轮在 kafka 的应用和实战,从核心源码和设计的角度对时间轮进行深入的讲解 。

云原生时代企业如何构建流数据平台 | InfoQ 公开课
云原生时代企业如何构建流数据平台 | InfoQ 公开课

视频内容:流数据在企业中往往扮演着重要的角色,是实时数据分析的基础。随着企业对数据质量,对数据分析实时性的重视程度的不断提高,企业对流数据的存储需求也越来越高。

消息队列之事务消息,RocketMQ 和 Kafka 是如何做的?
消息队列之事务消息,RocketMQ 和 Kafka 是如何做的?

分布式事务之事务消息,RocketMQ 和 Kafka 是如何实现的?

Kafka和RocketMQ底层存储之那些你不知道的事
Kafka 和 RocketMQ 底层存储之那些你不知道的事

RokcetMQ 与 Kafka 底层存储的那些事儿

在 AWS 上运行 Apache Kafka 的最佳实践
在 AWS 上运行 Apache Kafka 的最佳实践

本文介绍 AWS 上运行 Apache Kafka 的实践经验。

基于Kafka Connect的流数据同步服务实现和监控体系搭建
基于 Kafka Connect 的流数据同步服务实现和监控体系搭建

本文介绍基于 Kafka Connect 的流数据同步服务实现和监控体系搭建经验。

Kafka 是如何建模数据的?
Kafka 是如何建模数据的?

本文首先介绍 Kafka 诞生的时代背景以及诞生之初的设计目标,随后回答 Kafka 作为一个消息系统是如何建模数据的,最后讲解 Kafka 作为一个软件系统的架构,为有志于深入了解的 Kafka 的同学做一个简单的框架梳理。

一文带你了解 Kafka 原理
一文带你了解 Kafka 原理

如果只是为了开发 Kafka 应用程序,或者只是在生产环境使用 Kafka,那么了解 Kafka 的内部工作原理不是必须的。不过,了解 Kafka 的内部工作原理有助于理解 Kafka 的行为,也利用快速诊断问题。下面我们来探讨一下这三个问题

Kafka系列8:一网打尽常用脚本及配置,宜收藏落灰!
Kafka 系列 8:一网打尽常用脚本及配置,宜收藏落灰!

一文总结常用脚本命令及常用配置

Flink 完美搭档:数据存储层上的 Pravega
Flink 完美搭档:数据存储层上的 Pravega

本文将从大数据架构变迁历史,Pravega 简介,Pravega 进阶特性以及车联网使用场景这四个方面介绍 Pravega,重点介绍 DellEMC 为何要研发 Pravega,Pravega 解决了大数据处理平台的哪些痛点以及与 Flink 结合会碰撞出怎样的火花。

Kafka系列第7篇:你必须要知道集群内部工作原理的一些事!
Kafka 系列第 7 篇:你必须要知道集群内部工作原理的一些事!

Partition 如何分布到不同的 Broker 上,Broker 宕机 Partition 依然可用背后的原理介绍。

Kafka系列第6篇:消息是如何在服务端存储与读取的,你真的知道吗?
Kafka 系列第 6 篇:消息是如何在服务端存储与读取的,你真的知道吗?

消息存储也就那点事儿,你确定不需要了解一下吗?

我们为什么从Kafka迁移至Pulsar?
我们为什么从 Kafka 迁移至 Pulsar?

Apache Pulsar 迁移实践。

Kafka权威指南(三):Kafka起源故事
Kafka 权威指南(三):Kafka 起源故事

本文节选自图灵程序设计丛书 《Kafka 权威指南》一书中的部分章节。

Kafka权威指南(二):为什么选择Kafka
Kafka 权威指南(二):为什么选择 Kafka

本文节选自图灵程序设计丛书 《Kafka 权威指南》一书中的部分章节。

Kafka权威指南(一):初识Kafka
Kafka 权威指南(一):初识 Kafka

本文节选自图灵程序设计丛书 《Kafka 权威指南》一书中的部分章节。

架构的百年大计
架构的百年大计

本文讲述了关于知识共享、师徒制和构建(及改造)系统的方方面面。

    IJKPlayer的前世今生
    IJKPlayer的前世今生

    郑翰超 | bilibili 资深开发工程师

    立即下载
    “云原生”趋势下的架构演进

    蔡超 | Mobvista 技术VP兼首席架构师

    立即下载
    从神经网络到硬件,昇腾开发工具链全流程应用实践

    谭涛 | 华为 昇腾AI工程师

    立即下载