Kafka

关注
收录了Kafka频道下的 106 篇内容
Kafka是由Apache软件基金会开发的一个开源流处理平台。
  • 全部
  • 文章
  • 视频
  • 电子书
Uber数据科学工作台的演变史
Uber 数据科学工作台的演变史

本文将对近三年来数据科学工作台的发展进行回顾和总结。

数据迁移同步平台CloudCanal免费社区版正式发布
数据迁移同步平台 CloudCanal 免费社区版正式发布

这次社区版的发布花了近 2 年时间准备,将免费开放并持续维护。同时,官方透露 CloudCanal 内核未来会开源,相关工作正在准备阶段。

简单的Kafka:没有ZooKeeper的Kafka
简单的 Kafka:没有 ZooKeeper 的 Kafka

KIP-500 代码的早期访问已经提交到 trunk,预计将包括在即将发布的 2.8 版本中。

实时数据仓库的发展、架构和趋势
实时数据仓库的发展、架构和趋势

随着实时计算引擎的不断发展以及业务对于实时报表的产出需求不断膨胀,业界最近几年就一直聚焦并探索于两个相关的热点问题:实时数仓建设和大数据架构的批流一体建设。

Uber大型实时数据智能平台建设
Uber 大型实时数据智能平台建设

Gairos 是 Uber 的实时数据处理、存储和查询平台,旨在推动大规模、高效率的数据探索。

你可能用错了kafka的重试机制
你可能用错了 kafka 的重试机制

Apache Kafka 有很多强大的特性,在使用它的过程中也需要小心很多潜在的陷阱

如何使用Kafka、MongoDB和Maxwell’s Daemon构建SQL数据库的审计系统
如何使用 Kafka、MongoDB 和 Maxwell’s Daemon 构建 SQL 数据库的审计系统

在本文中,作者讨论了在传统内置的数据副本之外,实现数据库审计日志系统的重要性,并给出了使用 Kafka、MongoDB 和 Maxwell's Daemon 构建审计日志系统的方案。

基于Kafka技术栈构建和部署实时搜索引擎的实践
基于 Kafka 技术栈构建和部署实时搜索引擎的实践

实现强大的搜索能力——从设计决策到幕后的一切

Pulsar 和 Kafka 基准测试报告(下)
Pulsar 和 Kafka 基准测试报告(下)

为了更全面地了解 Pulsar 和 Kafka,本文“复现”了 Confluent 对 Pulsar 和 Kafka 基准测试,并对测试方法进行了改进。

Pulsar 和 Kafka 基准测试报告(上)
Pulsar 和 Kafka 基准测试报告(上)

为了更全面地了解 Pulsar 和 Kafka,本文“复现”了 Confluent 对 Pulsar 和 Kafka 基准测试,并对测试方法进行了改进。

3 分钟带你了解「消息中间件」Kafka、RocketMQ

消息中间件的应用场景 异步解耦 削峰填谷 顺序收发 分布式事务一致性 腾讯应用案例:

Logi-KafkaManager开源之路:一站式Kafka集群指标监控与运维管控平台
Logi-KafkaManager 开源之路:一站式 Kafka 集群指标监控与运维管控平台

LogI-KafkaManager 是面向 Kafka 用户、Kafka 运维人员打造的共享多租户 Kafka 云平台,专注于 Kafka 资源申请、运维管控、监控告警、资源治理等核心场景。免费体验地址:http://117.51.150.133:8080/kafka ,账户 admin/admin,欢迎 Star

CTO观点:如何为企业选择合适的消息系统?
CTO 观点:如何为企业选择合适的消息系统?

本文以三个实际使用场景为例,从 CTO 的视角出发,在技术等方面对比 Kafka 和 Pulsar。

打造全球最大规模Kafka集群,Uber的多区域灾备实践
打造全球最大规模 Kafka 集群,Uber 的多区域灾备实践

Uber 拥有世界上最大的 Kafka 集群,每天处理数万亿条消息和几个 PB 的数据。

使用Kafka,如何成功迁移SQL数据库中超过20亿条记录?
使用 Kafka,如何成功迁移 SQL 数据库中超过 20 亿条记录?

不同的情况需要不同的解决方案,不过也许有人可以从我们的解决方案中得到一些有价值的见解。

将Kafka作为存储系统
将 Kafka 作为存储系统

我们的解决方案与传统的将 Kafka 作为实时、流式系统的用法不一样。我们成功地将 Kafka 作为存储系统,构建了一个 API,在进行事件恢复时提升了用户体验和数据访问能力。

Delhivery 公司最佳实践剖析:从 Apache Kafka 迁移至 Amazon MSK
Delhivery 公司最佳实践剖析:从 Apache Kafka 迁移至 Amazon MSK

Amazon MSK 能够降低基础设施的维护强度,简化问题的识别与解决,缩短代理维护时间,最终将生产力提升至新的层面。

手淘双11最新实践:PopLayer弹层领域研发模式升级
手淘双 11 最新实践:PopLayer 弹层领域研发模式升级

作为业务支撑方向的中间件,如何为业务提效,将业务的关注重点从开发转向内容运营,助力其完成触达矩阵,成为了一件非常值得探索的事情。

Kafka实时API探秘
Kafka 实时 API 探秘

事件提供了一种“金发姑娘式”的方法,实时 API 可以作为应用程序的基础,既灵活又高性能,既松耦合又高效。Apache Kafka 提供了一个可伸缩的事件流平台,你可以用它来构建强大的基于事件的应用程序。

原理实践,全面讲解Logstash+Kibana+kafka
原理实践,全面讲解 Logstash+Kibana+kafka

前面的时候,我因为后台粉丝的一些问题,整理了一篇文章,将 ELK 三个技术进行详细的讲解,从原理到实践,全面覆盖,但是因为篇幅原因,我分成了两篇进行整理,上篇主讲 ES,文章链接在这里:熬夜不睡觉整理 ELK 技术文档,从此摆脱靠百度的工作(附源码)

Pulsar 和 Kafka 基准测试:哪个性能更优?
Pulsar 和 Kafka 基准测试:哪个性能更优?

企业必须首先了解不同事件流系统的优势和差异,才能选出与其业务需求最匹配的技术。

Java 程序员说:世界上有三个伟大的发明【火、轮子、kafka】

有人说世界上有三个伟大的发明:火,轮子,以及 Kafka。

最新性能测试:Kafka、Pulsar 和 Pravega 哪个最强?
最新性能测试:Kafka、Pulsar 和 Pravega 哪个最强?

Pravega 读写性能评估

解惑“高深”的 Kafka 时间轮原理,原来也就这么回事!

【摘要】 Kafka 时间轮是 Kafka 实现高效的延时任务的基础,它模拟了现实生活中的钟表对时间的表示方式,同时,时间轮的方式并不仅限于 Kafka,它是一种通用的时间表示方式,本文主要介绍 Kafka 中的时间轮原理。

时间轮在Kafka的实践
时间轮在 Kafka 的实践

时间轮是一个应用场景很广的组件,在很多高性能中间件中都有它的身影,如 Netty、Quartz、Akka,当然也包括 Kafka,本文主要介绍时间轮在 kafka 的应用和实战,从核心源码和设计的角度对时间轮进行深入的讲解 。

云原生时代企业如何构建流数据平台 | InfoQ 公开课
云原生时代企业如何构建流数据平台 | InfoQ 公开课

视频内容:流数据在企业中往往扮演着重要的角色,是实时数据分析的基础。随着企业对数据质量,对数据分析实时性的重视程度的不断提高,企业对流数据的存储需求也越来越高。

消息队列之事务消息,RocketMQ 和 Kafka 是如何做的?
消息队列之事务消息,RocketMQ 和 Kafka 是如何做的?

分布式事务之事务消息,RocketMQ 和 Kafka 是如何实现的?

Kafka和RocketMQ底层存储之那些你不知道的事
Kafka 和 RocketMQ 底层存储之那些你不知道的事

RokcetMQ 与 Kafka 底层存储的那些事儿

在 AWS 上运行 Apache Kafka 的最佳实践
在 AWS 上运行 Apache Kafka 的最佳实践

本文介绍 AWS 上运行 Apache Kafka 的实践经验。

    使用Apache IoTDB构建工业时序数据管理解决方案的实践
    使用Apache IoTDB构建工业时序数据管理解决方案的实践

    黄向东 | 清华大学 软件学院/助理研究员

    立即下载
    360金融的AI实践之旅

    苏绥 | 360金融 大数据总监

    立即下载
    建设企业级微前端方案

    张浩 | 网易 资深前端开发工程师

    立即下载