Kafka

关注
收录了Kafka频道下的 127 篇内容
Kafka是由Apache软件基金会开发的一个开源流处理平台。
  • 全部
  • 文章
  • 视频
  • 电子书
后 Hadoop 时代,字节跳动如何打造云原生计算平台 | 卓越技术团队访谈录
后 Hadoop 时代,字节跳动如何打造云原生计算平台 | 卓越技术团队访谈录

虽然用户可能用起来跟原来的接口差不多,但是实际上底下已经发生了翻天覆地的变化。

这个 bug, 你中招了吗!!!

给大家分享一下最近看 kafka 源码时候, 困扰我几天的疑惑, 供大家一起思考讨论, 确定一下它是不是一个 Bug 欢迎留言一起探讨!

使用Strimzi将Kafka和Debezium迁移到Kubernetes
使用 Strimzi 将 Kafka 和 Debezium 迁移到 Kubernetes

将 Kafka 集群部署到 Kubernetes 中并不是一件容易的事。

Debezium和Quarkus:通过CDC模式来避免双重写入
Debezium 和 Quarkus:通过 CDC 模式来避免双重写入

Debezium 是一个开源项目,利用日志扫描来捕获变更数据,从而避免了双重写入,并在服务之间正确地交换持久数据。

Kafka Streams与Quarkus:实时处理事件
Kafka Streams 与 Quarkus:实时处理事件

在实时处理 Kafka 事件方面,Kafka Streams 和 Quarkus 是绝配。

深度参与社区建设是熟练掌握一门技术的捷径
深度参与社区建设是熟练掌握一门技术的捷径

专访 Kafka 技术专家胡夕老师,一起来看看他对于 Kafka 技术的独特解读吧 ~

使用Apache Kafka实现Quarkus的反应式消息
使用 Apache Kafka 实现 Quarkus 的反应式消息

在本文中,我们将会学习如何使用 Apache Kafka 和 Quarkus 生产和消费数据。

朴朴基于AWS EMR的数据沙盒平台演变
朴朴基于 AWS EMR 的数据沙盒平台演变

数据沙盒平台主要服务于业务 (非技术)+ 技术 (非大数据) 部门数据分析人员,缩短取数流程,提高数据分析效率,有效支持业务部门便捷地使用数据资产。

Presto on Apache Kafka 在 Uber的大规模应用
Presto on Apache Kafka 在 Uber 的大规模应用

Presto 和 Apache Kafka 在 Uber 的大数据栈中扮演了重要角色。

如何零宕机将2000个微服务从本地Kafka集群迁移至云托管多集群平台?
如何零宕机将 2000 个微服务从本地 Kafka 集群迁移至云托管多集群平台?

整个过程是无缝的,无需服务所有者参与,且迁移在正常通信中进行,没有任何停机。

使用 Kafka 和动态数据网格进行流式数据交换
使用 Kafka 和动态数据网格进行流式数据交换

Mesh 是近来受到广泛重视的一种新型架构范式。每家数据和平台提供商都说明了怎样使用自己的平台来构建最好的数据网格。

使用 Kafka、Debezium 和 Kubernetes 实现应用现代化的模式
使用 Kafka、Debezium 和 Kubernetes 实现应用现代化的模式

遗留应用的现代化迁移是一项艰巨的任务,我们既要将遗留的应用迁移到现代化的架构,同时又要保证原有系统的功能可用性,本文提供了一种将遗留单体架构的应用迁移至现代化应用架构的方式。

展望中间件的 2022:微服务中间件还需进一步优化,消息队列迈向“标准化”
展望中间件的 2022:微服务中间件还需进一步优化,消息队列迈向“标准化”

服务网格为多语言技术栈提供了标准化的服务发现和治理能力,但是带来了额外的性能和资源损耗,增加了架构复杂度和运维成本,这些问题还需要进一步优化。

展望2022年中间件技术趋势
展望 2022 年中间件技术趋势

中间件涉及的范围比较广泛,包含开发框架、注册中心、API 网关、配置中心、分布式事务和分布式消息等组件。

解读中间件的2021:被云原生重塑之后,选型更难了
解读中间件的 2021:被云原生重塑之后,选型更难了

基于云原生重构中间件能带来性能上的飞跃。

弃用 Lambda,Twitter 启用 Kafka 和数据流新架构
弃用 Lambda,Twitter 启用 Kafka 和数据流新架构

Twitter 数据新架构实践篇。

聊聊 Kafka:Producer 源码解析
聊聊 Kafka:Producer 源码解析

前面几篇我们讲了关于 Kafka 的基础架构以及搭建,从这篇开始我们就来源码分析一波。我们这用的 Kafka 版本是 2.7.0,其 Client 端是由 Java 实现,Server 端是由 Scala 来实现的,在使用 Kafka 时,Client 是用户最先接触到的部分,因此,我们从 Client 端开

聊聊 Kafka:编译 Kafka 源码并搭建源码环境
聊聊 Kafka:编译 Kafka 源码并搭建源码环境

老周这里编译 Kafka 的版本是 2.7,为啥采用这个版本来搭建源码的阅读环境呢?因为该版本相对来说比较新。而我为啥不用 2.7 后的版本呢?比如 2.8,这是因为去掉了 ZooKeeper,还不太稳定,生产环境也不太建议使用,所以以 2.7 版本进行源码搭建并研究。

替代 Kafka?Pinterest 推出高效可扩展云原生系统 MemQ
替代 Kafka?Pinterest 推出高效可扩展云原生系统 MemQ

transportation)提供了动力。系统,它可以帮助用户进行数据的传输 / 缓冲和异步消费。。系统。

聊聊 Kafka: Kafka 为啥这么快?
聊聊 Kafka: Kafka 为啥这么快?

我们都知道 Kafka 是基于磁盘进行存储的,但 Kafka 官方又称其具有高性能、高吞吐、低延时的特点,其吞吐量动辄几十上百万。小伙伴们是不是有点困惑了,一般认为在磁盘上读写数据是会降低性能的,因为寻址会比较消耗时间。那 Kafka 又是怎么做到其吞吐量动辄

东南亚“美团” Grab 的搜索索引优化之法
东南亚“美团” Grab 的搜索索引优化之法

亿多用户提供服务。当前提供包括网约车、送餐、酒店预订、网上银行、移动支付和保险服务。是东南亚的“美团”。

Uber数据科学工作台的演变史
Uber 数据科学工作台的演变史

本文将对近三年来数据科学工作台的发展进行回顾和总结。

数据迁移同步平台CloudCanal免费社区版正式发布
数据迁移同步平台 CloudCanal 免费社区版正式发布

这次社区版的发布花了近 2 年时间准备,将免费开放并持续维护。同时,官方透露 CloudCanal 内核未来会开源,相关工作正在准备阶段。

深度解读:Kafka放弃ZooKeeper,消息系统兴起二次革命
深度解读:Kafka 放弃 ZooKeeper,消息系统兴起二次革命

消息系统兴起二次革命:让 Kafka 变简单

简单的Kafka:没有ZooKeeper的Kafka
简单的 Kafka:没有 ZooKeeper 的 Kafka

KIP-500 代码的早期访问已经提交到 trunk,预计将包括在即将发布的 2.8 版本中。

实时数据仓库的发展、架构和趋势
实时数据仓库的发展、架构和趋势

随着实时计算引擎的不断发展以及业务对于实时报表的产出需求不断膨胀,业界最近几年就一直聚焦并探索于两个相关的热点问题:实时数仓建设和大数据架构的批流一体建设。

Uber大型实时数据智能平台建设
Uber 大型实时数据智能平台建设

Gairos 是 Uber 的实时数据处理、存储和查询平台,旨在推动大规模、高效率的数据探索。

你可能用错了kafka的重试机制
你可能用错了 kafka 的重试机制

Apache Kafka 有很多强大的特性,在使用它的过程中也需要小心很多潜在的陷阱

如何使用Kafka、MongoDB和Maxwell’s Daemon构建SQL数据库的审计系统
如何使用 Kafka、MongoDB 和 Maxwell’s Daemon 构建 SQL 数据库的审计系统

在本文中,作者讨论了在传统内置的数据副本之外,实现数据库审计日志系统的重要性,并给出了使用 Kafka、MongoDB 和 Maxwell's Daemon 构建审计日志系统的方案。

    贝壳中台化建设下的前端体系探索
    贝壳中台化建设下的前端体系探索

    董亚杰 | 贝壳找房 大前端研发部总监

    立即下载
    短视频推荐系统的实践和思考

    卢玉奇 | 百度 主任架构师,好看视频推荐中台技术负责人

    立即下载
    数字化时代,B 端产品建模如何聚焦价值链

    高晖 | 数势科技 首席产品架构师

    立即下载