Kafka
Kafka是由Apache软件基金会开发的一个开源流处理平台。
![得物App全栈可观测平台落地实践](https://static001.infoq.cn/resource/image/0a/82/0a67d9afb15a4f31084121af21507882.jpg?x-oss-process=image/crop,y_13,w_1127,h_632/resize,w_416,h_234)
得物 App 全栈可观测平台落地实践
随着业务规模和复杂度的增加,监控的规模也随之扩大。
![Cloudflare的Kafka之旅:万亿规模消息处理经验分享](https://static001.infoq.cn/resource/image/c3/86/c33485555361224d1d1abf819c7b6986.jpg?x-oss-process=image/crop,y_1387,w_6599,h_3710/resize,w_416,h_234)
Cloudflare 的 Kafka 之旅:万亿规模消息处理经验分享
Cloudflare 高级系统工程师 Andrea Medda 和工程经理 Matt Boyle 分享了平台服务团队在使用 Apache Kafka 来处理万亿规模的消息方面的经验教训。
![使用Strimzi提高Kafka集群的安全性](https://static001.infoq.cn/resource/image/36/49/36854fad6dba4d9352fac081ee8b8649.jpg?x-oss-process=image/crop,x_84,y_1,w_1115,h_626/resize,w_416,h_234)
使用 Strimzi 提高 Kafka 集群的安全性
Strimzi 可以保护 Kafka 通信,并以声明式的方式提供用户 / 主题的 RBAC 权限管理能力。
![Spring for Apache Kafka 3.0和Spring for RabbitMQ 3.0发布](https://static001.infoq.cn/resource/image/e8/00/e83dc49fda7d62c07c3ea238b8b31d00.jpg?x-oss-process=image/crop,y_1,w_1279,h_718/resize,w_416,h_234)
Spring for Apache Kafka 3.0 和 Spring for RabbitMQ 3.0 发布
VMWare 发布 Spring for Apache Kafka 3.0 和 Spring for RabbitMQ 3.0,需要 Java 17 和 Spring Framework 6.0。
![后 Hadoop 时代,字节跳动如何打造云原生计算平台 | 卓越技术团队访谈录](https://static001.infoq.cn/resource/image/0b/1e/0b43c30a6a5c6278e758784c3f9e9e1e.jpg?x-oss-process=image/crop,x_209,y_74,w_960,h_540/resize,w_416,h_234)
后 Hadoop 时代,字节跳动如何打造云原生计算平台 | 卓越技术团队访谈录
虽然用户可能用起来跟原来的接口差不多,但是实际上底下已经发生了翻天覆地的变化。
![Netflix基于Redis、Kafka和Elasticsearch构建高吞吐优先队列Timesone](https://static001.infoq.cn/resource/image/32/dd/32bf6514f49cb9c9ac9480de432917dd.jpg?x-oss-process=image/crop,y_1,w_1279,h_718/resize,w_416,h_234)
Netflix 基于 Redis、Kafka 和 Elasticsearch 构建高吞吐优先队列 Timesone
Netflix 如何构建 Timestone?
![使用Strimzi将Kafka和Debezium迁移到Kubernetes](https://static001.infoq.cn/resource/image/36/49/36854fad6dba4d9352fac081ee8b8649.jpg?x-oss-process=image/crop,x_55,w_1115,h_626/resize,w_416,h_234)
使用 Strimzi 将 Kafka 和 Debezium 迁移到 Kubernetes
将 Kafka 集群部署到 Kubernetes 中并不是一件容易的事。
![Debezium和Quarkus:通过CDC模式来避免双重写入](https://static001.infoq.cn/resource/image/36/49/36854fad6dba4d9352fac081ee8b8649.jpg?x-oss-process=image/crop,x_63,w_1115,h_626/resize,w_416,h_234)
Debezium 和 Quarkus:通过 CDC 模式来避免双重写入
Debezium 是一个开源项目,利用日志扫描来捕获变更数据,从而避免了双重写入,并在服务之间正确地交换持久数据。
![Kafka Streams与Quarkus:实时处理事件](https://static001.infoq.cn/resource/image/36/49/36854fad6dba4d9352fac081ee8b8649.jpg?x-oss-process=image/crop,x_58,w_1115,h_626/resize,w_416,h_234)
Kafka Streams 与 Quarkus:实时处理事件
在实时处理 Kafka 事件方面,Kafka Streams 和 Quarkus 是绝配。
![深度参与社区建设是熟练掌握一门技术的捷径](https://static001.infoq.cn/resource/image/d1/18/d1fc9f11802063986751eaa203cb8a18.jpg?x-oss-process=image/crop,x_375,y_844,w_4740,h_2666/resize,w_416,h_234)
深度参与社区建设是熟练掌握一门技术的捷径
专访 Kafka 技术专家胡夕老师,一起来看看他对于 Kafka 技术的独特解读吧 ~
![使用Apache Kafka实现Quarkus的反应式消息](https://static001.infoq.cn/resource/image/36/49/36854fad6dba4d9352fac081ee8b8649.jpg?x-oss-process=image/crop,x_75,w_1115,h_626/resize,w_416,h_234)
使用 Apache Kafka 实现 Quarkus 的反应式消息
在本文中,我们将会学习如何使用 Apache Kafka 和 Quarkus 生产和消费数据。
![朴朴基于AWS EMR的数据沙盒平台演变](https://static001.infoq.cn/resource/image/81/c4/813eb35f6eaa43425eb96078e6c7c1c4.jpg?x-oss-process=image/crop,w_1920,h_1080/resize,w_416,h_234)
朴朴基于 AWS EMR 的数据沙盒平台演变
数据沙盒平台主要服务于业务 (非技术)+ 技术 (非大数据) 部门数据分析人员,缩短取数流程,提高数据分析效率,有效支持业务部门便捷地使用数据资产。
![Presto on Apache Kafka 在 Uber的大规模应用](https://static001.infoq.cn/resource/image/ay/90/ayy377705c958faaf5af3a9c01107e90.jpg?x-oss-process=image/crop,w_1920,h_1080/resize,w_416,h_234)
Presto on Apache Kafka 在 Uber 的大规模应用
Presto 和 Apache Kafka 在 Uber 的大数据栈中扮演了重要角色。
![如何零宕机将2000个微服务从本地Kafka集群迁移至云托管多集群平台?](https://static001.infoq.cn/resource/image/90/cf/908a390b1255d567795227e9769409cf.png?x-oss-process=image/crop,w_1080,h_606/resize,w_416,h_234)
如何零宕机将 2000 个微服务从本地 Kafka 集群迁移至云托管多集群平台?
整个过程是无缝的,无需服务所有者参与,且迁移在正常通信中进行,没有任何停机。
![使用 Kafka 和动态数据网格进行流式数据交换](https://static001.infoq.cn/resource/image/f0/c7/f0dc7ee775d56d2cdccd07bd2f68a5c7.jpg?x-oss-process=image/crop,y_101,w_1920,h_1080/resize,w_416,h_234)
使用 Kafka 和动态数据网格进行流式数据交换
Mesh 是近来受到广泛重视的一种新型架构范式。每家数据和平台提供商都说明了怎样使用自己的平台来构建最好的数据网格。
![使用 Kafka、Debezium 和 Kubernetes 实现应用现代化的模式](https://static001.infoq.cn/resource/image/e5/a6/e5521c3d676c6a9e666091b4yyd945a6.jpg?x-oss-process=image/crop,y_60,w_1920,h_1080/resize,w_416,h_234)
使用 Kafka、Debezium 和 Kubernetes 实现应用现代化的模式
遗留应用的现代化迁移是一项艰巨的任务,我们既要将遗留的应用迁移到现代化的架构,同时又要保证原有系统的功能可用性,本文提供了一种将遗留单体架构的应用迁移至现代化应用架构的方式。
![展望中间件的 2022:微服务中间件还需进一步优化,消息队列迈向“标准化”](https://static001.infoq.cn/resource/image/71/df/714b51ac79a3c9711cd8ea398f550fdf.jpg?x-oss-process=image/crop,y_46,w_1279,h_718/resize,w_416,h_234)
展望中间件的 2022:微服务中间件还需进一步优化,消息队列迈向“标准化”
服务网格为多语言技术栈提供了标准化的服务发现和治理能力,但是带来了额外的性能和资源损耗,增加了架构复杂度和运维成本,这些问题还需要进一步优化。
![展望2022年中间件技术趋势](https://static001.infoq.cn/resource/image/ba/59/ba0662893b3a0b919a99323ec6600659.jpeg?x-oss-process=image/resize,w_416,h_234)
展望 2022 年中间件技术趋势
中间件涉及的范围比较广泛,包含开发框架、注册中心、API 网关、配置中心、分布式事务和分布式消息等组件。
![解读中间件的2021:被云原生重塑之后,选型更难了](https://static001.infoq.cn/resource/image/f2/3b/f2731e9401d08d16c27dda57d3d0cf3b.jpg?x-oss-process=image/crop,x_320,y_1,w_959,h_538/resize,w_416,h_234)
解读中间件的 2021:被云原生重塑之后,选型更难了
基于云原生重构中间件能带来性能上的飞跃。
![弃用 Lambda,Twitter 启用 Kafka 和数据流新架构](https://static001.infoq.cn/resource/image/f6/3e/f6d2345a82c7dd753a042f8ff898cc3e.jpg?x-oss-process=image/crop,y_112,w_1079,h_606/resize,w_416,h_234)
弃用 Lambda,Twitter 启用 Kafka 和数据流新架构
Twitter 数据新架构实践篇。
![替代 Kafka?Pinterest 推出高效可扩展云原生系统 MemQ](https://static001.infoq.cn/resource/image/b9/13/b9fc0cdae8fb4dbd406e214a96be9b13.jpg?x-oss-process=image/crop,y_210,w_1920,h_1080/resize,w_416,h_234)
替代 Kafka?Pinterest 推出高效可扩展云原生系统 MemQ
transportation)提供了动力。系统,它可以帮助用户进行数据的传输 / 缓冲和异步消费。。系统。
![东南亚“美团” Grab 的搜索索引优化之法](https://static001.infoq.cn/resource/image/c5/bb/c5f769df5c903926600aaab23407eebb.jpg?x-oss-process=image/crop,w_1920,h_1080/resize,w_416,h_234)
东南亚“美团” Grab 的搜索索引优化之法
亿多用户提供服务。当前提供包括网约车、送餐、酒店预订、网上银行、移动支付和保险服务。是东南亚的“美团”。
![Uber数据科学工作台的演变史](https://static001.infoq.cn/resource/image/83/47/835fe8ee886bd6f6198ce074caabba47.jpg?x-oss-process=image/crop,y_1,w_1919,h_1078/resize,w_416,h_234)
Uber 数据科学工作台的演变史
本文将对近三年来数据科学工作台的发展进行回顾和总结。
![数据迁移同步平台CloudCanal免费社区版正式发布](https://static001.infoq.cn/resource/image/63/11/63476502a3aff8bc43162b25eddc7411.jpg?x-oss-process=image/crop,y_30,w_1280,h_720/resize,w_416,h_234)
数据迁移同步平台 CloudCanal 免费社区版正式发布
这次社区版的发布花了近 2 年时间准备,将免费开放并持续维护。同时,官方透露 CloudCanal 内核未来会开源,相关工作正在准备阶段。
![深度解读:Kafka放弃ZooKeeper,消息系统兴起二次革命](https://static001.infoq.cn/resource/image/a6/80/a6694552c7a29e004e8200fe3756df80.jpg?x-oss-process=image/crop,x_-4800,y_-2500,w_6720,h_3781/resize,w_416,h_234)
深度解读:Kafka 放弃 ZooKeeper,消息系统兴起二次革命
消息系统兴起二次革命:让 Kafka 变简单
![简单的Kafka:没有ZooKeeper的Kafka](https://static001.infoq.cn/resource/image/4c/0c/4c3deed23f5ba5ac1c4cb80b195ab40c.jpg?x-oss-process=image/crop,x_34,y_39,w_1170,h_658/resize,w_416,h_234)
简单的 Kafka:没有 ZooKeeper 的 Kafka
KIP-500 代码的早期访问已经提交到 trunk,预计将包括在即将发布的 2.8 版本中。
![Uber大型实时数据智能平台建设](https://static001.infoq.cn/resource/image/cd/b4/cd2fdfb47b34bd808bd1d5a7374398b4.jpg?x-oss-process=image/crop,w_1920,h_1080/resize,w_416,h_234)
Uber 大型实时数据智能平台建设
Gairos 是 Uber 的实时数据处理、存储和查询平台,旨在推动大规模、高效率的数据探索。
![你可能用错了kafka的重试机制](https://static001.infoq.cn/resource/image/c1/72/c100d1ba9abe4yy5bbdd31fbd280dc72.jpg?x-oss-process=image/crop,x_231,y_123,w_960,h_540/resize,w_416,h_234)
你可能用错了 kafka 的重试机制
Apache Kafka 有很多强大的特性,在使用它的过程中也需要小心很多潜在的陷阱
![如何使用Kafka、MongoDB和Maxwell’s Daemon构建SQL数据库的审计系统](https://static001.infoq.cn/resource/image/92/7f/9260a18b7b5f804705601191cf4f207f.jpg?x-oss-process=image/crop,y_1,w_1731,h_972/resize,w_416,h_234)
如何使用 Kafka、MongoDB 和 Maxwell’s Daemon 构建 SQL 数据库的审计系统
在本文中,作者讨论了在传统内置的数据副本之外,实现数据库审计日志系统的重要性,并给出了使用 Kafka、MongoDB 和 Maxwell's Daemon 构建审计日志系统的方案。
![基于Kafka技术栈构建和部署实时搜索引擎的实践](https://static001.infoq.cn/resource/image/25/8b/25a34308167189ff543c8eda39a0268b.png?x-oss-process=image/crop,y_91,w_1478,h_830/resize,w_416,h_234)
基于 Kafka 技术栈构建和部署实时搜索引擎的实践
实现强大的搜索能力——从设计决策到幕后的一切