现在的数据处理/消费方式与以前的实践大不相同了。在过去,数据存储在数据库中,并进行批处理以获得一些分析。尽管这种方式没有问题,但更现代化的平台允许你在数据进入系统时实时处理数据。
无论是对于无状态的流应用程序还是有状态的流应用程序,Kafka Streams都是理想选择方案,它实现了基于时间的操作(例如,在给定时间段内对事件进行分组),并且考虑到了Kafka生态系统中普遍存在的可扩展性、可靠性和可维护性。
在本文中,我们将会学习如何使用 Apache Kafka 和 Quarkus 生产和消费数据。
在实时处理 Kafka 事件方面,Kafka Streams 和 Quarkus 是绝配。
Debezium 是一个开源项目,利用日志扫描来捕获变更数据,从而避免了双重写入,并在服务之间正确地交换持久数据。
将 Kafka 集群部署到 Kubernetes 中并不是一件容易的事。
Strimzi 可以保护 Kafka 通信,并以声明式的方式提供用户 / 主题的 RBAC 权限管理能力。