写点什么

Confluent 宣布企业版 Kafka 支持多数据中心复制功能

2016 年 10 月 12 日

最新的 Confluent 企业版支持多数据中心复制、自动数据平衡和云迁移功能。Confluent 是基于 Apache Kafka 的流平台提供商,它宣布了 Confluent 企业版的新特性,这些特性有助于构建流数据管道和开发流处理应用。

新的版本将会在本月底发布,其中包括了 Confluent 的两个版本:

  • Confluent 平台:这是开源版本。它包括了 Apache Kafka 以及针对 C、C++、Python 和 Go 编程语言的客户端,它还打包了针对 JDBC、ElasticSearch 和 HDFS 的连接器,一个用于管理 Kafka 主题元数据的模式注册表(Schema Registry)以及与 Web 应用进行集成的 REST 代理;
  • Confluent 企业版:这是针对企业提供的版本,包含了开发企业级流应用的额外功能。它包括了监控事件流的 Confluent 控制中心(Confluent Control Center)、MDC 复制以及自动化的数据平衡功能。

新的数据复制和数据平衡功能有助于更好地管理Kafka 集群。

多数据中心复制(Multi-datacenter replication):借助多数据中心( MDC )复制功能能够实现安全的多集群副本,并且能够通过中心化的配置维护这些位于不同地理位置的集群。每个数据中心的 Kafka 集群是同步的,所以不同数据中心上的应用和配置能够保持同步。

它提供了持久化的跨数据中心复制功能并且与安全进行集成,能够在 Apache Kafka 中加密和认证复制的数据。我们可以针对整个集群或特定的主题子集进行复制操作。

MDC 副本自带了完整的安全支持,包括跨数据中心对副本数据进行自动化的访问控制。认证采用的是 SASL 机制,支持与 Kerberos 和 Active Directory 集成。授权能够基于主题进行 MDC 的流复制。加密是基于 SSL 和 Mirror Maker 的。

自动化数据平衡:自动化数据平衡特性允许从Kafka 集群中添加和移除节点,因此我们甚至可以创建跨集群的工作负载。它会监控集群的统计数据,比如节点的数量、分区(partition)的大小、分区的数量以及集群中leader 的数量,并且会采用机架感知(rack aware)的算法来重平衡跨集群的分区。

云迁移: Confluent 企业版产品对云功能的支持有助于将数据流创建到云端,并且能够将云集群与内部的Kafka 集群进行同步。基于Confluent 的复制功能,能够允许组织从某种云策略转换为将来的其他策略。

如果你对新特性感兴趣的话,可以注册即将开始的webinar 或者最近上线的免费在线系列演讲

查看英文原文 Confluent Announces Kafka for the Enterprise with Multi-Datacenter Replication

2016 年 10 月 12 日 19:001931

评论

发布
暂无评论
发现更多内容

食堂就餐卡系统架构设计

Karl

dnsmasq-域名访问及解析缓存

一周思进

ARTS打卡 week 2

猫吃小怪兽

ARTS 打卡计划

LeetCode 769. Max Chunks To Make Sorted

liu_liu

LeetCode

极客时间 - 架构师训练营 - week1 - 作业2

jjn0703

极客大学架构师训练营

Element-UI实战系列:Tree组件的几种使用场景

brave heart

vue.js 前端 Elemen

食堂就餐卡管理系统

孙志平

SpringBoot基本特性以及自动化配置-SPI机制

攀岩飞鱼

Java 微服务 Spring Boot SpringCloud

ARTS打卡Week 03

teoking

ios LeetCode

每周学习总结-架构师培训一期

Damon

ARTS-WEEK2

一周思进

ARTS 打卡计划

架构师训练营第一周作业

小树林

食堂就餐卡系统设计

刘志刚

架构方法学习总结

飞雪

程序员的晚餐 | 6 月 7 日 豆腐年糕

清远

美食

面试了 6 轮 Google中国 之后,还是挂了

石头

面试 谷歌Google Java 面试 经验分享 面经

HBase 常用 Shell 命令手册

Rayjun

Java HBase

极客时间-架构师培训-1期作业

Damon

架构师如何做架构总结

Karl

SpringBatch系列之并发并行能力

稻草鸟人

Spring Boot SpringBatch 批量

愚蠢写作术(3):如何把读者带入迷宫深处

史方远

学习 读书笔记 个人成长 写作

SpringBoot整合Quartz实现任务定时

北漂码农有话说

SpringBoot 2

第一周UML作业

吴建中

食堂就餐卡系统设计

饶军

ARTS(2020-06-01/2020-06-07)

天行者

ARTS 打卡计划

图解Java垃圾回收算法及详细过程!

攀岩飞鱼

Java JVM 虚拟机 垃圾回收机制

架构师训练营第一周作业

芒夏

极客大学架构师训练营

程序员陪娃系列——数学启蒙趣事

孙苏勇

程序员人生 陪伴

架构师训练营第一周学习总结

刘志刚

食堂就餐卡系统设计

飞雪

软件建模与设计文档

大雄

UML

Confluent宣布企业版Kafka支持多数据中心复制功能-InfoQ