写点什么

微软发布用于 Kafka 生态系统的 Azure Event Hub 公开预览版

  • 2018-06-05
  • 本文字数:1223 字

    阅读完需:约 4 分钟

看新闻很累?看技术新闻更累?试试下载 InfoQ 手机客户端,每天上下班路上听新闻,有趣还有料!

在 Build 2018 大会期间,微软宣布它将支持 Kafka 客户端与 Azure Event Hub 的集成。负责 Azure Event Hub 的微软工程团队为用户提供了一个 Kafka 端点,用以接入事件数据。

Event Hub 是微软 Azure 的事件摄取服务,提供了一个高度可扩展的数据流平台。开发人员可以使用 Event Hub 代替 Kafka 集群,同时能够应用捕捉(Capture)、自动扩展(Auto-Inflate)和 Geo 灾难恢复等功能。Tom Kerkhove 是来自 Codit 的 Azure 顾问,同时也是微软 Azure MVP,他告诉 InfoQ:

有了可以支持 Kafka 生态系统的 Event Hub,我可以使用 Kafka 协议,无需考虑基础设施问题,可以专注处理自己的事件。

Kafka 和 Azure Event Hub 都是可扩展的基于事件驱动的分布式消息平台,支持多个生产者和消费者。此外,两者都可用于处理由实时事件驱动的大规模流摄取。微软消息服务架构师 Clemens Vasters 在博文中表示:

从概念上讲,它们都是分布式、分区和复制的提交日志服务。两者都使用分区消费模式,为并行消费者提供大规模可扩展性。两者都使用了客户端游标概念,并可扩展到非常高的工作负载。

在创建 Event Hub 名称空间时启用 Kafka 端点就可以实现 Kafka 客户端应用程序与 Event Hub 的集成。

随后,在 Kafka 客户端,开发人员需要将参数切换到 Kafka 端点(即 Event Hub 名称空间的完全限定名)。此外,开发人员需要将安全机制设置为 PLAIN,并将 Event Hub 连接字符串作为密码。

复制代码
bootstrap.servers={YOUR.EVENTHUBS.FQDN}:9093
security.protocol=SASL_SSL
sasl.mechanism=PLAIN
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="$ConnectionString" password="{YOUR.EVENTHUBS.CONNECTION.STRING}";

请注意,用于 Kafka 生态系统的 Azure Event Hub 公开预览版支持 Apache Kafka 1.0 及更高版本。不过,预览版存在一些限制,比如缺少对幂等生产者(Idempotent Producer)、HTTP Kafka API 和 Kafka Streams 等功能的支持。

在支持 Kafka 端点的同时,微软也推出了一个模拟 Kafka 功能的门面(facade)。 Pivotal 产品高级总监 Richard Seroter 在最近的一篇博文中写道:

Azure Cosmos DB 有自己的本地接口,但也有模拟 MongoDB 和 Apache Cassandra 的接口。 Azure Event Hub 最近加入了 Apache Kafka 接口。如果你有使用这些接口的应用程序或工具,那么就可以很方便地使用 Azure Event Hub。Azure 不提供 MongoDB、Cassandra 或 Kafka 服务,但它们的第一方服务可以让你不必更改代码即可获得 Azure 的服务。这是一个很好的策略。

Kafka 对 Event Hub 的支持目前仅在美国东部和西部地区可用,Event Hub 的价格详情请参阅定价页面。此外,有关Kafka 支持的更多信息可在微软文档“用于Kafka 生态系统的Event Hub ”上找到。

查看英文原文 Microsoft Announces Azure Event Hubs for Kafka Ecosystems in Public Preview

2018-06-05 16:081944
用户头像

发布了 731 篇内容, 共 450.6 次阅读, 收获喜欢 2002 次。

关注

评论

发布
暂无评论
发现更多内容

【TiDB 最佳实践系列】乐观锁事务

TiDB 社区干货传送门

实践案例

以TiDB热点问题来谈Region的调度流程

TiDB 社区干货传送门

实践案例

常见问题排查之 -- DM 主键冲突的原因及排查思路

TiDB 社区干货传送门

NewSQL 在微众银行核心批量场景的应用

TiDB 社区干货传送门

实践案例

TIDB 3.0.5 性能压测

TiDB 社区干货传送门

数据库架构选型

TiDB 多Socket 服务器性能扩展问题分析-续

TiDB 社区干货传送门

性能调优 性能测评

insert引发的TiDB hang死血案(案情一)

TiDB 社区干货传送门

故障排查/诊断

移动云基于 TiDB 实现 serverless 数据库服务

TiDB 社区干货传送门

从内容角度看看TUG小伙伴都在关注些啥

TiDB 社区干货传送门

版本测评

TiDB 性能分析工具——PProf

TiDB 社区干货传送门

TiDB 底层架构

记一场DM同步引发的Auto_Increment主键冲突漫谈

TiDB 社区干货传送门

故障排查/诊断

TiDB 5.0 异步事务特性体验——基于X86和ARM混合部署架构

TiDB 社区干货传送门

AskTUG 论坛迁移实战:Discourse 从 PostgreSQL 到 MySQL 到 TiDB

TiDB 社区干货传送门

【精选实践】TiDB 在马上消费金融核心账务系统归档及跑批业务下的实践

TiDB 社区干货传送门

实践案例

TIDB--不容易发现的 lightning tidb-backend 模式导入优化

TiDB 社区干货传送门

迁移 性能调优 TiDB 底层架构 管理与运维 性能测评

几分钟读懂 TiDB HTAP

TiDB 社区干货传送门

【热门问题】关于近期签名过期的处理合集

TiDB 社区干货传送门

基于阿里云ECS部署的TiDB 2.1.14升级到4.0.0-rc实践

TiDB 社区干货传送门

管理与运维 安装 & 部署

【技术专题】如何做数据库选型?

TiDB 社区干货传送门

实践案例

TiCDC 应用场景解析

TiDB 社区干货传送门

实践案例

TiDB 数据库开发规范

TiDB 社区干货传送门

tidb开发规范

TiDB 社区干货传送门

速度收藏!TiDB 读、写性能慢问题排查思路汇总

TiDB 社区干货传送门

管理与运维

招募体验官!构建实时数仓 - 当 TiDB 遇见 Pravega

TiDB 社区干货传送门

【TiDB 最佳实践系列】HAProxy

TiDB 社区干货传送门

实践案例

TiDB 在茄子科技的应用实践及演进

TiDB 社区干货传送门

实践案例

记一次使用TiUP半自动升级TiDB集群经验

TiDB 社区干货传送门

版本升级

从抓包发现并解决 Navicat 编辑 TiDB 视图报错的问题

TiDB 社区干货传送门

实践案例 TiDB 底层架构

Tiflash 尝鲜小案例

TiDB 社区干货传送门

管理与运维

TiFlash5.0.1与4.0.10 对比测试

TiDB 社区干货传送门

版本测评

隐藏esc坑之jbd2进程io占用奇高 系统长期io占用100%

TiDB 社区干货传送门

故障排查/诊断

微软发布用于Kafka生态系统的Azure Event Hub公开预览版_微软_Steef-Jan Wiggers_InfoQ精选文章