【AICon】探索RAG 技术在实际应用中遇到的挑战及应对策略!AICon精华内容已上线73%>>> 了解详情
写点什么

微软发布用于 Kafka 生态系统的 Azure Event Hub 公开预览版

  • 2018-06-05
  • 本文字数:1223 字

    阅读完需:约 4 分钟

看新闻很累?看技术新闻更累?试试下载 InfoQ 手机客户端,每天上下班路上听新闻,有趣还有料!

在 Build 2018 大会期间,微软宣布它将支持 Kafka 客户端与 Azure Event Hub 的集成。负责 Azure Event Hub 的微软工程团队为用户提供了一个 Kafka 端点,用以接入事件数据。

Event Hub 是微软 Azure 的事件摄取服务,提供了一个高度可扩展的数据流平台。开发人员可以使用 Event Hub 代替 Kafka 集群,同时能够应用捕捉(Capture)、自动扩展(Auto-Inflate)和 Geo 灾难恢复等功能。Tom Kerkhove 是来自 Codit 的 Azure 顾问,同时也是微软 Azure MVP,他告诉 InfoQ:

有了可以支持 Kafka 生态系统的 Event Hub,我可以使用 Kafka 协议,无需考虑基础设施问题,可以专注处理自己的事件。

Kafka 和 Azure Event Hub 都是可扩展的基于事件驱动的分布式消息平台,支持多个生产者和消费者。此外,两者都可用于处理由实时事件驱动的大规模流摄取。微软消息服务架构师 Clemens Vasters 在博文中表示:

从概念上讲,它们都是分布式、分区和复制的提交日志服务。两者都使用分区消费模式,为并行消费者提供大规模可扩展性。两者都使用了客户端游标概念,并可扩展到非常高的工作负载。

在创建 Event Hub 名称空间时启用 Kafka 端点就可以实现 Kafka 客户端应用程序与 Event Hub 的集成。

随后,在 Kafka 客户端,开发人员需要将参数切换到 Kafka 端点(即 Event Hub 名称空间的完全限定名)。此外,开发人员需要将安全机制设置为 PLAIN,并将 Event Hub 连接字符串作为密码。

复制代码
bootstrap.servers={YOUR.EVENTHUBS.FQDN}:9093
security.protocol=SASL_SSL
sasl.mechanism=PLAIN
sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="$ConnectionString" password="{YOUR.EVENTHUBS.CONNECTION.STRING}";

请注意,用于 Kafka 生态系统的 Azure Event Hub 公开预览版支持 Apache Kafka 1.0 及更高版本。不过,预览版存在一些限制,比如缺少对幂等生产者(Idempotent Producer)、HTTP Kafka API 和 Kafka Streams 等功能的支持。

在支持 Kafka 端点的同时,微软也推出了一个模拟 Kafka 功能的门面(facade)。 Pivotal 产品高级总监 Richard Seroter 在最近的一篇博文中写道:

Azure Cosmos DB 有自己的本地接口,但也有模拟 MongoDB 和 Apache Cassandra 的接口。 Azure Event Hub 最近加入了 Apache Kafka 接口。如果你有使用这些接口的应用程序或工具,那么就可以很方便地使用 Azure Event Hub。Azure 不提供 MongoDB、Cassandra 或 Kafka 服务,但它们的第一方服务可以让你不必更改代码即可获得 Azure 的服务。这是一个很好的策略。

Kafka 对 Event Hub 的支持目前仅在美国东部和西部地区可用,Event Hub 的价格详情请参阅定价页面。此外,有关Kafka 支持的更多信息可在微软文档“用于Kafka 生态系统的Event Hub ”上找到。

查看英文原文 Microsoft Announces Azure Event Hubs for Kafka Ecosystems in Public Preview

2018-06-05 16:081745
用户头像

发布了 731 篇内容, 共 432.2 次阅读, 收获喜欢 1997 次。

关注

评论

发布
暂无评论
发现更多内容

Hoo虎符研究院|区块链简报 20220117期

区块链前沿News

Hoo虎符 Hoo 虎符研究院 区块链资讯

Kafka 为什么这么快?多的是你不知道的事

码哥字节

kafka 消息队列 1月日更 1月月更

架构实战营第 4 期 -- 模块七作业

烈火干柴烛灭田边残月

架构实战营

redis未授权访问漏洞复现

喀拉峻

redis 黑客 网络安全 安全 信息安全

Scrum Master如何参与每日Scrum(Daily Scrum)

Bruce Talk

Scrum 敏捷 Agile Coach/Facilitate

(1-14/14) 首位销售人员

mtfelix

300天创作 2022Y300P

打造手淘极简包的轻量化框架

阿里巴巴终端技术

ios android 框架设计 移动开发 包大小

腾讯自选股如何实现单位小时内完成千万级数据运算

ninetyhe

腾讯 海量数据 分布式,

ThinkPHP6和GatewayWorker简单的示例

CRMEB

十大视频场景化应用工具+五大视频领域冠军/顶会算法重磅开源!

百度大脑

Go 语言快速入门指南:Go 并发初识

宇宙之一粟

golang 并发 Go 语言 1月月更

APICloud 原生模块、H5模块、多端组件使用教程

YonBuilder低代码开发平台

前端开发 APP开发 APICloud 模块 跨端开发

表单数据高级搜索功能设计

全象云低代码

搜索引擎 前端 低代码 搜索 表单

人效将是快消品企业未来发展的最大瓶颈

百度大脑

人工智能

混沌工程之 Linux 网络故障模拟工具TC

zuozewei

Linux 混沌工程 1月月更

使用无参数函数进行命令执行

网络安全学海

黑客 网络安全 信息安全 渗透测试 安全漏洞

聚类算法有哪些?又是如何分类?

郑州埃文科技

数据分析 聚类算法

CPython 性能将提升 5 倍?faster-python 项目 PEP 659 源码级解读

阿里巴巴终端技术

Python 源码 源码分析 CPython

政法委跨单位重点人员联防联控平台建设,治安防控系统开发

a13823115807

网络安全kali渗透学习 web渗透入门 Kali系统的国内源配置

学神来啦

3DCAT荣获2021金陀螺“年度XR行业技术创新奖”“年度优秀VR行业应用奖”两项大奖

3DCAT实时渲染

云计算 教育 VR/AR 渲染 渲染器

如何基于知识图谱实体解析技术进行数据优化?

索信达控股

人工智能 AI 知识图谱 数据优化 索信达控股

【高并发】导致并发编程频繁出问题的“幕后黑手”

冰河

并发编程 多线程 高并发 协程 异步编程

前额皮质如何影响我们的工作效率?

LigaAI

工作效率 脑科学

Python 为什么不设计 do-while 循环结构?

Python猫

Python

如何处理消息丢失问题?

JavaEdge

1月月更

使用Rainbond打包业务模块,实现业务积木式拼装

北京好雨科技有限公司

Android 64位架构适配

百瓶技术

andiod 客户端

深入浅出Apache Pulsar(1):Pulsar vs Kafka

云智慧AIOps社区

kafka 云原生 消息队列 kafka运维 Apache Pulsar 消息系统

项目管理是做什么

PingCode

架构实战训练营-模块7-作业

温安适

「架构实战营」

微软发布用于Kafka生态系统的Azure Event Hub公开预览版_微软_Steef-Jan Wiggers_InfoQ精选文章