AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

微软正式发布 Azure Event Hubs for Kafka

  • 2018-11-16
  • 本文字数:1261 字

    阅读完需:约 4 分钟

微软正式发布Azure Event Hubs for Kafka

最近,微软正式发布Azure Event Hubs for Kafka。用户将获得两方面的好处——Kafka 的生态系统和工具,以及 Azure 的安全性和全球规模。此外,通过将两个功能强大的分布式流媒体平台集成在一起,用户无需管理服务器或网络即可访问 Kafka 生态系统应用程序。


6 月初,InfoQ报道了 Kafka 与 Azure Event Hubs 集成预览版,当时负责 Azure Event Hubs 的工程团队为他们的用户提供了一个 Kafka 端点,用于将事件数据通过流式的方式导入其中。现在,集成已经具备了一般可用性,并且该团队还添加了新功能,让用户能够从使用 Kafka 协议的应用程序将数据以流式的方式传输到 Event Hubs,而且只需要修改连接字符串。此外,用户可以继续使用现有的 Kafka 应用程序、框架和工具与 Event Hub 进行通信。


有了 Event Hubs for Kafka,用户可以使用 Kafka 协议直接将事件从应用程序流式传输到 Event Hubs。微软负责管理这项服务,用户不需要运行 Zookeeper,也不需要控制或配置任何群集。此外,Azure Service Bus 项目经理 Shubha Vijayasarathy 在最近的 Azure Friday 节目中说:


使用 Azure Event Hubs for Kafka 的最大好处是你不需要修改客户端,也不需要更改代码、生产者、应用程序、工具或框架。


用户也可以使用 Kafka Connect 或 MirrorMaker 与 Event Hubs 通信,也无需更改任何代码。


根据公告博客,Kafka 与 Azure Event Hub 集成的其他好处是:


利用 Event Hubs 将数据发送到 Blob 存储或 Data Lake 存储,以便进行长期保留或使用Event Hubs Capture微批次处理。


从兆字节数据级别扩展到太字节数据级别,同时通过Auto-Inflate控制何时以及可以扩展多少。


支持 Event Hubs for Geo Disaster-Recovery


Event Hubs 与 Azure Databricks、Azure Stream Analytics 和 Azure Functions 等其他 Azure 服务深度集成。因此,用户可以进行进一步的分析和处理。


Event Hubs for Kafka 支持 Apache Kafka 1.0 及更高版本——该工程团队已经将Apache Kafka协议映射到原生 AMQP 1.0 协议。此外,这种协议转换允许其他基于 AMQP 1.0 的应用程序与 Kafka 应用程序通信。基于 JMS 的应用程序可以使用Apache Qpid向基于 Kafka 的消费者发送数据。


Azure Event Hubs 和 Kafka 都旨在处理大规模的实时流摄取,而且是分布式、分区的复制提交日志服务。此外,两者都使用了具有客户端游标概念的分区消费者模型,为工作负载提供了水平可伸缩性。通过为 Kafka 添加端点,Event Hub 可以模拟 Kafka。在 Azure Friday 节目中,Shubha Vijayasarathy 解释了两者的概念架构:


在 Event Hubs 的概念架构中,你有一个 Event Hub 或 Kafka 主题,两者非常相似。Event Hubs 或 Kafka 获取数据的方式都是通过分区,数据就分布在这些分区中。你有一群事件生产者,以及一群对这些数据感兴趣的事件接收者,数据以统一的模式分布在 Event Hubs 或 Kafka 主题中。



有关 Azure Event Hubs for Apache Kafka 的更多详细信息,请参见网站文档定价页面提供了定价详情


查看英文原文:Microsoft Announces the General Availability of Azure Event Hubs for Apache Kafka


2018-11-16 07:081398
用户头像

发布了 731 篇内容, 共 468.8 次阅读, 收获喜欢 2007 次。

关注

评论

发布
暂无评论
发现更多内容

数据通信网络之IPv6以太网单臂路由

timerring

数据通信网络

828 B2B企业节,华为云如何提升生态合作伙伴的综合竞争力?

YG科技

英特尔产品组合针对多规模AI模型性价比优势明显

E科讯

基于Vue3前后端分离的低代码开发框架

互联网工科生

Vue 软件开发 低代码 JNPF

序列化与反序列化一棵树

程序员在修行

Last Week in Milvus

Zilliz

非结构化数据 Milvus Zilliz 向量数据库

用AI提高代码质量,同事对我的代码赞不绝口~

飞算JavaAI开发助手

Footprint Analytics 为 ABGA Web3 Gaming Summit 提供支持,助力 Web3 游戏行业发展

Footprint Analytics

9月24日,线下见个面?

MatrixOrigin

数据库 分布式 MatrixOrigin MatrixOne

高校云桌面的“正确打开方式”是什么?

青椒云云电脑

云桌面 云桌面方案

Databend 开源周报第 110 期

Databend

云迁移?是技术问题也是团队问题

在天涯的海角

从构建者到设计者的低代码之路

树上有只程序猿

软件开发 低代码

百度智能云千帆社区上线有礼,助力开发者开启大模型之路!

科技热闻

从实时监控到智能洞察:Grafana 和 CnosDB 的无限潜力

CnosDB

时序数据库 开源社区 CnosDB

Mybatis中传递多个参数的4种方法

源字节1号

开源 软件开发 前端开发 后端开发 小程序开发

关于身心灵学习的感悟1

程序员在修行

不知道该选公有云还是私有云?这些客户请选私有云

青椒云云电脑

桌面云 云桌面

议题征集|Flink Forward Asia 2023 正式启动

Apache Flink

flink

亚信科技与中国信通院达成全方位、跨领域战略合作

亚信AntDB数据库

AntDB 国产数据库 AntDB数据库

腾讯云 CODING 入选“数智影响力”数字化转型创新典型案例

CODING DevOps

【转载】JVM实际内存占用超过Xmx的原因,设置Xmx的技巧

虚实的星空

Java

ARTS 打卡第四周

程序员在修行

Ask Milvus Anything!聊聊被社区反复@的那些事儿 Ⅰ

Zilliz

非结构化数据 Milvus 向量数据库 deepdive

使用消息队列有什么优点?有什么缺点?

程序员在修行

数字化转型与架构-架构设计篇|如何开发一个各部门都满意的系统?

数字随行

数字化转型

英文阅读 The manager's path 1.3

程序员在修行

为什么越来越多的学校使用云桌面?

青椒云云电脑

桌面云 云桌面

INFINI Easysearch 与兆芯完成产品兼容互认证

极限实验室

easysearch 兆芯 国产适配

一文读懂私有云、公有云和本地化部署

青椒云云电脑

公有云 私有云

微软正式发布Azure Event Hubs for Kafka_大数据_Steef-Jan Wiggers_InfoQ精选文章