写点什么

Amazon Managed Kafka 旨在简化 Kafka Streaming 的设置和使用

2019 年 6 月 17 日

Amazon Managed Kafka 旨在简化 Kafka Streaming 的设置和使用

Amazon Managed Streaming for Kafka(MSK)在 AWS re: 2018 大会上推出公开预览版,现在,该服务正式发布。Amazon MSK 的目标是使基于 Kafka 的流应用程序的构建和运行变得更加容易。


新的 MSK GA 将对 Kafka 的支持扩展到 2.1.0 版本,同时,对于预览期间创建的应用程序,它与 Kafka 1.1.1 保持完全兼容。此外,亚马逊还根据早期客户的反馈添加了一些新功能。其中包括支持客户端和代理之间以及代理之间的 TLS 传输加密,与 AWS CloudTrail 集成用于日志记录以及基于集群创建时分配给集群的标记定义 IAM 策略的可能性。目前,在 AWS 云环境中提供 MSK 的唯一方法是使用 AWS 管理控制台和 CLI。然而,Amazon 正在添加AWS CloudFormation支持,以支持使用 JSON 或 YAML 文本描述进行 MSK 建模和配置。


亚马逊简化 Kafka 集成的努力不限于设置、扩展和管理自托管 Kafka 服务器的固有困难。事实上,它的 MSK 服务还包括一个 Apache Zookeeper 节点以确保高可用性和安全性,亚马逊不会对其收费。正如亚马逊数据流产品经理 Damien Wylie所说


我们将自动检测故障,然后重新引入一个新节点。因此,IP 可以保持不变,最后,你运行集群期间需要的任何补丁,我们都会自动为你应用。


在 AWS 管理控制台中创建 Kafka 集群的过程被大大简化了。你只需要选择要使用的 Kafka 版本,决定每个可用性区域需要多少代理,并设置加密和存储选项,其中大多数设置都提供了合理的默认值。如果希望更改代理实例类型或 Amazon EDB 卷大小,可以通过访问高级自定义设置部分来实现。


一旦你拥有了 Apache Kafka 集群,就可以设置任意数量的主题供生产者在发送消息时使用。消费者将以流的方式接收它们正在侦听的主题的所有消息。所有这些任务都可以通过标准的 Apache Kafka 工具来完成。


最后,值得一提的是,Amazon 为 MSK 提供了一个服务级别协议,确保了 99.9%的可用性。


Apache Kafka最初是在 LinkedIn 开发的,后来在 2011 年开源。Amazon 并不是唯一提供托管 Kafka 服务的供应商。特别值得一提的是,Confluent最近推出了一项名为Confluent Cloud的托管 Kafka 服务。该公司由最初开发了 Kafka 的 LinkedIn 团队创建,并专注于构建一个基于 Kafka 的平台。


如果你想开始使用 Amazon MKS,最好从Amazon分步指南开始。


查看英文原文Amazon Managed Kafka Aims to Simplify Kafka Streaming Setup and Use


2019 年 6 月 17 日 08:0018072
用户头像

发布了 385 篇内容, 共 171.0 次阅读, 收获喜欢 918 次。

关注

欲了解 AWS 的更多信息,请访问【AWS 技术专区】

评论

发布
暂无评论
发现更多内容

Hadoop Committer如何炼成?爱奇艺新晋核心贡献人给出了这份攻略!

爱奇艺技术产品团队

hadoop 开源 程序员 Apache社区

爱奇艺M2VOC挑战赛落幕,6篇论文被ICASSP2021收录

爱奇艺技术产品团队

Apache hadoop 开源 程序员 成长

百分点数据科学实验室:烟草行业市场信息采集数据质量评估体系研究探索

百分点大数据团队

阿里大佬离职带出内网专属“高并发系统设计”学习笔记

Java架构师迁哥

亮相智源大会,字节跳动自研同传系统的技术实现

字节跳动技术团队

推理综艺的正确打开方式!爱奇艺玩转智能技术,“互动+内容”引爆迷综季

爱奇艺技术产品团队

综艺节目 智能 影视制作

又到一年“粽子节”,快来测测你包的粽子颜值几分

华为云开发者社区

端午节 华为云 modelarts 粽子

Java从业者如果不懂这些,面试80%都会挂在这些核心知识上面

程序员改bug

Java spring 程序员 面试

从零开始学习3D可视化之场景层级(2)

森友小锘

前端 可视化 数字孪生

java异常分类和处理机制

加百利

Java 后端 异常 6月日更

动手实践,Linux安装php-vld全过程实录

架构精进之路

插件 6月日更 笔记分享

股价预测的基本思路(1)

Qien Z.

6月日更 量化投资 股价预测

【案例】星环科技助力华夏基金大数据平台建设

星环科技

深入了解一些字符串函数,内存函数(c语言)

小写丶H

c 字符串函数

硬核!阿里自爆虐心万字面试手册,Github上获赞89.7K

Java架构师迁哥

10大流行软件测试工具

百度开发者中心

测试工具

花了60天的时间肝出了这些spring,jvm,并发编程等学习笔记,春暖花开再战大厂!

Java架构师迁哥

Github全面爆火,这份阿里Java面试复盘笔记到底有何魅力?

云流

Java 程序员 架构 面试

狂刷了29天的阿里面试参考指南(恒山版),竟成功收到了12个offer

云流

Java 程序员 架构 面试

凭借阿里技术官最新版Java核心开发笔记,已斩获阿里offer

Crud的程序员

Java 架构 编程语言 后端开发

教学相长,物联网赋能教育数字化!

IoT云工坊

人工智能 物联网 智慧校园 智慧教室 智慧操场

全面互联网时代背景下,一个好的Java程序员需要掌握哪些核心技术

Crud的程序员

Java 程序员 编程语言

Boss直聘转发超90W次,Java面试突击手册 火遍全网,却遭封杀

Java架构师迁哥

重仓AI人才培养,打造产业落地升级护城河

百度大脑

人工智能

四面阿里巴巴如愿拿到offer定级P7,为此我筹备了半年

Java架构师迁哥

iOS 面试秘籍全套

程序员 编程之路 iOS 知识体系

一图读懂丨索信达灵枢如何助力金融机构提升模型管理效能

索信达控股

金融科技 监管平台 大数据平台 模型开发 数据管理平台

拆分电商系统为微服务

Vincent

架构训练营

Vue3.0 组合式 API 分析与实践

百度开发者中心

开发者

极狐(GitLab)开课了!实践进阶五步走,助你成为DevOps专家

极狐GitLab

DevOps认证

百分点科技助力中国环境监测总站“生态环境质量会商平台”上线

百分点大数据团队

开源中间件技术学习路线

开源中间件技术学习路线

Amazon Managed Kafka 旨在简化 Kafka Streaming 的设置和使用-InfoQ