AI 年度盘点与2025发展趋势展望,50+案例解析亮相AICon 了解详情
写点什么

Amazon Managed Kafka 旨在简化 Kafka Streaming 的设置和使用

  • 2019-06-17
  • 本文字数:964 字

    阅读完需:约 3 分钟

Amazon Managed Kafka 旨在简化 Kafka Streaming 的设置和使用

Amazon Managed Streaming for Kafka(MSK)在 AWS re: 2018 大会上推出公开预览版,现在,该服务正式发布。Amazon MSK 的目标是使基于 Kafka 的流应用程序的构建和运行变得更加容易。


新的 MSK GA 将对 Kafka 的支持扩展到 2.1.0 版本,同时,对于预览期间创建的应用程序,它与 Kafka 1.1.1 保持完全兼容。此外,亚马逊还根据早期客户的反馈添加了一些新功能。其中包括支持客户端和代理之间以及代理之间的 TLS 传输加密,与 AWS CloudTrail 集成用于日志记录以及基于集群创建时分配给集群的标记定义 IAM 策略的可能性。目前,在 AWS 云环境中提供 MSK 的唯一方法是使用 AWS 管理控制台和 CLI。然而,Amazon 正在添加AWS CloudFormation支持,以支持使用 JSON 或 YAML 文本描述进行 MSK 建模和配置。


亚马逊简化 Kafka 集成的努力不限于设置、扩展和管理自托管 Kafka 服务器的固有困难。事实上,它的 MSK 服务还包括一个 Apache Zookeeper 节点以确保高可用性和安全性,亚马逊不会对其收费。正如亚马逊数据流产品经理 Damien Wylie所说


我们将自动检测故障,然后重新引入一个新节点。因此,IP 可以保持不变,最后,你运行集群期间需要的任何补丁,我们都会自动为你应用。


在 AWS 管理控制台中创建 Kafka 集群的过程被大大简化了。你只需要选择要使用的 Kafka 版本,决定每个可用性区域需要多少代理,并设置加密和存储选项,其中大多数设置都提供了合理的默认值。如果希望更改代理实例类型或 Amazon EDB 卷大小,可以通过访问高级自定义设置部分来实现。


一旦你拥有了 Apache Kafka 集群,就可以设置任意数量的主题供生产者在发送消息时使用。消费者将以流的方式接收它们正在侦听的主题的所有消息。所有这些任务都可以通过标准的 Apache Kafka 工具来完成。


最后,值得一提的是,Amazon 为 MSK 提供了一个服务级别协议,确保了 99.9%的可用性。


Apache Kafka最初是在 LinkedIn 开发的,后来在 2011 年开源。Amazon 并不是唯一提供托管 Kafka 服务的供应商。特别值得一提的是,Confluent最近推出了一项名为Confluent Cloud的托管 Kafka 服务。该公司由最初开发了 Kafka 的 LinkedIn 团队创建,并专注于构建一个基于 Kafka 的平台。


如果你想开始使用 Amazon MKS,最好从Amazon分步指南开始。


查看英文原文Amazon Managed Kafka Aims to Simplify Kafka Streaming Setup and Use


2019-06-17 08:0019286
用户头像

发布了 741 篇内容, 共 479.7 次阅读, 收获喜欢 1549 次。

关注

评论

发布
暂无评论
发现更多内容

数据隔离、访问授权,用好大数据为什么这么难?

华为云开发者联盟

大数据 数据湖 华为云 DLI 数据隔离

浅谈业务系统设计哲学

滴滴普惠出行

CUDA,cuDNN,pytorch 在win10环境下的下载安装

Qx

教程 PyTorch

区块链承兑支付系统开发,USDT入金支付系统

13530558032

合约跟单交易系统开发,交易所一键跟单模式搭建

13530558032

奈学:Executor线程池的概述

奈学教育

线程池 Executor

如何在3秒内打开一个网址

BabyKing

第 0 期架构师训练营第 4周作业 2--- 总结

fujin

架构重构之禅

ninetyhe

Java 架构设计 代码重构

温故知新——Spring AOP

牛初九

spring aop ioc

Docker 之常见应用部署

哈喽沃德先生

Docker 容器 微服务

前端训练营(15)-动画

罗思雨

大前端

永续合约交易系统开发方案,合约交易所源码搭建

13530558032

爱技术爱折腾,想要编程到60岁--我的十年

盛安德软件

有了MDL锁视图,业务死锁从此一目了然

华为云开发者联盟

MySQL 数据库 华为云 MDL锁视图 元数据

技术揭秘:华为云DLI背后的核心计算引擎

华为云开发者联盟

大数据 spark 数据湖 华为云 DLI

Docker 镜像构建之 docker commit

哈喽沃德先生

Docker 容器 微服务

第 0 期架构师训练营第 3 周作业2---总结

fujin

90%的开发都没搞懂的CI和CD!

禅道项目管理

ci DevOps 持续集成 持续交付 持续部署

实用!教学白板跨国低时延互动技术实现指南

ZEGO即构

OSS 全站加速 集群

JAVA,.NET项目开发难上手?Learun敏捷开发框架解君愁

Learun

第 0 期架构师训练营第 4 周作业 1

fujin

Week11总结

熊威

白板技术实践:在线教育平台如何保障课件数据安全

ZEGO即构

加密解密 OSS 鉴权

一周信创舆情观察(8.10~8.23)

统小信uos

第 0 期架构师训练营第3周作业1

fujin

组合模式

LeetCode题解:20. 有效的括号,栈,JavaScript,详细注释

Lee Chen

大前端 LeetCode

奈学:Executor线程池的概述

古月木易

线程池 Executor

netdata安装到redhat7.6最简手册

橙子冰

netdata

区块链钱包应用开发,数字货币钱包源码

13530558032

XSKY星辰天合助力中国五矿打造政企办公新标杆

XSKY星辰天合

Amazon Managed Kafka 旨在简化 Kafka Streaming 的设置和使用_服务革新_Sergio De Simone_InfoQ精选文章