【AICon】探索八个行业创新案例,教你在教育、金融、医疗、法律等领域实践大模型技术! >>> 了解详情
写点什么

Amazon Managed Kafka 旨在简化 Kafka Streaming 的设置和使用

  • 2019-06-17
  • 本文字数:964 字

    阅读完需:约 3 分钟

Amazon Managed Kafka 旨在简化 Kafka Streaming 的设置和使用

Amazon Managed Streaming for Kafka(MSK)在 AWS re: 2018 大会上推出公开预览版,现在,该服务正式发布。Amazon MSK 的目标是使基于 Kafka 的流应用程序的构建和运行变得更加容易。


新的 MSK GA 将对 Kafka 的支持扩展到 2.1.0 版本,同时,对于预览期间创建的应用程序,它与 Kafka 1.1.1 保持完全兼容。此外,亚马逊还根据早期客户的反馈添加了一些新功能。其中包括支持客户端和代理之间以及代理之间的 TLS 传输加密,与 AWS CloudTrail 集成用于日志记录以及基于集群创建时分配给集群的标记定义 IAM 策略的可能性。目前,在 AWS 云环境中提供 MSK 的唯一方法是使用 AWS 管理控制台和 CLI。然而,Amazon 正在添加AWS CloudFormation支持,以支持使用 JSON 或 YAML 文本描述进行 MSK 建模和配置。


亚马逊简化 Kafka 集成的努力不限于设置、扩展和管理自托管 Kafka 服务器的固有困难。事实上,它的 MSK 服务还包括一个 Apache Zookeeper 节点以确保高可用性和安全性,亚马逊不会对其收费。正如亚马逊数据流产品经理 Damien Wylie所说


我们将自动检测故障,然后重新引入一个新节点。因此,IP 可以保持不变,最后,你运行集群期间需要的任何补丁,我们都会自动为你应用。


在 AWS 管理控制台中创建 Kafka 集群的过程被大大简化了。你只需要选择要使用的 Kafka 版本,决定每个可用性区域需要多少代理,并设置加密和存储选项,其中大多数设置都提供了合理的默认值。如果希望更改代理实例类型或 Amazon EDB 卷大小,可以通过访问高级自定义设置部分来实现。


一旦你拥有了 Apache Kafka 集群,就可以设置任意数量的主题供生产者在发送消息时使用。消费者将以流的方式接收它们正在侦听的主题的所有消息。所有这些任务都可以通过标准的 Apache Kafka 工具来完成。


最后,值得一提的是,Amazon 为 MSK 提供了一个服务级别协议,确保了 99.9%的可用性。


Apache Kafka最初是在 LinkedIn 开发的,后来在 2011 年开源。Amazon 并不是唯一提供托管 Kafka 服务的供应商。特别值得一提的是,Confluent最近推出了一项名为Confluent Cloud的托管 Kafka 服务。该公司由最初开发了 Kafka 的 LinkedIn 团队创建,并专注于构建一个基于 Kafka 的平台。


如果你想开始使用 Amazon MKS,最好从Amazon分步指南开始。


查看英文原文Amazon Managed Kafka Aims to Simplify Kafka Streaming Setup and Use


2019-06-17 08:0019187
用户头像

发布了 689 篇内容, 共 398.8 次阅读, 收获喜欢 1498 次。

关注

评论

发布
暂无评论
发现更多内容

硬件产品管理(3):产品问题整理-举例

老壳有点爽

创业 硬件产品 智能硬件

如何做好项目时间管理?

石云升

项目管理 需求 项目排期

ARTS-WEEK11

一周思进

ARTS 打卡计划

ARTS打卡(20.08.17-20.08.23)

小王同学

硬件产品管理(2):产品QA检测

老壳有点爽

硬件产品 智能硬件 QA 产品管理

硬件产品管理(5):硬件产品工作流程管理及案例分析

老壳有点爽

创业 硬件产品 智能硬件 产品管理

高并发系统三大利器之限流

java金融

架构 高并发 分布式限流 限流 单机限流

ARTS Week13

时之虫

ARTS 打卡计划

面试的时候不能做捧哏

escray

学习 面试

《我在一线做用户增长》读书笔记及感想

王新涵

用户增长

Java中的单例模式(完整篇)

看山

Java 设计模式 单例模式

ARTS打卡 第13周

引花眠

微服务 ARTS 打卡计划

Java中的一些限制

xiaoxi666

架构师训练营 - 第 8 周学习总结

红了哟

浅谈 GET 和 POST 区别

叉叉敌

面试 post GET

硬件产品管理(1):手板管理流程

老壳有点爽

创业 硬件产品 智能硬件 手板

高并发系统三大利器之缓存

java金融

Java 缓存 高并发 本地缓存 分布式缓存

Java ForEach语句判断是否为空

引花眠

bug

disruptor 高性能队列最佳选择

柿子

队列 disruptoer 高性能队列

顺时针遍历矩阵,提高系统高并发350倍,React Native原理浅析 组件设计原则 安全架构 防火墙ModSecurity John 易筋 ARTS 打卡 Week 14

John(易筋)

ARTS 打卡计划 组件设计原则 React Native 高并发优化

MacOS抓包工具Charles

叉叉敌

ios charles 抓包

一家估值20亿美元的公司,竟然没有办公室?

Atlassian

远程办公 Atlassian Jira

程序员什么时候该考虑辞职

看山

随笔杂谈 辞职

(2.6w字)网络知识点灵魂拷问——前端面试必问

执鸢者

面试 大前端 网络 HTTP

速看!今天我才知道,UUID还分五个版本

麦洛

Java uuid

硬件产品管理(4):人体工程学验证

老壳有点爽

硬件产品 智能硬件 产品管理 人体工程学

设计模式:建造者模式

看山

设计模式 建造者模式

键盘敲入 A 字母时,期间发生了什么....

小林coding

操作系统 计算机基础 键盘

编程的乐趣与苦恼

看山

随笔杂谈 人月神话

什么是产品以及如何将一个开源软件项目产品化

常平

架构模式 架构设计 架构师 产品思维

【Elasticsearch 技术分享】—— ES 常用名词及结构

程序员小航

Java 搜索引擎 elastic ES Lucene Elastic Search

Amazon Managed Kafka 旨在简化 Kafka Streaming 的设置和使用_服务革新_Sergio De Simone_InfoQ精选文章