写点什么

Amazon Managed Streaming for Apache Kafka (MSK)

  • 2019-09-27
  • 本文字数:3084 字

    阅读完需:约 10 分钟

Amazon Managed Streaming for Apache Kafka (MSK)

Amazon Managed Streaming for Apache Kafka (MSK) – 现已全面推出


by Danilo Poccia | on 04 JUN 2019 | in News | Permalink | Share


我们的客户使用流数据的方式总是出人意料,令人赞叹。例如,全球最受企业和专业人士信赖的新闻机构之一 Thomson Reuters,构建了一个用于捕获、分析和可视化分析数据的解决方案,帮助产品团队不断改善用户体验。提供《卡通农场》、《部落冲突》和《海岛奇兵》等游戏的社交游戏公司 Supercell 正在实时提供游戏内数据,每天处理 450 亿个事件。


自从我们在 re:Invent 2013 上推出 Amazon Kinesis 以来,我们不断扩展客户在 AWS 上使用流数据的方式。部分可用工具包括:


Kinesis Data Streams,用于使用您自己的应用程序捕获、存储和处理数据流。


Kinesis Data Firehose,用于将数据转换并收集到 Amazon S3、Amazon Elasticsearch Service 和 Amazon Redshift 等目的地。


Kinesis Data Analytics,用于使用 SQL 或 Java(通过 Apache Flink 应用程序)持续分析数据,以便满足检测异常或进行时间序列聚合等需求。


Kinesis Video Streams,用于简化媒体流的处理。


在 re:Invent 2018 上,我们介绍了开放预览版的 Amazon Managed Streaming for Apache Kafka (MSK),这是一项完全托管的服务,可用于轻松构建和运行使用 Apache Kafka 处理流数据的应用程序。


我很高兴地宣布 Amazon MSK 于今天正式发布!


工作原理


Apache Kafka (Kafka) 是一个开源平台,它使客户能够捕获点击流事件、交易、IoT 事件、应用程序和机器日志等流数据,并拥有执行实时分析、运行连续转换和将这些数据实时分发到数据湖和数据库的应用程序。 您可将 Kafka 用作流数据存储,以将生成流数据(创建者)的应用程序与使用流数据(使用者)的应用程序分离。


虽然 Kafka 是一种流行的企业数据流和消息传递框架,但在生产环境中可能很难进行设置、扩展和管理。 Amazon MSK 负责处理这些管理任务,并可在遵循高可用性和安全性最佳实践的环境中轻松设置、配置和运行 Kafka 以及 Apache ZooKeeper。


您的 MSK 集群始终在由 MSK 服务管理的 Amazon VPC 中运行。您的 MSK 资源可通过弹性网络接口 (ENI) 提供给您自己的 VPC、子网和安全组,弹性网络接口 (ENI) 将显示在您的账户中,如以下架构图所述:



客户可以在几分钟内创建集群、使用 AWS Identity and Access Management (IAM) 控制集群操作、使用由 AWS Certificate Manager (ACM) 完全托管的 TLS 私有证书颁发机构授权客户端、使用 TLS 加密传输中数据,以及使用 AWS Key Management Service (KMS) 加密密钥加密静态数据。


Amazon MSK 会持续监控服务器运行状况,在服务器发生故障时自动替换服务器,自动执行服务器修补,并将高可用性 ZooKeeper 节点作为服务的一部分运行,而无需额外费用。Kafka 关键性能指标在控制台和 Amazon CloudWatch 中发布。Amazon MSK 与 Kafka 1.1.1 和 2.1.0 版完全兼容,因此您可以继续运行应用程序,使用 Kafka 的管理工具,并使用 Kafka 兼容的工具和框架,而无需更改代码。


根据我们在开放预览期间的客户反馈,Amazon MSK 添加了如下功能:


  • 通过客户端和代理之间以及代理之间的 TLS 进行传输加密

  • 使用 ACM 私有证书颁发机构进行相互 TLS 身份验证

  • 支持 Kafka 2.1.0 版

  • SLA 可用性达到 99.9%

  • 符合 HIPAA 要求

  • 集群范围的存储实现扩展

  • 与 AWS CloudTrail 集成以进行 MSK API 日志记录

  • 集群标记和基于标记的 IAM 策略应用程序

  • 为主题和代理定义自定义的集群范围配置

  • AWS CloudFormation 支持将在未来几周提供。


创建集群


让我们使用 AWS 管理控制台创建一个集群。我给集群命名,选择我想从中使用集群的 VPC 以及 Kafka 版本。



然后,我选择可用区 (AZ) 和要在 VPC 中使用的相应子网。在下一步中,我选择在每个可用区中部署的 Kafka 代理数量。更多的代理允许您通过将分区分配给不同的代理来扩展集群的吞吐量。



我可以添加标记来搜索和筛选我的资源、将 IAM 策略应用到 Amazon MSK API,并跟踪成本。对于存储,我保留每个代理的默认存储卷大小。



我选择在集群中使用加密,并允许在客户端和代理之间传输 TLS 和纯文本流量。对于静态数据,我使用 AWS 托管的客户主密钥 (CMK),但您可以使用 KMS 在您的账户中选择 CMK 以进行进一步控制。您可以使用私有 TLS 证书来验证连接到您的集群的客户端身份。此功能要使用 ACM 的私有证书颁发机构 (CA)。现在,我未选中此选项。



在高级设置中,我保留默认值。例如,我可以在这里为我的代理选择不同的实例类型。其中一些设置可以使用 AWS CLI 进行更新。



我创建集群并通过集群摘要监控状态,包括我在通过 CLI 或 SDK 进行交互时可以使用的 Amazon 资源名称 (ARN)。



当状态为活动状态时,客户端信息部分会提供连接到集群的特定详细信息,例如:


  • 我可以使用 Kafka 工具连接到集群的引导服务器。

  • 主机和端口的 Zookeeper 连接列表。


我可以使用 AWS CLI 获取类似信息:


  • aws kafka list-clusters 用于查看特定区域中集群的 ARN

  • aws kafka get-bootstrap-brokers --cluster-arn 用于获取 Kafka 引导服务器

  • aws kafka describe-cluster --cluster-arn 用于查看有关集群的更多详细信息,包括 Zookeeper 连接字符串快速演示如何使用 Kafka


为了开始使用 Kafka,我在同一个 VPC 中创建了两个 EC2 实例,一个是创建者,一个是使用者。为了将它们设置为客户端计算机,我从 Apache 网站或任何镜像下载并提取 Kafka 工具。 Kafka 需要 Java 8 才能运行,所以我安装了 Amazon Corretto 8。


在创建者实例上的 Kafka 目录中,我创建了一个主题,用于将数据从创建者发送到使用者:


bin/kafka-topics.sh --create --zookeeper <ZookeeperConnectString> \--replication-factor 3 --partitions 1 --topic MyTopic
复制代码


然后我启动了一个基于控制台的创建者:


bin/kafka-console-producer.sh --broker-list <BootstrapBrokerString> \--topic MyTopic
复制代码


在使用者实例的 Kafka 目录中,我启动了一个基于控制台的使用者:


bin/kafka-console-consumer.sh --bootstrap-server <BootstrapBrokerString> \--topic MyTopic --from-beginning
复制代码


下面是快速演示的录制内容,我在其中创建主题,然后从创建者(顶级终端)向该主题的使用者(底部终端)发送消息:



定价和可用性


定价根据 Kafka 代理小时和配置的存储小时计算。集群使用的 Zookeeper 节点无需支付任何费用。 AWS 数据传输率适用于进出 MSK 的数据传输。您不需要为区域中集群内的数据传输付费,包括代理之间的数据传输以及代理和 ZooKeeper 节点之间的数据传输。


您可以使用 MirrorMaker(随开源 Kafka 一起提供)等工具将现有 Kafka 集群迁移到 MSK,从而将数据从您的集群复制到 MSK 集群。


上游兼容性是 Amazon MSK 的核心原则。我们对 Kafka 平台的代码更改将发布回开源。


Amazon MSK 已在以下区域推出:美国东部(弗吉尼亚北部)、美国东部(俄亥俄)、美国西部(俄勒冈)、亚太地区(东京)、亚太地区(新加坡)、亚太地区(悉尼)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(巴黎)和欧洲(伦敦)。


您会如何使用 Amazon MSK 来简化流应用程序的构建并将其迁移到云呢?我拭目以待!


作者介绍:


Danilo Poccia


Danilo 与初创公司和各种规模的公司合作,支持他们进行创新。作为 Amazon Web Services 的宣传官,他利用自己的经验帮助人们将想法变为现实,关注无服务器架构和事件驱动编程,以及机器学习和边缘计算对技术和业务的影响。他是《AWS Lambda in Action from Manning》一书的作者。


本文转载自 AWS 技术博客。


原文链接:


https://amazonaws-china.com/cn/blogs/china/amazon-managed-streaming-for-apache-kafka-msk-now-generally-available/


2019-09-27 16:551019
用户头像

发布了 1909 篇内容, 共 147.4 次阅读, 收获喜欢 81 次。

关注

评论

发布
暂无评论
发现更多内容

【运维探讨】RPA落地实践,提升IT运维工作效能!

嘉为蓝鲸

RPA 运维自动化 标准化 系统运维 流程

为什么阿里巴巴的程序员成长速度这么快,看完他们的内部资料我明白了

Java迁哥

Java 阿里巴巴 程序员 成长 笔记

鲲鹏迁移第一批吃螃蟹的人,践行技术国际化

华为云开发者联盟

鲲鹏920 服务器 华为云 ARM芯片 X86

9块钱,构建个私有网盘,关键不限速

华为云开发者联盟

网站 OBS 在线网盘 华为云 云存储

拥抱K8S系列-01-CentOS7安装docker

张无忌

Docker centos 运维

vivo商城前端架构升级-总览篇

vivo互联网技术

node.js Vue 大前端 架构设计

JDK8 Unsafe.java 源码

Darren

源码 并发 CAS 代码注释 unsafe

花两个半月吃透这份Java手打面经,成功从外包上岸到京东

Java迁哥

Java 学习 腾讯 面试 资料

程序员如何获取一份高薪工作?阿里P8大牛给你一些中肯的建议

Java迁哥

Java 华为 程序员 面试 资料

35K成功上岸华为商城事业部,只因学透了这几个开源的商城项目

Java迁哥

Java 华为 源码 资料 商城项目

区块链交易所开发源码,数字货币交易所app开发

13530558032

区块链支付系统源码开发,USDT承兑支付平台

13530558032

Java创建对象的方法有哪些?

古月木易

Java

Java创建对象的方法有哪些?

奈学教育

Java

【API进阶之路】破圈,用一个API代替10人内容团队

华为云开发者联盟

内容 编辑 API 华为云 文本摘要

分析HiveQL 生成的MapReduce执行程序

任小龙

LeetCode题解:84. 柱状图中最大的矩形,双循环暴力,JavaScript,详细注释

Lee Chen

大前端 LeetCode

数字货币钱包系统定制开发,区块链钱包源码

13530558032

week12 homework

burner

一条龙!CI / CD 、打造小团队前端工程化服务

久违

Vue 大前端 jenkins React

Java中强、软、弱、虚四种引用详解

古月木易

Java

Java中强、软、弱、虚四种引用详解

奈学教育

Java

高效程序员的45个习惯:敏捷开发修炼之道(7)

石云升

敏捷开发 晨会

2019年我最喜欢的三款数码产品。

徐说科技

手机 苹果

Docker 网络模式详解及容器间网络通信

哈喽沃德先生

Docker 容器 微服务

合约跟单系统开发,数字货币合约跟单软件搭建

13530558032

面经手册 · 第9篇《队列是什么?什么是双端队列、延迟对列、阻塞队列,全是知识盲区!》

小傅哥

数据结构 小傅哥 队列 ArrayDeque

ArCall远比你想象的要强大的多

anyRTC开发者

WebRTC 在线教育 直播 RTC 安卓

架构设计复杂度来源

escray

学习 从零开始学架构 架构师预科班

JVM中unsafe.cpp源码

Darren

c++ 源码 JVM unsafe

实战案例丨使用云连接CC和数据复制服务DRS实现跨区域RDS迁移和数据同步

华为云开发者联盟

迁移 灾备 数据复制 云连接 数据同步

Amazon Managed Streaming for Apache Kafka (MSK)_语言 & 开发_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章