《HarmonyOS:领航者说》技术公开课来啦,大咖分享、实战解码,不容错过 了解详情
写点什么

Amazon Managed Streaming for Apache Kafka (MSK)

  • 2019-09-27
  • 本文字数:3084 字

    阅读完需:约 10 分钟

Amazon Managed Streaming for Apache Kafka (MSK)

Amazon Managed Streaming for Apache Kafka (MSK) – 现已全面推出


by Danilo Poccia | on 04 JUN 2019 | in News | Permalink | Share


我们的客户使用流数据的方式总是出人意料,令人赞叹。例如,全球最受企业和专业人士信赖的新闻机构之一 Thomson Reuters,构建了一个用于捕获、分析和可视化分析数据的解决方案,帮助产品团队不断改善用户体验。提供《卡通农场》、《部落冲突》和《海岛奇兵》等游戏的社交游戏公司 Supercell 正在实时提供游戏内数据,每天处理 450 亿个事件。


自从我们在 re:Invent 2013 上推出 Amazon Kinesis 以来,我们不断扩展客户在 AWS 上使用流数据的方式。部分可用工具包括:


Kinesis Data Streams,用于使用您自己的应用程序捕获、存储和处理数据流。


Kinesis Data Firehose,用于将数据转换并收集到 Amazon S3、Amazon Elasticsearch Service 和 Amazon Redshift 等目的地。


Kinesis Data Analytics,用于使用 SQL 或 Java(通过 Apache Flink 应用程序)持续分析数据,以便满足检测异常或进行时间序列聚合等需求。


Kinesis Video Streams,用于简化媒体流的处理。


在 re:Invent 2018 上,我们介绍了开放预览版的 Amazon Managed Streaming for Apache Kafka (MSK),这是一项完全托管的服务,可用于轻松构建和运行使用 Apache Kafka 处理流数据的应用程序。


我很高兴地宣布 Amazon MSK 于今天正式发布!


工作原理


Apache Kafka (Kafka) 是一个开源平台,它使客户能够捕获点击流事件、交易、IoT 事件、应用程序和机器日志等流数据,并拥有执行实时分析、运行连续转换和将这些数据实时分发到数据湖和数据库的应用程序。 您可将 Kafka 用作流数据存储,以将生成流数据(创建者)的应用程序与使用流数据(使用者)的应用程序分离。


虽然 Kafka 是一种流行的企业数据流和消息传递框架,但在生产环境中可能很难进行设置、扩展和管理。 Amazon MSK 负责处理这些管理任务,并可在遵循高可用性和安全性最佳实践的环境中轻松设置、配置和运行 Kafka 以及 Apache ZooKeeper。


您的 MSK 集群始终在由 MSK 服务管理的 Amazon VPC 中运行。您的 MSK 资源可通过弹性网络接口 (ENI) 提供给您自己的 VPC、子网和安全组,弹性网络接口 (ENI) 将显示在您的账户中,如以下架构图所述:



客户可以在几分钟内创建集群、使用 AWS Identity and Access Management (IAM) 控制集群操作、使用由 AWS Certificate Manager (ACM) 完全托管的 TLS 私有证书颁发机构授权客户端、使用 TLS 加密传输中数据,以及使用 AWS Key Management Service (KMS) 加密密钥加密静态数据。


Amazon MSK 会持续监控服务器运行状况,在服务器发生故障时自动替换服务器,自动执行服务器修补,并将高可用性 ZooKeeper 节点作为服务的一部分运行,而无需额外费用。Kafka 关键性能指标在控制台和 Amazon CloudWatch 中发布。Amazon MSK 与 Kafka 1.1.1 和 2.1.0 版完全兼容,因此您可以继续运行应用程序,使用 Kafka 的管理工具,并使用 Kafka 兼容的工具和框架,而无需更改代码。


根据我们在开放预览期间的客户反馈,Amazon MSK 添加了如下功能:


  • 通过客户端和代理之间以及代理之间的 TLS 进行传输加密

  • 使用 ACM 私有证书颁发机构进行相互 TLS 身份验证

  • 支持 Kafka 2.1.0 版

  • SLA 可用性达到 99.9%

  • 符合 HIPAA 要求

  • 集群范围的存储实现扩展

  • 与 AWS CloudTrail 集成以进行 MSK API 日志记录

  • 集群标记和基于标记的 IAM 策略应用程序

  • 为主题和代理定义自定义的集群范围配置

  • AWS CloudFormation 支持将在未来几周提供。


创建集群


让我们使用 AWS 管理控制台创建一个集群。我给集群命名,选择我想从中使用集群的 VPC 以及 Kafka 版本。



然后,我选择可用区 (AZ) 和要在 VPC 中使用的相应子网。在下一步中,我选择在每个可用区中部署的 Kafka 代理数量。更多的代理允许您通过将分区分配给不同的代理来扩展集群的吞吐量。



我可以添加标记来搜索和筛选我的资源、将 IAM 策略应用到 Amazon MSK API,并跟踪成本。对于存储,我保留每个代理的默认存储卷大小。



我选择在集群中使用加密,并允许在客户端和代理之间传输 TLS 和纯文本流量。对于静态数据,我使用 AWS 托管的客户主密钥 (CMK),但您可以使用 KMS 在您的账户中选择 CMK 以进行进一步控制。您可以使用私有 TLS 证书来验证连接到您的集群的客户端身份。此功能要使用 ACM 的私有证书颁发机构 (CA)。现在,我未选中此选项。



在高级设置中,我保留默认值。例如,我可以在这里为我的代理选择不同的实例类型。其中一些设置可以使用 AWS CLI 进行更新。



我创建集群并通过集群摘要监控状态,包括我在通过 CLI 或 SDK 进行交互时可以使用的 Amazon 资源名称 (ARN)。



当状态为活动状态时,客户端信息部分会提供连接到集群的特定详细信息,例如:


  • 我可以使用 Kafka 工具连接到集群的引导服务器。

  • 主机和端口的 Zookeeper 连接列表。


我可以使用 AWS CLI 获取类似信息:


  • aws kafka list-clusters 用于查看特定区域中集群的 ARN

  • aws kafka get-bootstrap-brokers --cluster-arn 用于获取 Kafka 引导服务器

  • aws kafka describe-cluster --cluster-arn 用于查看有关集群的更多详细信息,包括 Zookeeper 连接字符串快速演示如何使用 Kafka


为了开始使用 Kafka,我在同一个 VPC 中创建了两个 EC2 实例,一个是创建者,一个是使用者。为了将它们设置为客户端计算机,我从 Apache 网站或任何镜像下载并提取 Kafka 工具。 Kafka 需要 Java 8 才能运行,所以我安装了 Amazon Corretto 8。


在创建者实例上的 Kafka 目录中,我创建了一个主题,用于将数据从创建者发送到使用者:


bin/kafka-topics.sh --create --zookeeper <ZookeeperConnectString> \--replication-factor 3 --partitions 1 --topic MyTopic
复制代码


然后我启动了一个基于控制台的创建者:


bin/kafka-console-producer.sh --broker-list <BootstrapBrokerString> \--topic MyTopic
复制代码


在使用者实例的 Kafka 目录中,我启动了一个基于控制台的使用者:


bin/kafka-console-consumer.sh --bootstrap-server <BootstrapBrokerString> \--topic MyTopic --from-beginning
复制代码


下面是快速演示的录制内容,我在其中创建主题,然后从创建者(顶级终端)向该主题的使用者(底部终端)发送消息:



定价和可用性


定价根据 Kafka 代理小时和配置的存储小时计算。集群使用的 Zookeeper 节点无需支付任何费用。 AWS 数据传输率适用于进出 MSK 的数据传输。您不需要为区域中集群内的数据传输付费,包括代理之间的数据传输以及代理和 ZooKeeper 节点之间的数据传输。


您可以使用 MirrorMaker(随开源 Kafka 一起提供)等工具将现有 Kafka 集群迁移到 MSK,从而将数据从您的集群复制到 MSK 集群。


上游兼容性是 Amazon MSK 的核心原则。我们对 Kafka 平台的代码更改将发布回开源。


Amazon MSK 已在以下区域推出:美国东部(弗吉尼亚北部)、美国东部(俄亥俄)、美国西部(俄勒冈)、亚太地区(东京)、亚太地区(新加坡)、亚太地区(悉尼)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(巴黎)和欧洲(伦敦)。


您会如何使用 Amazon MSK 来简化流应用程序的构建并将其迁移到云呢?我拭目以待!


作者介绍:


Danilo Poccia


Danilo 与初创公司和各种规模的公司合作,支持他们进行创新。作为 Amazon Web Services 的宣传官,他利用自己的经验帮助人们将想法变为现实,关注无服务器架构和事件驱动编程,以及机器学习和边缘计算对技术和业务的影响。他是《AWS Lambda in Action from Manning》一书的作者。


本文转载自 AWS 技术博客。


原文链接:


https://amazonaws-china.com/cn/blogs/china/amazon-managed-streaming-for-apache-kafka-msk-now-generally-available/


2019-09-27 16:551029
用户头像

发布了 1912 篇内容, 共 148.3 次阅读, 收获喜欢 81 次。

关注

评论

发布
暂无评论
发现更多内容

AI只不过是"普通"技术 [翻译&阅读笔记]

技艺的尾巴

HarmonyOS运动开发:户外运动中计算卡路里

王二蛋和他的张大花

鸿蒙 os

如何将CAD图纸直接导出为工程蓝图?

在路上

cad cad看图 CAD看图王

大厂外包VS小公司,你会怎么选?

王中阳Go

Go 外包 小公司

CAD如何导出PDF?PDF如何转CAD?详细教程来了

在路上

cad cad看图 CAD看图软件

HarmonyOS NEXT 中级开发笔记:基于ArkUI的健身体操应用界面实践

chengxujianke

安全产品//等保一体机

黑龙江陆陆信息测评部

WebGL技术在行业中的应用

北京木奇移动技术有限公司

软件外包公司 webgl开发 webgl技术

从清华实验室到京东零售技术:一位算法工程师的风控实战录

京东零售技术

【FAQ】HarmonyOS SDK 闭源开放能力 —Live View Kit (3)

HarmonyOS SDK

harmoyos

AI辅助写作 从提笔难到高效创作的智能升级

郑州埃文科技

全新开源鸿蒙电脑开鸿Bot系列即将上市,搭载的KaihongOS桌面版四大体验引期待

科技热闻

提升效率,从一个时间戳转换工具开始,CodeBuddy Craft 实战分享

不惑

CodeBuddy首席试玩官

WebGL 的开发框架

北京木奇移动技术有限公司

软件外包公司 webgl开发 webgl开发公司

HarmonyOS NEXT 中级开发笔记:基于ArkUI的燃脂运动应用实践

chengxujianke

深入浅出DDD:从理论到落地的关键

百度Geek说

Go 后端

容器技术驱动云原生与小程序生态融合:应用开发新范式

xuyinyin

高分辨率LED显示屏:选购前的7个关键点

Dylan

商业 广告 LED显示屏 全彩LED显示屏 led显示屏厂家

Second-Brain 如何用 NocoBase 为金融企业构建 AI 系统

NocoBase

开源 AI 低代码 AI系统 决策系统

MySQL派生条件下推优化导致自定义变量结果错误问题分析

GreatSQL

HarmonyOS NEXT 中级开发笔记:音乐播放器ArkUI实践

chengxujianke

SEUs获取与续证流程

ShineScrum

敏捷

WebGL开发框架的性能比较

北京木奇移动技术有限公司

软件外包公司 webgl外包开发 webgl开发公司

WebGL开发框架的比较

北京木奇移动技术有限公司

软件外包公司 webgl开发 webgl外包开发

【HarmonyOS 5】鸿蒙mPaaS详解

GeorgeGcs

鸿蒙 HarmonyOS mPaaS

vivo 官网 APP 首页端智能业务实践

vivo互联网技术

深度学习 算法 前端

【CodeBuddy】三分钟开发一个实用小功能之:马赛克生成器

jimaks

CSS

NocoBase 本周更新汇总:模板打印支持批量打印

NocoBase

开源 低代码 零代码 版本更新 模板打印

告别静态UI!Guineration用AI打造用户专属动态界面

鼎道智联

AI技术在英语口语学习中的应用

北京木奇移动技术有限公司

软件外包公司 AI口语练习 AI英语学习

如何设计一个高性能可扩展的自旋锁

程序员老王

Amazon Managed Streaming for Apache Kafka (MSK)_语言 & 开发_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章