写点什么

Amazon Managed Streaming for Apache Kafka (MSK)

  • 2019-09-27
  • 本文字数:3084 字

    阅读完需:约 10 分钟

Amazon Managed Streaming for Apache Kafka (MSK)

Amazon Managed Streaming for Apache Kafka (MSK) – 现已全面推出


by Danilo Poccia | on 04 JUN 2019 | in News | Permalink | Share


我们的客户使用流数据的方式总是出人意料,令人赞叹。例如,全球最受企业和专业人士信赖的新闻机构之一 Thomson Reuters,构建了一个用于捕获、分析和可视化分析数据的解决方案,帮助产品团队不断改善用户体验。提供《卡通农场》、《部落冲突》和《海岛奇兵》等游戏的社交游戏公司 Supercell 正在实时提供游戏内数据,每天处理 450 亿个事件。


自从我们在 re:Invent 2013 上推出 Amazon Kinesis 以来,我们不断扩展客户在 AWS 上使用流数据的方式。部分可用工具包括:


Kinesis Data Streams,用于使用您自己的应用程序捕获、存储和处理数据流。


Kinesis Data Firehose,用于将数据转换并收集到 Amazon S3、Amazon Elasticsearch Service 和 Amazon Redshift 等目的地。


Kinesis Data Analytics,用于使用 SQL 或 Java(通过 Apache Flink 应用程序)持续分析数据,以便满足检测异常或进行时间序列聚合等需求。


Kinesis Video Streams,用于简化媒体流的处理。


在 re:Invent 2018 上,我们介绍了开放预览版的 Amazon Managed Streaming for Apache Kafka (MSK),这是一项完全托管的服务,可用于轻松构建和运行使用 Apache Kafka 处理流数据的应用程序。


我很高兴地宣布 Amazon MSK 于今天正式发布!


工作原理


Apache Kafka (Kafka) 是一个开源平台,它使客户能够捕获点击流事件、交易、IoT 事件、应用程序和机器日志等流数据,并拥有执行实时分析、运行连续转换和将这些数据实时分发到数据湖和数据库的应用程序。 您可将 Kafka 用作流数据存储,以将生成流数据(创建者)的应用程序与使用流数据(使用者)的应用程序分离。


虽然 Kafka 是一种流行的企业数据流和消息传递框架,但在生产环境中可能很难进行设置、扩展和管理。 Amazon MSK 负责处理这些管理任务,并可在遵循高可用性和安全性最佳实践的环境中轻松设置、配置和运行 Kafka 以及 Apache ZooKeeper。


您的 MSK 集群始终在由 MSK 服务管理的 Amazon VPC 中运行。您的 MSK 资源可通过弹性网络接口 (ENI) 提供给您自己的 VPC、子网和安全组,弹性网络接口 (ENI) 将显示在您的账户中,如以下架构图所述:



客户可以在几分钟内创建集群、使用 AWS Identity and Access Management (IAM) 控制集群操作、使用由 AWS Certificate Manager (ACM) 完全托管的 TLS 私有证书颁发机构授权客户端、使用 TLS 加密传输中数据,以及使用 AWS Key Management Service (KMS) 加密密钥加密静态数据。


Amazon MSK 会持续监控服务器运行状况,在服务器发生故障时自动替换服务器,自动执行服务器修补,并将高可用性 ZooKeeper 节点作为服务的一部分运行,而无需额外费用。Kafka 关键性能指标在控制台和 Amazon CloudWatch 中发布。Amazon MSK 与 Kafka 1.1.1 和 2.1.0 版完全兼容,因此您可以继续运行应用程序,使用 Kafka 的管理工具,并使用 Kafka 兼容的工具和框架,而无需更改代码。


根据我们在开放预览期间的客户反馈,Amazon MSK 添加了如下功能:


  • 通过客户端和代理之间以及代理之间的 TLS 进行传输加密

  • 使用 ACM 私有证书颁发机构进行相互 TLS 身份验证

  • 支持 Kafka 2.1.0 版

  • SLA 可用性达到 99.9%

  • 符合 HIPAA 要求

  • 集群范围的存储实现扩展

  • 与 AWS CloudTrail 集成以进行 MSK API 日志记录

  • 集群标记和基于标记的 IAM 策略应用程序

  • 为主题和代理定义自定义的集群范围配置

  • AWS CloudFormation 支持将在未来几周提供。


创建集群


让我们使用 AWS 管理控制台创建一个集群。我给集群命名,选择我想从中使用集群的 VPC 以及 Kafka 版本。



然后,我选择可用区 (AZ) 和要在 VPC 中使用的相应子网。在下一步中,我选择在每个可用区中部署的 Kafka 代理数量。更多的代理允许您通过将分区分配给不同的代理来扩展集群的吞吐量。



我可以添加标记来搜索和筛选我的资源、将 IAM 策略应用到 Amazon MSK API,并跟踪成本。对于存储,我保留每个代理的默认存储卷大小。



我选择在集群中使用加密,并允许在客户端和代理之间传输 TLS 和纯文本流量。对于静态数据,我使用 AWS 托管的客户主密钥 (CMK),但您可以使用 KMS 在您的账户中选择 CMK 以进行进一步控制。您可以使用私有 TLS 证书来验证连接到您的集群的客户端身份。此功能要使用 ACM 的私有证书颁发机构 (CA)。现在,我未选中此选项。



在高级设置中,我保留默认值。例如,我可以在这里为我的代理选择不同的实例类型。其中一些设置可以使用 AWS CLI 进行更新。



我创建集群并通过集群摘要监控状态,包括我在通过 CLI 或 SDK 进行交互时可以使用的 Amazon 资源名称 (ARN)。



当状态为活动状态时,客户端信息部分会提供连接到集群的特定详细信息,例如:


  • 我可以使用 Kafka 工具连接到集群的引导服务器。

  • 主机和端口的 Zookeeper 连接列表。


我可以使用 AWS CLI 获取类似信息:


  • aws kafka list-clusters 用于查看特定区域中集群的 ARN

  • aws kafka get-bootstrap-brokers --cluster-arn 用于获取 Kafka 引导服务器

  • aws kafka describe-cluster --cluster-arn 用于查看有关集群的更多详细信息,包括 Zookeeper 连接字符串快速演示如何使用 Kafka


为了开始使用 Kafka,我在同一个 VPC 中创建了两个 EC2 实例,一个是创建者,一个是使用者。为了将它们设置为客户端计算机,我从 Apache 网站或任何镜像下载并提取 Kafka 工具。 Kafka 需要 Java 8 才能运行,所以我安装了 Amazon Corretto 8。


在创建者实例上的 Kafka 目录中,我创建了一个主题,用于将数据从创建者发送到使用者:


bin/kafka-topics.sh --create --zookeeper <ZookeeperConnectString> \--replication-factor 3 --partitions 1 --topic MyTopic
复制代码


然后我启动了一个基于控制台的创建者:


bin/kafka-console-producer.sh --broker-list <BootstrapBrokerString> \--topic MyTopic
复制代码


在使用者实例的 Kafka 目录中,我启动了一个基于控制台的使用者:


bin/kafka-console-consumer.sh --bootstrap-server <BootstrapBrokerString> \--topic MyTopic --from-beginning
复制代码


下面是快速演示的录制内容,我在其中创建主题,然后从创建者(顶级终端)向该主题的使用者(底部终端)发送消息:



定价和可用性


定价根据 Kafka 代理小时和配置的存储小时计算。集群使用的 Zookeeper 节点无需支付任何费用。 AWS 数据传输率适用于进出 MSK 的数据传输。您不需要为区域中集群内的数据传输付费,包括代理之间的数据传输以及代理和 ZooKeeper 节点之间的数据传输。


您可以使用 MirrorMaker(随开源 Kafka 一起提供)等工具将现有 Kafka 集群迁移到 MSK,从而将数据从您的集群复制到 MSK 集群。


上游兼容性是 Amazon MSK 的核心原则。我们对 Kafka 平台的代码更改将发布回开源。


Amazon MSK 已在以下区域推出:美国东部(弗吉尼亚北部)、美国东部(俄亥俄)、美国西部(俄勒冈)、亚太地区(东京)、亚太地区(新加坡)、亚太地区(悉尼)、欧洲(法兰克福)、欧洲(爱尔兰)、欧洲(巴黎)和欧洲(伦敦)。


您会如何使用 Amazon MSK 来简化流应用程序的构建并将其迁移到云呢?我拭目以待!


作者介绍:


Danilo Poccia


Danilo 与初创公司和各种规模的公司合作,支持他们进行创新。作为 Amazon Web Services 的宣传官,他利用自己的经验帮助人们将想法变为现实,关注无服务器架构和事件驱动编程,以及机器学习和边缘计算对技术和业务的影响。他是《AWS Lambda in Action from Manning》一书的作者。


本文转载自 AWS 技术博客。


原文链接:


https://amazonaws-china.com/cn/blogs/china/amazon-managed-streaming-for-apache-kafka-msk-now-generally-available/


2019-09-27 16:551014
用户头像

发布了 1907 篇内容, 共 146.5 次阅读, 收获喜欢 81 次。

关注

评论

发布
暂无评论
发现更多内容

JetBrains WebStorm v2024.3.4 (JavaScript集成开发环境) 中文激活版

Rose

人工智能丨ChatGPT 免费开放网络搜索,能否挑战 Google 的搜索霸主地位?

测试人

Typora:极简主义者的Markdown写作神器

Rose

国际专线宽带是什么?有什么优势?

Ogcloud

国际专线 国际网络专线 网络专线 国际专线宽带

仓库管理 RPA 技术全解析:优势、应用场景与厂商

Techinsight

RPA Agent 仓库管理系统

Elasticsearch:使用阿里云 AI 服务进行向量化和重新排名

阿里云大数据AI技术

人工智能 elasticsearch Qwen DeepSeek

Color Wheel for Mac(mac色轮工具)v8.5中文激活版

Rose

干货!RPA 化解电商对账复杂流程全解析

Techinsight

电商 电商节 AI Agent

JetBrains CLion v2024.3.4中文激活安装教程 附永久密钥

Rose

秒验三网合一,打破运营商壁垒的用户增长加速器

MobTech袤博科技

观测云产品更新 | 可用性监测、场景图表、指标管理等优化

观测云

产品迭代

MacDroid Pro for mac(安卓手机数据传输助手)2.3激活版

Rose

秒验:重构APP用户体验与运营效率

MobTech袤博科技

消防行业如何借助时序数据库 TDengine 打造高效的数据监控与分析系统

TDengine

tdengine 时序数据库 数据库‘’

加快培育新质生产力,天翼云息壤智算一体机引领国产AI新征程

科技热闻

服装智能制造软件平台(源码+文档+讲解+演示)

深圳亥时科技

绕过 RAG 实时检索瓶颈,缓存增强生成(CAG)如何助力性能突破?

Baihai IDP

程序员 AI LLMs GenAI CAG

TechSmith Snagit v2024.4.1 中文版 mac/win最强截图工具

Rose

Beyond Compare 5:文件对比与同步的终极工具

Rose

Capture One 23 Pro:专业摄影师的终极RAW编辑工具

Rose

从德勤“小勤人”说起:财务RPA如何革新财务工作全流程?

Techinsight

RPA 财务管理 财务办公 Agent智能体

法院信息化 4.0 版,RPA 如何革新司法流程?

Techinsight

法院 信息化建设 RPA Agent Agent智能体

Red Giant for Mac2025(红巨人调色插件套装包含Trapcode、Magic Bullet、VFX)

Rose

浅谈Tox之一

天翼云开发者社区

Python 自动化测试 Tox

「工业4.0」智慧化工厂解决方案,智慧化工园区总体规划设计方案

金陵老街

智慧园区 智慧化工园区

当我用DeepSeek写了这篇公众号,全是梗

kookeey代理严选

小红书 ChatGPT DeepSeek DeepSeek-R1、 跨进电商

2025新趋势:传统车企数字化转型有新招啦!

Techinsight

AI RPA 车企 车企数字化 Agent智能体

课程质量评估系统(源码+文档+讲解+演示)

深圳亥时科技

开源创意点亮生态未来 第二届OpenHarmony创新应用挑战赛圆满收官

科技热闻

AI口语练习APP的发音评测

北京木奇移动技术有限公司

软件外包公司 AI口语练习 AI英语口语

AI口语练习APP的对话练习

北京木奇移动技术有限公司

软件外包公司 AI口语练习 AI口语学习

Amazon Managed Streaming for Apache Kafka (MSK)_语言 & 开发_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章