阿里、蚂蚁、晟腾、中科加禾精彩分享 AI 基础设施洞见,现购票可享受 9 折优惠 |AICon 了解详情
写点什么

Amazon Managed Kafka 旨在简化 Kafka Streaming 的设置和使用

  • 2019-06-17
  • 本文字数:964 字

    阅读完需:约 3 分钟

Amazon Managed Kafka 旨在简化 Kafka Streaming 的设置和使用

Amazon Managed Streaming for Kafka(MSK)在 AWS re: 2018 大会上推出公开预览版,现在,该服务正式发布。Amazon MSK 的目标是使基于 Kafka 的流应用程序的构建和运行变得更加容易。


新的 MSK GA 将对 Kafka 的支持扩展到 2.1.0 版本,同时,对于预览期间创建的应用程序,它与 Kafka 1.1.1 保持完全兼容。此外,亚马逊还根据早期客户的反馈添加了一些新功能。其中包括支持客户端和代理之间以及代理之间的 TLS 传输加密,与 AWS CloudTrail 集成用于日志记录以及基于集群创建时分配给集群的标记定义 IAM 策略的可能性。目前,在 AWS 云环境中提供 MSK 的唯一方法是使用 AWS 管理控制台和 CLI。然而,Amazon 正在添加AWS CloudFormation支持,以支持使用 JSON 或 YAML 文本描述进行 MSK 建模和配置。


亚马逊简化 Kafka 集成的努力不限于设置、扩展和管理自托管 Kafka 服务器的固有困难。事实上,它的 MSK 服务还包括一个 Apache Zookeeper 节点以确保高可用性和安全性,亚马逊不会对其收费。正如亚马逊数据流产品经理 Damien Wylie所说


我们将自动检测故障,然后重新引入一个新节点。因此,IP 可以保持不变,最后,你运行集群期间需要的任何补丁,我们都会自动为你应用。


在 AWS 管理控制台中创建 Kafka 集群的过程被大大简化了。你只需要选择要使用的 Kafka 版本,决定每个可用性区域需要多少代理,并设置加密和存储选项,其中大多数设置都提供了合理的默认值。如果希望更改代理实例类型或 Amazon EDB 卷大小,可以通过访问高级自定义设置部分来实现。


一旦你拥有了 Apache Kafka 集群,就可以设置任意数量的主题供生产者在发送消息时使用。消费者将以流的方式接收它们正在侦听的主题的所有消息。所有这些任务都可以通过标准的 Apache Kafka 工具来完成。


最后,值得一提的是,Amazon 为 MSK 提供了一个服务级别协议,确保了 99.9%的可用性。


Apache Kafka最初是在 LinkedIn 开发的,后来在 2011 年开源。Amazon 并不是唯一提供托管 Kafka 服务的供应商。特别值得一提的是,Confluent最近推出了一项名为Confluent Cloud的托管 Kafka 服务。该公司由最初开发了 Kafka 的 LinkedIn 团队创建,并专注于构建一个基于 Kafka 的平台。


如果你想开始使用 Amazon MKS,最好从Amazon分步指南开始。


查看英文原文Amazon Managed Kafka Aims to Simplify Kafka Streaming Setup and Use


2019-06-17 08:0019185
用户头像

发布了 687 篇内容, 共 396.9 次阅读, 收获喜欢 1498 次。

关注

评论

发布
暂无评论
发现更多内容

3.面向复杂度的架构设计模式

程序员小张

「架构实战营」

又一创新!阿里云 Serverless 调度论文被云计算顶会 ACM SoCC 收录

Serverless Devs

供应链-数字化招投标/采购/供应商管理系统

金陵老街

数字化 Java‘’ Vue 3 spring-boot

磐久网络|揭秘阿里云HAIL数据中心网络

云布道师

阿里云 数据中心 基础设施建设

“读懂人话”,阿里AI总分首次超越人类成绩

云布道师

人工智能 阿里云

为什么mysql不推荐使用雪花ID作为主键

京东科技开发者

MySQL 数据 雪花id 主键 自增

前端培训程序员不好招吗,应该怎么学习

小谷哥

我们又重写了一个关键服务

Zilliz

人工智能 Milvus 向量数据库

一个小而美的项目如何进行跨端选型

Onegun

移动端 跨端开发

我代码就加了一行log日志,结果引发了P1的线上事故

小小怪下士

Java 程序员 log 代码

java培训学习中怎么来提升开发水平

小谷哥

ansible2.4安装和体验

程序员欣宸

DevOps ansible 11月月更

如何通过链路追踪进行定时任务诊断

阿里巴巴云原生

阿里云 云原生 SchedulerX

看知识图谱如何解锁隐藏的营销利器

Neo4j 图无处不在

算法 neo4j 图数据库 知识图谱 图数据

云安全系列4:解析云安全工具集

HummerCloud

云计算 云安全

SAP 异常现象之同一个IDoc可以被POST两次触发2张不同的物料凭证

SAP虾客

SAP IDoc BD87

DTSE Tech Talk 第13期:Serverless凭什么被誉为未来云计算范式?

华为云开发者联盟

云计算 后端 华为云

云小课|云小课教您如何选择Redis实例类型

华为云开发者联盟

云计算 后端 华为云

前端培训程序员学习就业还有前途吗?

小谷哥

面试合集:数据库+数据结构+JVM+网络+JAVA+分布式+操作系统

钟奕礼

Java 程序员 java面试 java编程

New Features | NFTScan 推出 BlueChip、Watch List、Activity Overview

NFT Research

区块链 NFT 数据基础设施

教你用JavaScript实现计数器

小院里的霍大侠

JavaScript 编程开发 初学者 入门实战

嵌入式系统概述及特点

timerring

嵌入式 11月月更

TCL 基于 StarRocks 构建统一的数据分析平台

StarRocks

#数据库

web前端和java培训学编程哪个更好

小谷哥

MobPush 推送查询API

MobTech袤博科技

K3S +Helm+NFS最小化测试安装部署只需十分钟

京东科技开发者

Docker k8s 软件测试 k3s 应用程序

参加大数据培训学习还来得及吗

小谷哥

Service Mesh 的下一站是 Sidecarless 吗?

SOFAStack

MOSN

效能工具如何在企业规模化落地?|线上沙龙回顾

万事ONES

AI技术实践|用腾讯云慧眼微信浮层H5解决黄牛抢票问题

牵着蜗牛去散步

人工智能 腾讯云 腾讯 腾讯云AI

Amazon Managed Kafka 旨在简化 Kafka Streaming 的设置和使用_服务革新_Sergio De Simone_InfoQ精选文章