写点什么

AWS 推出 Apache Airflow 全托管工作流 MWAA

  • 2020-12-09
  • 本文字数:1362 字

    阅读完需:约 4 分钟

AWS推出Apache Airflow全托管工作流MWAA

最近,AWS 推出了亚马逊Apache Airflow托管工作流(MWAA),这是一项全托管的服务,简化了在 AWS 上运行开源版 Apache Airflow 和构建工作流来执行 ETL 作业和数据管道的工作。


Apache Airflow 是一个开源工具,用于通过编程的方式开发、调度和监控被称为“工作流”的过程和任务序列。开发人员和数据工程师用 Apache Airflow 管理工作流,通过用户界面(UI)来监控它们,并通过一组强大的插件来扩展它们的功能。但是,要使用 Apache Airflow,需要进行手动安装、维护和扩展。现在,AWS 解决了这个问题,它为开发人员和数据工程师提供了 MWAA,让他们可以在云端构建和管理自己的工作流,无需关心与管理和扩展 Airflow 平台基础设施相关的问题。


在 AWS 有关 MWAA 的新闻稿中,负责应用集成的副总裁 Jesse Dougherty 说:


客户告诉我们,他们非常喜欢 Apache Airflow,因为它加快了数据处理和机器学习工作流的开发,但他们希望能够去掉扩展、运维和保护服务器方面的负担。通过使用 Amazon MWAA,客户可以使用与现在相同的 Apache Airflow 平台,同时获得由 AWS 提供的可伸缩性、可用性和安全性。


Amazon MWAA 可以使用Amazon Athena获取来自数据源(如Amazon Simple Storage Service)的输入,在Amazon EMR集群上执行转换,并使用生成的数据在Amazon SageMaker上训练机器学习模型。此外,开发人员和数据工程师可以使用 Python 在 Amazon MWAA 中编写有向无环图(DAG)工作流。



来源:https://aws.amazon.com/managed-workflows-for-apache-airflow/


AWS 首席布道师 Danilo Poccia 在 NWAA 的一篇介绍博文中写道:


你可以通过以下三个步骤来使用亚马逊 MWAA:

创建环境——每个环境都包含你的 Airflow 集群,包括调度器、工作程序和 Web 服务器。开发人员和数据工程师可以从控制台、AWS命令行接口(CLI)或AWS SDK创建新的 Amazon MWAA 环境。

上传 DAG 和插件到 S3——Amazon MWAA 自动将代码加载到 Airflow 中。

在 Airflow 中运行 DAG——从 Airflow UI 或命令行(CLI)运行 DAG,并使用 CloudWatch 监控环境。


有了 MWAA,开发人员和数据工程师可以通过插件获得开放可扩展性所带来的好处,他们可以创建与工作流所需的 AWS 或内部资源发生交互的任务,包括 AWS Batch、Amazon CloudWatch、Amazon DynamoDB、AWS Lambda、Amazon Redshift、Amazon Simple Queue Service (SQS)和 Amazon Simple Notification Service(SNS)。


需要注意的是,AWS 还有其他工作流管理系统,比如Step FunctionsAWS Glue。Hacker News 上的一位受访者在一篇帖子中解释说:


它是由内部的 Orchestration 团队开发的——这个团队也开发了 Step Functions,并维护着AWS Simple Workflow。我认为 Glue 与其他的工作流系统不一样——它针对 ETL 进行了深度优化。我相信,随着时间的推移,会出现更多有关 Step Functions 和 Apache Airflow 的详细指南,不过简单地说,Step Functions 是完全 AWS 原生的(并且是无服务器的)编配引擎。当然,Apache Airflow 是一个开源的项目,它拥有一个由其他插件组成的多样化生态系统。


MWAA 目前可在下列 AWS 区域使用:美国东部(俄亥俄州和弗吉尼亚州)、美国西部(俄勒冈州)、欧盟(斯德哥尔摩、爱尔兰和法兰克福)和亚太地区(东京、新加坡和悉尼),其他更多地区将会陆续可用。此外,有关服务的详细信息可以在文档页面上获得,有关价格的详细信息可以在定价页面上获得。


原文链接


AWS Introduces Amazon Managed Workflows for Apache Airflow


2020-12-09 16:003970

评论

发布
暂无评论
发现更多内容

腾讯提前批是真难

王中阳Go

程序员 面试

区块链Web3开发的费用

北京木奇移动技术有限公司

区块链开发 软件外包公司 web3开发

技术赋能下的能源智慧管理:MyEMS 开源系统的架构创新与应用深化

开源能源管理系统

开源 能源管理系统

区块链U卡APP的开发成本

北京木奇移动技术有限公司

区块链开发 软件外包公司 web3开发

超融合架构是什么?一文看懂计算、存储、网络的一体化

智驱前线

海外品牌危机频发的背后,你是否看见了数据盲区?

沃观Wovision

数据 沃观Wovision 舆情监测系统 海外舆情监测

MyEMS 开源能源管理系统:技术创新与实战价值解析

开源能源管理系统

开源 能源管理系统

自定义策略检查助力自动化推理技术普及

qife122

AWS IAM 策略验证

华大北斗入选深圳品牌发展白皮书 领航者荣膺 "品牌功勋人物"

江湖老铁

详细解析!高校行业指标体系建设与 AI 数智应用方案

袋鼠云数栈

指标体系 高校 指标建设 数字化转型‘’ 数智应用

数据中心升级十字路口:超融合架构,是理想路径还是现实考量?

智驱前线

超融合架构

AI语境下创新教学模式应用示范与推广联盟成立丨南开大学携手和鲸,破解AI时代教育难题

ModelWhale

AI教育 南开大学 和鲸

JimuReport 积木报表 v2.1.2 版本发布,免费开源的可视化报表和大屏

JEECG低代码

数据可视化 报表 数据大屏 报表工具 仪表盘设计

6 个替代飞书多维表格的开源无代码数据库工具

NocoBase

数据库 开源 零代码 表格 无代码

超融合:企业最关心的那些事

智驱前线

超融合

超融合架构:中小企业数字化转型的利器

智驱前线

超融合架构

百度搜索PC端全量上线系列AI功能  AI搜索月活已超3.22亿

极客天地

CANN与智谱GLM强强联合,国产AI加速迈向端云协同

极客天地

意念统御,军团集结!网易伏羲以科技重铸《魔兽世界》统御之盔,用意念“控制”机器人

网易伏羲

网易伏羲 脑机接口 人形机器人 宇树科技 魔兽世界

MyEMS:以开源创新构建企业能源管理的自主可控生态

开源能源管理系统

开源 能源管理系统

基于Python爬虫实战:获取财经股票数据

袁袁袁袁满

Python爬虫 爬虫案例 爬虫实战 采集股票数据

2022年最佳云计算认证:开启你的云端开发之路

qife122

云计算 AWS GCP

超融合架构:破解传统 IT 困局的关键引擎

智驱前线

IT 超融合架构

京东商品评论API秘籍!轻松获取商品评论数据

tbapi

京东API 京东商品评论API 京东数据采集 京东数据分析

网易灵动如何通过工程机械智能化推动新质生产力发展|《浙里数说》访谈实录

网易伏羲

网易伏羲 网易灵动 工程机械智能化 无人挖掘机 无人装载机

塞讯科技参编,信通院《面向LLM应用的可观测性能力要求》正式发布!

塞讯科技

可观测性 可观测性认证 可观测性平台

小模型如何击败大机构AI系统:Coral协议技术解析

qife122

人工智能 开源框架

探索Parquet格式:实现高效数据存储与优化查询性能

星环科技

人工智能 技术 数据

基于 WebGL 的数字孪生项目

北京木奇移动技术有限公司

软件外包公司 数字孪生开发 webgl开发

区块链Web3项目的开发流程

北京木奇移动技术有限公司

区块链开发 软件外包公司 web3开发

超融合架构:数字化转型的万能钥匙?这些场景适用!

智驱前线

超融合架构

AWS推出Apache Airflow全托管工作流MWAA_服务革新_Steef-Jan Wiggers_InfoQ精选文章