写点什么

Amazon 发布 AWS Batch 预览版

  • 2016-12-12
  • 本文字数:1209 字

    阅读完需:约 4 分钟

在最近的 AWS Re:Invent 大会上,Amazon发布了 AWS Batch 的预览版。通过 AWS Batch,用户可以对他们云端的调度服务和工作负载进行优化。Amazon 推出这项服务是为了满足大量 AWS 客户的需求,他们基于 EC2 实例、容器和 CloudWatch 建立他们自己的批处理平台。

批次和作业调度器并不是什么新的模式。一直以来,调度器都是运行在固定的本地基础设施集群上。人们要么过度构建基础设施,不能物尽其用,要么基础设施构建不足,造成机会的流失,这些都是不可避免的。AWS 首席布道师 Jeff Barr看到了基于云平台构建现代化调度平台的机会:

我们相信云计算可以让批处理计算模型变得更好,让它可以更快地访问更多不同类型的 EC2 实例,可以根据具体需求弹性地伸缩,并带来新的计费模型,这个计费模型根据实际处理能力来计费,经济实惠。

AWS Batch 不需要在服务器端安装任何东西,而且可以动态分配计算资源,它可以加入 Amazon Spot 实例,这样就可以抢占 Amazon EC2 空闲的计算资源。AWS Batch 服务还提供了作业优先级和依赖管理特性。Amazon 希望客户可以把精力集中在业务需求上,让 AWS Batch 来处理剩下的事情。

在 AWS re:Invent 大会的“ AWS Batch:在 AWS 上运行简单高效的批处理计算”讨论环节,AWS 首席产品经理 Jamie Kinney 介绍了有关 AWS Batch 的几个概念:

  • Jobs是作业单元,它们被提交到 Job Queues,并按照优先级排序,一直待在队列里直到有计算资源来执行它们。
  • Job Definitions指定如何执行 Jobs。每个作业都需要引用一个 Job Definition,Job Definition 的参数可以被覆盖,包括 vCPU、内存、挂载点和容器属性。
  • Job Queues用来保存 Jobs,直到它们被执行。Jobs 会等待它们所依赖的 Jobs 执行完毕,或者等待分配系统资源。
  • Compute Environments包括托管和非托管两种环境。在托管环境里,你可以提出业务需求(比如实例类型、对 vCPU 的需求量,等等),AWS 将会为你启动和扩展资源。而在非托管环境里,你可以启动和管理自己的资源,比如容器。
  • Scheduler对已提交到 Job Queue 的 Jobs 进行评估,评估它们在何时、何处以及如何被执行。Jobs 几乎是按照它们提交的顺序来执行的,只要它们所依赖的条件得到满足。

Amazon 提供了 AWS Batch 适用性指南。对于需要大量传递数据的场景,比如ETL 或大数据处理,Amazon 建议客户使用EMR、数据管道、Redshift 或其它相关的数据处理工具。而对于存在很多小型调度作业的场景,可以使用AWS,不过Kinney认为客户“需要一个工作流或作业调度系统来管理这些作业。”

Kinney认为 AWS Batch 就是一个理想的工具,它特别适用于

那些在异构计算机上运行大量大大小小计算任务的客户。

AWS Batch 目前还处在预览版阶段,只在美国东部(弗吉尼亚北部)地区可用。等到服务的可用性达到通用标准,就会在其它地区开放。根据 AWS Batch 的路线图,AWS Batch 将在后期支持作业数组,并且可以使用 AWS Lambda 来执行作业。

查看英文原文: Amazon Introduces AWS Batch Preview

2016-12-12 18:001820
用户头像

发布了 322 篇内容, 共 154.6 次阅读, 收获喜欢 148 次。

关注

评论

发布
暂无评论
发现更多内容

书单 | 春节假期,我想把这几本书带回家!

博文视点Broadview

又一重要进展发布!OpenMMLab算法仓支持昇腾AI训练加速

华为云开发者联盟

人工智能 华为云 昇腾AI 企业号 1 月 PK 榜

使用“宝塔一键迁移”工具,将单机版typecho博客系统迁移到京东云cvm云主机

京东科技开发者

服务器 京东云 安装宝塔 云迁移 企业号 1 月 PK 榜

java 本地应用程序加载与修改properties配置文件

JefferLiu

YonBuilder 应用构建教程之移动端扩展

YonBuilder低代码开发平台

【深入浅出Spring原理及实战】「源码调试分析」结合DataSourceRegister深入分析ImportBeanDefinitionRegistrar的源码运作流程

码界西柚

spring Spring Framework

SLS:基于 OTel 的移动端全链路 Trace 建设思考和实践

阿里巴巴终端技术

数据采集 Trace 移动端

逃不开的安迪-比尔定律,在智能机器人时代该如何破解?

优必选科技

人工智能 机器人 视觉处理

logback 默认配置文件

JefferLiu

【iOS逆向与安全】系统推送服务(APNS)拦截

小陈

安卓 ios开发 逆向 iOS逆向 ios安全

稳定支撑千万级月活,华为日历背后的英雄

华为云开发者联盟

数据库 后端 华为云 企业号 1 月 PK 榜

百度安全入选权威报告《联邦学习与可信AI市场机会分析》典型厂商

百度安全

从指标到洞察力的普罗米修斯

宋小生

Prometheus 普罗米修斯 普罗米修斯监控

软件测试/测试开发丨接口测试经典面试题:Session、cookie、token有什么区别?

测试人

软件测试 自动化测试 接口测试 测试开发

软件测试/测试开发 | 使用 cURL 发送请求

测试人

软件测试 自动化测试 curl 测试开发

跳跃表数据结构与算法分析

京东科技开发者

redis 算法 跳跃表; 数据结构算法 企业号 1 月 PK 榜

软件测试/测试开发 | 接口测试之HTTP、HTTPS 抓包分析

测试人

https 软件测试 HTTP 自动化测试 测试开发

FL Studio2024中文版水果电音舞曲制作软件

茶色酒

FL Studio21 FL Studio2024

报告下载 | DQMIS高端闭门论坛成果报告——《2022第六届数据质量管理国际峰会关于数据要素发展几点看法和建议》

数据质量管理智库

数据 数据治理 数据安全 隐私计算 数据要素

ChatGPT中文版重装上阵

felix

openai ChatGPT AIMODELMARKET

合作升级|Kyligence 跬智智能分析平台入选华为云联营商品

Kyligence

数据分析

Mega 改进序列模型,引入移动平均捕捉时空依赖

Zilliz

计算机视觉

用无线控制LED显示屏的10个特点

Dylan

LED显示屏 全彩LED显示屏 led显示屏厂家

MYSQL数据库主从配置

Jackey

MySQL 数据库

软件测试/测试开发 | 使用postman发送请求

测试人

软件测试 Postman 自动化测试 接口测试 测试开发

震网(Stuxnet)病毒深度解析:首个攻击真实世界基础设施的病毒

华为云开发者联盟

安全 后端 华为云 企业号 1 月 PK 榜 震网

直播|镜舟 x Smartbi《后疫情下如何利用数据驱动企业逆势破局》

镜舟科技

数据库 镜舟数据库

软件测试/测试开发 | 如何模拟真实使用场景?mock 技术来帮你

测试人

软件测试 自动化测试 接口测试 测试开发 Mock

软件测试/测试开发 | 接口测试之HTTP 协议讲解

测试人

软件测试 HTTP 自动化测试 接口测试 测试开发

软件测试/测试开发 | 接口测试常用代理工具

测试人

软件测试 自动化测试 接口测试 charles 测试开发

TracedModule: 更友好的模型表示方案,模型训练到部署的桥梁

MegEngineBot

深度学习 开源 MegEngine 模型训练到部署

Amazon发布AWS Batch预览版_亚马逊云科技_Kent Weare_InfoQ精选文章