发布在即!企业 AIGC 应用程度测评,3 步定制专属评估报告。抢首批测评权益>>> 了解详情
写点什么

Amazon 发布 AWS Batch 预览版

  • 2016-12-12
  • 本文字数:1209 字

    阅读完需:约 4 分钟

在最近的 AWS Re:Invent 大会上,Amazon发布了 AWS Batch 的预览版。通过 AWS Batch,用户可以对他们云端的调度服务和工作负载进行优化。Amazon 推出这项服务是为了满足大量 AWS 客户的需求,他们基于 EC2 实例、容器和 CloudWatch 建立他们自己的批处理平台。

批次和作业调度器并不是什么新的模式。一直以来,调度器都是运行在固定的本地基础设施集群上。人们要么过度构建基础设施,不能物尽其用,要么基础设施构建不足,造成机会的流失,这些都是不可避免的。AWS 首席布道师 Jeff Barr看到了基于云平台构建现代化调度平台的机会:

我们相信云计算可以让批处理计算模型变得更好,让它可以更快地访问更多不同类型的 EC2 实例,可以根据具体需求弹性地伸缩,并带来新的计费模型,这个计费模型根据实际处理能力来计费,经济实惠。

AWS Batch 不需要在服务器端安装任何东西,而且可以动态分配计算资源,它可以加入 Amazon Spot 实例,这样就可以抢占 Amazon EC2 空闲的计算资源。AWS Batch 服务还提供了作业优先级和依赖管理特性。Amazon 希望客户可以把精力集中在业务需求上,让 AWS Batch 来处理剩下的事情。

在 AWS re:Invent 大会的“ AWS Batch:在 AWS 上运行简单高效的批处理计算”讨论环节,AWS 首席产品经理 Jamie Kinney 介绍了有关 AWS Batch 的几个概念:

  • Jobs是作业单元,它们被提交到 Job Queues,并按照优先级排序,一直待在队列里直到有计算资源来执行它们。
  • Job Definitions指定如何执行 Jobs。每个作业都需要引用一个 Job Definition,Job Definition 的参数可以被覆盖,包括 vCPU、内存、挂载点和容器属性。
  • Job Queues用来保存 Jobs,直到它们被执行。Jobs 会等待它们所依赖的 Jobs 执行完毕,或者等待分配系统资源。
  • Compute Environments包括托管和非托管两种环境。在托管环境里,你可以提出业务需求(比如实例类型、对 vCPU 的需求量,等等),AWS 将会为你启动和扩展资源。而在非托管环境里,你可以启动和管理自己的资源,比如容器。
  • Scheduler对已提交到 Job Queue 的 Jobs 进行评估,评估它们在何时、何处以及如何被执行。Jobs 几乎是按照它们提交的顺序来执行的,只要它们所依赖的条件得到满足。

Amazon 提供了 AWS Batch 适用性指南。对于需要大量传递数据的场景,比如ETL 或大数据处理,Amazon 建议客户使用EMR、数据管道、Redshift 或其它相关的数据处理工具。而对于存在很多小型调度作业的场景,可以使用AWS,不过Kinney认为客户“需要一个工作流或作业调度系统来管理这些作业。”

Kinney认为 AWS Batch 就是一个理想的工具,它特别适用于

那些在异构计算机上运行大量大大小小计算任务的客户。

AWS Batch 目前还处在预览版阶段,只在美国东部(弗吉尼亚北部)地区可用。等到服务的可用性达到通用标准,就会在其它地区开放。根据 AWS Batch 的路线图,AWS Batch 将在后期支持作业数组,并且可以使用 AWS Lambda 来执行作业。

查看英文原文: Amazon Introduces AWS Batch Preview

2016-12-12 18:001313
用户头像

发布了 322 篇内容, 共 133.7 次阅读, 收获喜欢 142 次。

关注

评论

发布
暂无评论
发现更多内容

十问Huawei Cloud Toolkit:开发插件如何提升云上开发效能

华为云开发者联盟

ide 开发 华为云 华为云开发者联盟 企业号 8 月 PK 榜

项目启动会的正确打开方式

老张

项目管理 项目启动

jstat命令总结

java易二三

Java 程序员 JVM 计算机 科技

OpenSSL 3.0.0 设计(三)|FIPS 模块

铜锁开源密码库

算法 信息安全 密码学 openssl 铜锁

Serverless 应用托管助力企业加速创新

Serverless Devs

阿里云 Serverless 云原生 应用引擎

SpringBoot使用spring.config.import多种方式导入配置文件

java易二三

Java spring 程序员 Spring Boot 计算机

低代码实现探索(五十九)SAP底层技术研究

零道云-混合式低代码平台

GitHub登顶的 Java 面试八股文(2023金九银十最新)附答案详解

架构师之道

程序员 java面试

利用CI机制管控jar依赖树 | 京东云技术团队

京东科技开发者

ci CI/CD jar包 企业号 8 月 PK 榜

前端合成海报并保存到本地

南城FE

JavaScript 小程序 前端 图片合成

LED小间距屏幕的COB封装技术应用和优势

Dylan

技术 封装 PCB LED显示屏

【5分钟背八股】ZooKeeper和Reids做分布式锁的区别?

java易二三

redis zookeeper 程序员 计算机 八股文

HertzBeat 集群版开源,易用友好的开源实时监控系统!

TanCloud探云

Java GitHub 开源 程序员 监控产品

IIOT WIFI5 solution-DR40X9-IPQ4019-IPQ4029 CPU-supports dual-band wireless connection-The most popular

wifi6-yiyi

wifi5

深入理解 Flutter 图片加载原理 | 京东云技术团队

京东科技开发者

flutter 移动开发 图片懒加载 企业号 8 月 PK 榜

加密传输,保护Mac电脑的文件安全—SecureFX for Mac

晴雯哥

9-7毕业设计,秒杀架构

家有两宝

架构实战营

直播平台源码优质平台技术:并行处理与线程优化的探索与实践

山东布谷科技

软件开发 源码搭建 直播平台源码 并行处理 线程优化

软件测试丨Chrome 115之后的版本,如何更新driver?

测试人

chrome 程序员 软件测试 自动化测试 chromedriver

3-6作业

家有两宝

架构实战营

小白都会的数据可视化大屏搭建,速来学习

华为云开发者联盟

开发 开发工具 华为云 华为云开发者联盟 企业号 8 月 PK 榜

chatglm2-6b模型在9n-triton中部署并集成至langchain实践 | 京东云技术团队

京东科技开发者

人工智能 #LangChain langchain 企业号 8 月 PK 榜 ChatGLM2-6B

分享实录 | 将 NGINX 打造成功能强大的 API 网关(下)

NGINX开源社区

nginx api 网关 后端服务

ABAQUS正版授权软件怎么下载?达索中国代理商思茂信息

思茂信息

abaqus abaqus软件 有限元仿真技术 有限元分析 结构仿真

电商小程序微服务架构

艾瑾行

架构训练营

RPA+智能问答实现微信端智能客服 | 京东云技术团队

京东科技开发者

微信 RPA 智能客服 企业号 8 月 PK 榜

开源XL-LightHouse与Flink、ClickHouse之类技术相比有什么优势

feng

大数据 flink Clickhouse 流式计算 流式统计

干货满满:多人语音聊天室源码开发解析

山东布谷网络科技

源码剖析

Nacos服务整合SpringBoot框架技术

java易二三

Java 程序员 Spring Boot 计算机 科技

火山引擎ByteHouse:一套方案,让OLAP引擎在精准投放场景更高效

字节跳动数据平台

大数据 云原生 Clickhouse 企业号 8 月 PK 榜

透彻理解 Axios Blob 的使用与优化

Apifox

性能优化 后端 HTTP API web开发

Amazon发布AWS Batch预览版_亚马逊云科技_Kent Weare_InfoQ精选文章