10 月 23 - 25 日,QCon 上海站即将召开,现在购票,享9折优惠 了解详情
写点什么

Amazon SageMaker 增加批量转换功能和适用于 TensorFlow 容器的管道输入模式

  • 2019-10-22
  • 本文字数:2053 字

    阅读完需:约 7 分钟

Amazon SageMaker 增加批量转换功能和适用于 TensorFlow 容器的管道输入模式

在几天前的纽约峰会期间,我们推出了两个新的 Amazon SageMaker 功能:一是批量转换功能,这是一种新的批量推断功能,客户可以通过它对 PB 级的数据进行非实时场景预测;二是适用于 TensorFlow 容器的管道输入模式。SageMaker 依然是我们最受欢迎的服务之一,此博客机器学习博客都对它进行了非常广泛的介绍。事实上,要赶上 SageMaker 团队快速的创新步伐是一件较为困难的事情。自上一篇有关 SageMaker 自动模型调整和超参数优化功能的博客发布以来,该团队已经推出了 4 种新的内置算法和许多的新功能。下面我们来看新推出的批量转换功能。

批量转换

批量转换功能是一种高性能、高吞吐量的数据转换和推断生成方法。它非常适合处理大批量数据、不需要亚秒级延迟或需要同时预处理和转换训练数据的场景。最大的好处?您无需编写任何额外的代码即可使用此功能。您可以使用所有现有的模型,并根据这些模型开始批量转换作业。此功能不加收任何费用,您只需为底层资源付费。


下面我们来看如何将此功能用于内置的对象检测算法。我将利用示例笔记本来训练对象检测模型。现在我将打开 SageMaker 控制台,然后打开 Batch Transform(批量转换)子控制台。



我可以在这里启动新的批量转换作业。



我可以在此为我的转换作业命名,选择我希望使用的模型,以及要使用的实例数量和类型。此外,我可以配置同时向我的推断发送的记录数量以及负载的大小。如果我未手动指定这些参数,则 SageMaker 将选择一些合理的默认值。



然后我需要指定输入位置。我可以使用清单文件或直接将所有文件加载到某个 S3 位置。由于我使用的是映像,我已经手动指定了我的输入内容类型。



最后,我将配置输出位置并启动作业!



一旦作业开始运行,我可以打开作业详细信息页面,点击链接查看 Amazon CloudWatch 中的指标和日志。



我可以看到作业正在运行,如果要看 S3 中的结果,我可以看到每个映像的预测标签。



转换结果将按每个输入文件生成一个输出 JSON 文件,其中包含检测到的对象。


这时可以非常轻松地为 AWS Glue 中的存储桶创建表,以及使用 Amazon Athena 查询结果或使用 Amazon QuickSight 将结果可视化


当然还可以通过 SageMaker API 以编程方式启动这些作业。


有关如何在您自己的容器中使用批量转换功能的更多详细信息,请参阅文档

适用于 Tensorflow 的管道输入模式

借助管道输入模式,客户可以使用高度优化的多线程后台进程,直接以流的方式将训练数据集从 Amazon Simple Storage Service (S3) 传入 Amazon SageMaker。与文件输入模式相比,这种模式极大地提高了读取吞吐量,因为后者必须首先将数据下载到本地 Amazon Elastic Block Store (EBS) 卷。这意味着您的训练作业可以更快启动,更快完成,使用的磁盘空间更少,与模型训练有关的费用也更低。此外,它还可让您训练超过 16 TB EBS 卷容量限制的数据集。



今天初,我们对管道输入模式进行了一些试验,发现 78 GB 数据集的启动时间最高减少了 87%,吞吐量是一些对比场景的两倍,最终总训练时间减少了 35%。


通过增加对适用于 TensorFlow 的管道输入模式的支持,进一步方便客户利用内置算法更快的速度优势。下面我们来看实际操作。


首先,我需要确保我的训练作业使用 sagemaker-tensorflow-扩展名。这将为我们提供新的 PipeModeDataset 类,它以通道和记录格式为输入,并返回一个 TensorFlow 数据集。我们可以将它用于 TensorFlow 估算器的 input_fn ,并从通道读取。下面的示例代码是一个简单的示例。


Python


from sagemaker_tensorflow import PipeModeDataset
def input_fn(channel): # Simple example data - a labeled vector. features = { 'data': tf.FixedLenFeature([], tf.string), 'labels': tf.FixedLenFeature([], tf.int64), }
# A function to parse record bytes to a labeled vector record def parse(record): parsed = tf.parse_single_example(record, features) return ({ 'data': tf.decode_raw(parsed['data'], tf.float64) }, parsed['labels'])
# Construct a PipeModeDataset reading from a 'training' channel, using # the TF Record encoding. ds = PipeModeDataset(channel=channel, record_format='TFRecord')
# The PipeModeDataset is a TensorFlow Dataset and provides standard Dataset methods ds = ds.repeat(20) ds = ds.prefetch(10) ds = ds.map(parse, num_parallel_calls=10) ds = ds.batch(64)
return ds
复制代码


然后,您可以按照与正常 TensorFlow 估算器相同的方式定义模型。对于估算器的创建时间,您只需确保 input_mode='Pipe' 在参数中即可。



现已推出


这两项新功能都已免费推出,我期待看到客户利用新的批量转换功能创造的好东西。我现在就可以告诉您的是,它可帮助我们处理 AWS 营销部的一些内部 ML 工作负载


同样,请在评论区或 Twitter 上发表您对这项功能的看法!


本文转载自 AWS 技术博客。


原文链接:


https://amazonaws-china.com/cn/blogs/china/sagemaker-nysummit2018/


2019-10-22 08:00910

评论

发布
暂无评论
发现更多内容

Penpad 再获 Animoca Brands 投资,全新生态历程

石头财经

可解决传统保险丝缺陷的电子保险丝efuse

芯动大师

集成电路 电子保险丝 efuse

2024-04-27:用go语言,在一个下标从 1 开始的 8 x 8 棋盘上,有三个棋子,分别是白色车、白色象和黑色皇后。 给定这三个棋子的位置,请计算出要捕获黑色皇后所需的最少移动次数。 需要注意

福大大架构师每日一题

福大大架构师每日一题

支付系统概述(十二):支付成功率

agnostic

支付系统设计与实现

芯片设计工程师必看:借助Perforce Helix Core和Helix IPLM提高IP重用率,简化设计流程并确保产品质量

龙智—DevSecOps解决方案

Perforce Helix Core 版本控制工具 IP管理

京东JD商品sku信息API返回值详解:轻松获取商品规格

技术冰糖葫芦

API boy api 货币化 API 接口 pinduoduo API

01 RCLI

独钓寒江

​Rust

一文学会使用valgrind工具进行程序内存检查

Linux内核拾遗

c c++ 内存泄露 Valgrind

新兴游戏引擎Godot vs. 主流游戏引擎Unity和虚幻引擎,以及版本控制工具Perforce Helix Core如何与其高效集成

龙智—DevSecOps解决方案

Unity 虚幻引擎 游戏开发引擎 Godot

使用ReadyAPI自动化测试工具,模拟高负载场景,准确测试API性能,确保你的App不宕机

龙智—DevSecOps解决方案

UI自动化测试

京东JD商品详情API返回值解析:商品数据快速提取

技术冰糖葫芦

API boy API 接口 pinduoduo API

Animoca Brands 投资了Penpad, Scroll 生态再迎壮大

BlockChain先知

事业-最佳实践-个人-公开场合演讲

南山

最佳实践 演讲 公开场合演讲

Penpad 再获 Animoca Brands 投资,全新生态历程

加密眼界

为“风”转“液”加速,一台宁畅服务器的“全液冷”突围

脑极体

AI

嵌入式软件的自动化测试工具TESSY:产品概述、使用场景及功能价值介绍

龙智—DevSecOps解决方案

集成测试 测试 单元测试 嵌入式软件测试 Tessy

适用于芯片行业的开发及管理工具:版本控制、持续集成、代码分析及项目管理工具介绍

龙智—DevSecOps解决方案

项目管理 Jira Atlassian Helix Core 版本控制工具 芯片研发

【开源鸿蒙】下载OpenHarmony 4.1 Release源代码

码匠许师傅

git Linux 开源 鸿蒙 OpenHarmony

【“AI”协同 创未来】线下研讨会预告:Jira、Confluence及Jira Service Management等Atlassian产品及其AI功能深度解读

龙智—DevSecOps解决方案

可替代IBM DOORS的现代化需求管理解决方案Jama Connect,支持数据迁移及重构、实时可追溯性、简化合规流程

龙智—DevSecOps解决方案

需求管理工具 jama IBM DOORS

物联网智能手表架构实践

智慧源点

Animoca Brands 投资了Penpad, Scroll 生态再迎壮大

股市老人

Linux设备驱动系列(六)——文件操作

Linux内核拾遗

Linux内核 设备驱动

Amazon SageMaker 增加批量转换功能和适用于 TensorFlow 容器的管道输入模式_语言 & 开发_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章