写点什么

Model Server for Apache MXNet 引入 ONNX 支持和 Amazon CloudWatch 集成

  • 2019-10-30
  • 本文字数:1298 字

    阅读完需:约 4 分钟

Model Server for Apache MXNet 引入 ONNX 支持和 Amazon CloudWatch 集成

今天,AWS 发布了 Model Server for Apache MXNet (MMS) 版本 0.2,这是一个打包深度学习模型和为模型提供服务的开源库,适用于进行大规模预测。现在,您可以 Open Neural Network Exchange (ONNX) 的形式为模型提供服务,并直接向 Amazon CloudWatch (可在其中创建控制面板和警报) 发布运维指标。

什么是 MMS?

MMS 是一个开源库,旨在简化深度学习模型的部署以进行大规模推理。MMS 提供以下功能:


  • 提供可以将多个模型构件打包到单个模型存档中的工具。此存档封装了为模型提供服务所需的所有构件。

  • 能够使用模型存档中打包的自定义代码自定义推理执行管道中的每个步骤。

  • 提供预配置的服务堆栈,包括 REST API 终端节点和推理引擎。

  • 在为可扩展模型提供服务方面,提供了 Docker 镜像,包括 MMS、MXNet 和 nginx。

  • 提供实时运维指标,用于监控 MMS 和终端节点。


您可通过 PyPI (Python Package Index) 包预配置的 Docker 镜像安装 MMS,也可直接通过 Model Server GitHub 存储库安装 MMS。

ONNX 模型服务简介

ONNX 实现了深度学习框架之间的互操作性。借助 MMS 版本 0.2,您可使用 MMS 为通过支持 ONNX 的任何框架创建的 ONNX 模型提供服务。其中包括 PyTorch、Caffe2、Microsoft Cognitive Toolkit (CNTK) 和 Chainer。


要开始为 ONNX 模型提供服务,请参阅 MMS ONNX 服务文档

向 CloudWatch 发布模型服务指标

此版本包含与 CloudWatch 的集成,后者是一种适用于云资源和应用程序的监控服务。您可使用 CloudWatch 收集和跟踪指标、设置警报,并自动对变更做出反应。


MMS 现在直接与 CloudWatch API 集成,从而能够轻松向 CloudWatch 发布运维指标。能够近乎实时地监控运维指标对于任何生产服务都至关重要。


MMS 可报告各项模型服务指标,如请求计数、错误、延迟以及 CPU、内存和磁盘的主机资源使用率。借助 CloudWatch 集成,您可利用基于 Web 的控制面板、实时提供的指标,以及触发器和提醒配置功能。


要开始使用 MMS 与 CloudWatch 集成后提供的功能,请参阅 MMS CloudWatch 指标文档

了解更多信息并做出贡献

要了解关于 MMS 的更多信息,请先学习我们的 Single Shot Multi Object Detection (SSD) 教程,本教程将引导您完成导出 SSD 模型和为其提供服务的所有步骤。您可在存储库的模型园文档文件夹中找到更多示例和文档。


我们不会停止开发 MMS 的脚步,欢迎社区以提交问题、请求和贡献的形式积极参与。请访问 awslabs/mxnet-model-server,开始使用!


作者介绍:


Hagay Lupesko 是 AWS 深度学习的工程负责人。他专注于构建让开发人员和科学家能够创造智能应用程序的深度学习系统。在业余时间,他喜欢阅读、徒步旅行以及与家人共享天伦之乐。


**



Jonathan Esterhazy 是 AWS 深度学习的高级软件工程师。**他负责构建工具和系统,为大规模训练和部署深度学习系统提供更多便利。


**



Ruofei Yu 是 AWS 深度学习的软件工程师。**他专注于为软件工程师和科学家构建创新的深度学习工具。在业余时间,他喜欢与朋友和家人共度美好时光。


本文转载自 AWS 技术博客。


原文链接:


https://amazonaws-china.com/cn/blogs/china/model-server-for-apache-mxnet-introduces-onnx-support-and-amazon-cloudwatch-integration/


2019-10-30 08:00652

评论

发布
暂无评论
发现更多内容

如何通过经纬度坐标获取附近的地址信息?

HarmonyOS SDK

定位

《数字经济全景白皮书》银行业RPA应用专题分析 发布

易观分析

RPA 金融 银行

亚马逊云科技与TalkingData携手助力美妆巨头数字化营销闭环安全合规地提效

Lily

【CSS关键字】:inherit、initial、unset分别有哪些作用?

翼同学

CSS html 前端 8月月更 学习分享

弹性云端新算力,驱动沉浸新交互 |2022阿里云金融创新峰会

阿里云弹性计算

计算巢 云盒 倚天实例 专属Region

持久,redis 持久化有哪几种方式,怎么选?

知识浅谈

redis持久化 8月月更

MySQL查询重写插件

TimeFriends

8月月更

Selenium 中的 JUnit 注解

FunTester

浅谈JS发布订阅模式

海底烧烤店ai

JavaScript 前端 发布订阅模式 8月月更

Docker杀掉了容器?问题分析与解决过程全面复盘

程序员欣宸

Docker 8月月更

【CSS 盒子模型(下)】:padding 和 margin

翼同学

CSS html 前端 8月月更

【CSS】什么是外边距的重叠?常见的有哪几种重叠情况?

翼同学

CSS 前端 编程语言 8月月更

数字藏品app开发:数字藏品发行制作的关键

开源直播系统源码

NFT 数字藏品 数字藏品开发 数字藏品系统 数字藏品软件

玩转KubeEdge保姆级攻略

乌龟哥哥

8月月更

【实践】手把手带你实现JWT登录鉴权

迷彩

分布式 微服务 前后端分离 JWT 8月月更

【数据结构实践】手把手带你快速实现自定义二叉树

迷彩

数据结构 算法 二叉树 二叉树遍历 8月月更

【CSS】怎么理解层叠性、继承性和优先性?选择器的权重如何叠加?

翼同学

CSS html 前端 编程语言 8月月更

佛山复星禅诚医院黄汉森:云边协同,打造线上线下一体化智慧医疗

阿里云弹性计算

弹性计算 分布式云 云盒 异地双活

【CSS 盒子模型(上)】:width、height、overflow、border

翼同学

CSS html 前端 8月月更

直播预告丨阿里云佐井:关注预警6要素,帮助用户实现精准监控和告警

阿里云弹性计算

监控 预警

【CSS·圆角边框】有关border-radius属性的记录以及实现原理

翼同学

CSS html 前端 8月月更

源码解析 kubectl port-forward 工作原理

张晓辉

Kubernetes 云原生 源码解析

非关系型数据库Redis核心内容

浅羽技术

数据库 redis redis持久化 Memcache 8月月更

zookeeper的特点和应用场景

浅羽技术

zookeeper 分布式 观察者模式 注册中心 8月月更

zookeeper的选主过程

浅羽技术

zookeeper 分布式 ZooKeeper原理 8月月更

[JS入门到进阶] 手写解析uin8数组的工具:解析二进制字节,太快太方便了!

HullQin

CSS JavaScript html 前端 8月月更

mysql基础

楠羽

#开源

混迹职场10多年的数据开发老鸟,居然被一个职场新人上了一课

雨果

数据工程师

【React】使用Next.js构建并部署个人博客

海底烧烤店ai

nuxt 博客开发 博客搭建 react rout 8月月更

面试突击79:Bean 作用域是啥?它有几种类型?

王磊

Java 常见面试题

Model Server for Apache MXNet 引入 ONNX 支持和 Amazon CloudWatch 集成_语言 & 开发_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章