限时领|《AI 百问百答》专栏课+实体书(包邮)! 了解详情
写点什么

Model Server for Apache MXNet 引入 ONNX 支持和 Amazon CloudWatch 集成

  • 2019-10-30
  • 本文字数:1298 字

    阅读完需:约 4 分钟

Model Server for Apache MXNet 引入 ONNX 支持和 Amazon CloudWatch 集成

今天,AWS 发布了 Model Server for Apache MXNet (MMS) 版本 0.2,这是一个打包深度学习模型和为模型提供服务的开源库,适用于进行大规模预测。现在,您可以 Open Neural Network Exchange (ONNX) 的形式为模型提供服务,并直接向 Amazon CloudWatch (可在其中创建控制面板和警报) 发布运维指标。

什么是 MMS?

MMS 是一个开源库,旨在简化深度学习模型的部署以进行大规模推理。MMS 提供以下功能:


  • 提供可以将多个模型构件打包到单个模型存档中的工具。此存档封装了为模型提供服务所需的所有构件。

  • 能够使用模型存档中打包的自定义代码自定义推理执行管道中的每个步骤。

  • 提供预配置的服务堆栈,包括 REST API 终端节点和推理引擎。

  • 在为可扩展模型提供服务方面,提供了 Docker 镜像,包括 MMS、MXNet 和 nginx。

  • 提供实时运维指标,用于监控 MMS 和终端节点。


您可通过 PyPI (Python Package Index) 包预配置的 Docker 镜像安装 MMS,也可直接通过 Model Server GitHub 存储库安装 MMS。

ONNX 模型服务简介

ONNX 实现了深度学习框架之间的互操作性。借助 MMS 版本 0.2,您可使用 MMS 为通过支持 ONNX 的任何框架创建的 ONNX 模型提供服务。其中包括 PyTorch、Caffe2、Microsoft Cognitive Toolkit (CNTK) 和 Chainer。


要开始为 ONNX 模型提供服务,请参阅 MMS ONNX 服务文档

向 CloudWatch 发布模型服务指标

此版本包含与 CloudWatch 的集成,后者是一种适用于云资源和应用程序的监控服务。您可使用 CloudWatch 收集和跟踪指标、设置警报,并自动对变更做出反应。


MMS 现在直接与 CloudWatch API 集成,从而能够轻松向 CloudWatch 发布运维指标。能够近乎实时地监控运维指标对于任何生产服务都至关重要。


MMS 可报告各项模型服务指标,如请求计数、错误、延迟以及 CPU、内存和磁盘的主机资源使用率。借助 CloudWatch 集成,您可利用基于 Web 的控制面板、实时提供的指标,以及触发器和提醒配置功能。


要开始使用 MMS 与 CloudWatch 集成后提供的功能,请参阅 MMS CloudWatch 指标文档

了解更多信息并做出贡献

要了解关于 MMS 的更多信息,请先学习我们的 Single Shot Multi Object Detection (SSD) 教程,本教程将引导您完成导出 SSD 模型和为其提供服务的所有步骤。您可在存储库的模型园文档文件夹中找到更多示例和文档。


我们不会停止开发 MMS 的脚步,欢迎社区以提交问题、请求和贡献的形式积极参与。请访问 awslabs/mxnet-model-server,开始使用!


作者介绍:


Hagay Lupesko 是 AWS 深度学习的工程负责人。他专注于构建让开发人员和科学家能够创造智能应用程序的深度学习系统。在业余时间,他喜欢阅读、徒步旅行以及与家人共享天伦之乐。


**



Jonathan Esterhazy 是 AWS 深度学习的高级软件工程师。**他负责构建工具和系统,为大规模训练和部署深度学习系统提供更多便利。


**



Ruofei Yu 是 AWS 深度学习的软件工程师。**他专注于为软件工程师和科学家构建创新的深度学习工具。在业余时间,他喜欢与朋友和家人共度美好时光。


本文转载自 AWS 技术博客。


原文链接:


https://amazonaws-china.com/cn/blogs/china/model-server-for-apache-mxnet-introduces-onnx-support-and-amazon-cloudwatch-integration/


2019-10-30 08:00659

评论

发布
暂无评论
发现更多内容

走进“上电科”,共探企业信创选型之路

通明湖

云服务器虚拟化超分与虚机性能关系分析

天翼云开发者社区

云服务器 虚拟化技术

安全可信 | 增强级认定!天翼云政务云通过云计算服务安全评估

天翼云开发者社区

云服务 服务器安全

改变开发的未来 | 探索无服务器与人工智能的协同效应

亚马逊云科技 (Amazon Web Services)

Serverless

Auto-GPT 迈向智能体的第一步——从信息增强和上下文理解开始

Zilliz

Milvus 向量数据库 autogpt gptcache zillizcloud

PoseiSwap  参赛,参与斯坦福、Nautilus Chain等联合主办的 Hackathon 活动

股市老人

顶满!阿里P8架构师独家分享的微服务实战笔记

小小怪下士

Java 程序员 微服务 微服务实战

ESG成全球风潮,联想造了一个可持续的“进托邦”

脑极体

数字化进程

促进银行业务高质量发展,神州云科亮相亚太银行数字化创新峰会

通明湖

一文看懂GPT风口,都有哪些创业机会?

引迈信息

人工智能 低代码 ChatGPT JNPF gtp

瓴羊Quick BI连续四年入选Gartner魔力象限ABI报告

流量猫猫头

Zebec生态进展迅速,频被BitFlow、Matryx DAO等蹭热度碰瓷

鳄鱼视界

如何让服务器性能“备而不闲”?

通明湖

国产BI工具崛起,finebi、瓴羊Quick BI优势分析

对不起该用户已成仙‖

深度干货 | 揭秘YashanDB融合存储引擎

YashanDB

数据库 国产数据库 存储引擎 数据库内核

多模块更新,助力模型训练及应用|ModelWhale 版本更新

ModelWhale

人工智能 云计算 数据标注 在线编程 模型服务

九章云极DataCanvas公司诚邀您共享AI基础软件前沿技术盛宴

九章云极DataCanvas

全景描绘云原生技术图谱,首个《云原生应用引擎技术发展白皮书》重磅发布

通明湖

神州云科全国巡展·金融客户会北京站成功举办

通明湖

金融数字化转型提质增效,神州云科全国巡展深圳站成功举办

通明湖

极光笔记 | EngageLab Push的多时区解决方案

极光GPTBots-极光推送

运营 消息推送 笔记分享 海外

2023-05-26:golang关于垃圾回收和析构函数的选择题,多数人会选错。

福大大架构师每日一题

golang 福大大

PC、手机生态融合:Intel、腾讯一起找到了最好的路子

E科讯

九科信息流程挖掘产品bit-Miner进入复旦大学管理学院MPAcc课程

九科Ninetech

点云标注简介及其应用

数据堂

牧云 • 主机管理助手|正式开放应用市场,梦幻联动雷池WAF等多款开源软件

百川云开发者

云计算 防火墙 云主机 waf 主机管理

CMake vs Makefile: 如何选择适合你的项目构建工具

小万哥

Linux 程序员 C/C++ 后端开发 cmake

Model Server for Apache MXNet 引入 ONNX 支持和 Amazon CloudWatch 集成_语言 & 开发_亚马逊云科技 (Amazon Web Services)_InfoQ精选文章