PCon全球产品创新大会最新日程一览,这里直达 了解详情
写点什么

AWS 和 Microsoft 合作推出的新机器学习库

  • 2019 年 11 月 08 日
  • 本文字数:1861 字

    阅读完需:约 6 分钟

AWS 和 Microsoft 合作推出的新机器学习库
今天,


AWS



Microsoft


联合发布了


Gluon


– 一种新的开源深度学习接口,可帮助开发人员更轻松、更快速地构建机器学习模型,而不牺牲任何性能。 !


Gluon 徽标


Gluon 采用一系列预先构建并经过优化的神经网络组件,为定义机器学习模型提供清晰、简洁的 API。刚刚接触机器学习的开发人员会发现此接口更像传统代码,因为他们可以像使用任何其他数据结构那样定义和操作机器学习模型。经验丰富的数据科学家和科研人员也会发现它的宝贵价值:快速构建原型和利用动态神经网络图实现全新模型架构,而又不减缓训练进度。Gluon 现已在


Apache MXNet


中可用,日后将“进驻”Microsoft Cognitive Toolkit 及其他架构。


**神经网络与开发人员 **使用神经网络的机器学习 (包括“深度学习”) 包含三个主要部分:训练数据、神经网络模型和训练神经网络的算法。您可以将神经网络看成是一种有向图:它有一系列输入 (数据),通过一系列连接的层和权重连接到一系列输出 (预测)。在训练期间,算法根据网络输出中的错误调整网络中的权重。这就是网络学习的过程 – 一种可能需要持续数天时间的内存和计算密集型过程。Caffe2、Cognitive Toolkit、TensorFlow 以及


Apache MXNet


等深度学习框架能够部分解决“如何加快这一过程?”的难题。与数据库中的查询优化器一样,训练引擎越了解网络和算法,越能更好地优化训练过程 (例如,它可以根据其他部分的改变,推断需要重新计算图中的哪些部分并跳过不受影响的权重,从而加快训练进度)。此外,这些框架还提供并行功能,可通过分发计算过程来减少总体训练时间。但是,要实现上述优化,大多数框架要求开发人员完成一些额外工作:首先,提供网络图形式定义,然后“定图”并调整权重。网络定义可能极其庞大而复杂 (包含数百万个连接),通常必须手动构建。深度学习网络十分“笨重”,难以调试,因而很难在项目间复用代码。


这种复杂性可能会令初学者“无从下手”,对经验丰富的科研人员来说也是一项耗时的任务。AWS 在 MXNet 中尝试了一些更灵活易用的新方法定义和训练神经网络。Microsoft 也是开源项目 MXNet 的开发者,对部分新想法感兴趣。于是我们进行了沟通,结果发现双方抱持几乎相同的愿景:借助此类技术降低机器学习的复杂性,让更多的开发人员能够轻松发挥其强大威力。


**Gluon 特点:动态图,快速迭代,可扩展训练


**Gluon 包含四大创新。


  1. 友好的 API:可以使用简单、清晰、简洁的代码定义 Gluon 网络 – 相比某些更晦涩、更形式化的网络及相关加权评分函数定义方法,这更易于开发人员学习,理解难度大幅降低。

  2. 动态网络:Gluon 中的网络定义是动态的:它可以像任何其他数据结构一样“收缩和扩展”。这有别于更常见的形式化网络符号定义 (既深度学习框架要求必须保持网络定义不变,才能在训练期间有效地优化计算)。相比之下,动态网络更容易管理。借助 Gluon,开发人员可以在定义网络和算法时轻松混用快速的符号表示和更友好、动态的“命令式”定义。

  3. 可以使用算法定义网络:这大大加强了模型与训练算法的联系。在这种情况下,算法可以在定义和训练期间动态调整网络,而不仅仅是独立的定义。也就是说,开发人员能够使用标准的编程循环、条件语句创建此类网络,科研人员也能定义以前无法实现的更复杂的算法和模型。不管是创建、更改还是调试,难度都大幅下降。

  4. 由高性能运营商进行训练:这样可在不牺牲训练速度的情况下提供友好、简洁的 API 和动态图,可谓是机器学习领域的一大进步。某些框架为深度学习提供了友好的 API 或动态图,但以前的此类方法都会减缓训练速度。与其他领域的软件一样,抽象需要在运行时进行协商和解释,因而会减慢计算速度。但 Gluon 将简明的 API 与形式化定义进行了深层融合,无需开发人员了解具体细节或手动调整编译器优化。


能通过 Gluon 向开发人员提供此类改进,AWS 团队和 Microsoft 的协作者倍感兴奋。目前,已有开发人员和科研人员提供十分积极的反馈。


**开始使用 Gluon


**Gluon 现已在 Apache MXNet 中可用,将在未来版本中支持 Microsoft Cognitive Toolkit。我们还将发布前端接口和底层 API 规范,以便在适当的时候“进驻”其他框架。


您可以立即试用 Gluon – 只需点击 AWS 深度学习 AMI,就能试验 50 个完全能够正常工作的笔记本示例。如果您是机器学习框架开发者,请访问 GitHub 查阅接口规范。


本文转载自 AWS 技术博客。


原文链接:


https://amazonaws-china.com/cn/blogs/china/introducing-gluon-a-new-library-for-machine-learning-from-aws-and-microsoft/


2019 年 11 月 08 日 08:00236

欲了解 AWS 的更多信息,请访问【AWS 技术专区】

评论

发布
暂无评论
发现更多内容

Linux之atime,ctime,mtime的区别

入门小站

Linux

基于磁盘量身定制,十亿规模高效向量检索方案

Zilliz

向量检索 anns 向量计算

面试官:方法重写时需要注意哪些问题?

王磊

助车企升级,旺链科技与南方电网、联想等名企同斩获「创新案例奖」

旺链科技

区块链 产业区块链 供应链金融

How old are you | 尚硅谷大数据之Canal视频教程

编程江湖

大数据 canal

QCon-oCPX多目标多场景联合建模在OPPO的实践

OPPO数智技术

算法

架构训练营模块三作业

zhongwy

架构实战营 「架构实战营」

域名基本信息查询小技巧

喀拉峻

网络安全 安全 信息安全

千万级日志回放引擎设计稿

FunTester

性能测试 测试框架 FunTester 流量回放 GOREPLAY

前端React 开发中必须知道的5个技巧

飞不起来的童年

前端开发 React

尚硅谷大数据之Canal视频教程发布!

飞不起来的童年

大数据

揭秘字节跳动基于Hudi的实时数据湖平台

字节跳动数据平台

大数据 实时数据湖

实现一键部署与高效集群管理,SphereEx-Boot 正式上线

SphereEx

开源 开源社区 SphereEx ShadingSphere 一键安装

在线JSON转PHP Array工具

入门小站

工具

Spring框架基础知识(03)

海拥(haiyong.site)

28天写作 12月日更

2021 优秀开源项目公布,Apache APISIX 位列其中!

Apache APISIX 中国社区

api 网关 Apache APISIX 优秀开源项目

HDFS源码解析:教你用HDFS客户端写数据

华为云开发者社区

hdfs block appendChunk

使用亚马逊云科技DevOps 工具构建 InnerSource 生态系统

亚马逊云科技 (Amazon Web Services)

开源 InnerSource

Dubbo 框架学习笔记十七

风翱

dubbo 12月日更

兄弟要盘吗?

为自己带盐

爬虫 dotnet 28天写作 12月日更

60 K8S之EFK日志管理系统

穿过生命散发芬芳

k8s 28天写作 12月日更

☕【权限设计系列】「认证授权专题」微服务架构的登陆认证问题

浩宇天尚

微服务架构 12月日更 12 月日更 权限认证机制 授权设计

技术“开源”对于金融业软件发展的影响

Speedoooo

安全 ios开发 APP开发 Andriod开发 小程序容器

京东java研发岗二面:Tomcat是如何做到热加载和热部署的?

碌碌无为小码农

Java 架构 程序人生 编程语言 经验分享

30K成功入职京东:拿到京东offer经验分享「面试经历+面试真题」

碌碌无为小码农

Java 架构 程序人生 编程语言 经验分享

填问卷抽大奖,中奖绝缘体的跨年福利快来领取!

InfoQ写作平台官方

活动专区

【转】大数据开发之Spark面试八股文

飞不起来的童年

大数据 spark

看我如何斩获阿里p7!在家闭关一个月,吃透这2万字节java高级工程师面试题解析

碌碌无为小码农

Java 面试 程序人生 编程语言 经验分享

带你认识三种kafka消息发送模式

华为云开发者社区

kafka 时间 异步 消息发送 producer

通过一个实际例子理解Kubernetes里pod的自动scale - 水平自动伸缩

Jerry Wang

Kubernetes k8s 28天写作 docker build 12月日更

门店拓客系统模式开发方案

DV:18028578624

撑起瞬时千亿交易额的云数据库是怎么炼成的?

撑起瞬时千亿交易额的云数据库是怎么炼成的?

AWS 和 Microsoft 合作推出的新机器学习库-InfoQ