写点什么

迅速 get 华为云深度学习“黑科技”

  • 2020-04-07
  • 本文字数:1794 字

    阅读完需:约 6 分钟

迅速get华为云深度学习“黑科技”

近日,由华为云举办的 Deep Learning Meetup 活动在华为杭州研究所举行。来自爱罗智能公司、杭州电子科技大学、华为云 EI 产品部等相关业界专家与现场听众,围绕深度学习技术的发展方向和领域应用等话题一起展开了深入交流与讨论。其中华为云 EI 专家给现场观众带来了《华为云深度学习服务介绍及实践》的主题演讲,那么,华为云深度学习平台究竟有哪些黑科技呢?现场干货满满,快来和我一起先睹为快~



华为云 EI 专家现场讲解华为云 EI 黑科技

多年积累 助力用户降低深度学习训练门槛

随着深度学习应用的不断推广,各行各业的用户都希望能够利用深度学习技术来解决实际场景问题。但是,深度学习模型训练需要具备一定的深度学习技术和编程能力,使得很多用户虽有满腔模型训练之志,却不得不败在深度学习的技术门槛上。


因此,如何让不会深度学习编程的用户,同样能够完成深度学习模型训练和模型应用,就是深度学习应用推广所面临的一个重大挑战。华为云的深度学习服务,使用迁移学习技术,将华为针对多个典型客户场景,所训练出的高性能的深度学习模型,预置在华为云深度学习服务中。行业用户在训练自己的行业模型时,只需要使用华为云深度学习服务,用自己的行业数据对预置模型进行重新训练,即可得到自己所需的行业模型。这整个操作过程只需 2 步操作即可完成,用户不必具备任何深度学习技术和编程基础。目前,华为云深度学习服务已经内置了包括提供图像分类、物体检测等在内的几十种 CNN/RNN 神经网络算法模型,方便用户进行便捷模型训练。

破除分布式编程壁垒 分布式训练不再是难题

在实际应用中,由于深度学习的网络层复杂、训练数据规模庞大,训练时间非常长,因此通常采用分布式计算来减少训练时间。但是,分布式开发本身就具有一定的技术门槛,很多用户并不具备分布式开发能力。因此,如何解决用户对单机代码的分布式改造是深度学习应用推广所面临的另一个重大挑战。


华为云深度学习服务,提供了自研的的 MoXing 高层库。用户在使用 MoXing 库进行模型开发时,只需聚焦业务逻辑代码实现,无需关心分布式和单机版的问题。一套代码既可以运行在单机模式,也可运行在分布式模式,这样就解决了不会分布式编程,却需要进行分布式训练的难题。同时,MoXing 库完全兼容 TensorFlow、MXNet、Keras 等主流开源库,给用户提供多的选择。

GPU 集群加速 降低分布式训练时间

使用 MoXIng 高层库解决分布式编程问题后,还需要解决分布式训练线性加速比的问题。由于深度学习需要使用海量数据来进行模型训练,因此通常需要使用 GPU 集群来进行分布式训练。但是,开源的分布式训练框架,在保证模型收敛的情况下,最大集群规模只支持 10 块 GPU。这意味着在进行数据运算时,即时使用更多的 GPU,计算效果也只相当于 10 块 GPU 的能力。


华为云深度学习服务,基于系统软硬件结合方案,搭载华为云的云容器引擎 CCE、GPU 高性能计算、对象存储服务(OBS)、高性能网络等能力,并通过混合并行、梯度压缩、卷积加速、EASGD 等技术加快模型训练速度。使得在 1000 块 GPU 的大规模集群中,分布式训练线性加速比也能够达到 0.8,大大降低集群分布式训练时间。

一个平台适用不同类型用户

对于深度学习的用户群而言,不同的用户,需求也不一样。对于初级用户而言,最好在界面上拖拖拽拽,点几下鼠标就完成深度学习训练。而对于骨灰级的用户,就是越自由,越开放越好,这样才能吸引骨灰级用户的关注与使用,满足高级用户的定制化需求。


华为云深度学习服务充分考虑到了用户的差异性,针对不同用户的需求,提供不同的开发环境。当前华为云深度学习服务将用户群分为从初级到骨灰级 5 个等级,针对不同等级的需求,华为深度学习服务提供不同的开发环境。例如:对于初级用户,提供了预置模型重训练功能,无需任何深度学习知识;对于入门级用户,MoXing 库提供了多种模型的接口,提供给用户使用;对于骨灰级用户,则提供了完全开放的开发环境,用户可自由选择开发方式,真正实现随需选择、自由定制,一个平台满足所有用户的诉求。


除了这些黑科技外,华为云深度学习服务还在平台管理、模型压缩、二次开发 API 等方面做了很多优化。基于此,用户可以借力华为云深度学习服务,降低深度学习训练和使用的难度。后续,华为云深度学习服务还会继续上线更多黑科技,帮助企业用户快速进入探索智能世界的轨道。


本文转载自华为云产品与解决方案公众号。


原文链接:https://mp.weixin.qq.com/s/5H9D3Wz8VOTTsAIW40v5ag


2020-04-07 17:20974

评论

发布
暂无评论
发现更多内容

FILPool云算力挖矿系统开发源码案例

系统开发咨询1357O98O718

Redis的AOF方案(Redis持久化)

大数据技术指南

redis 4月日更

存储成本降低80%!US3在海量数据归档存储下的成本优化技术实践

UCloud技术

存储 海量数据 存储成本

源中瑞区块链农产品溯源--推动农业科技发展

13530558032

LiteOS内核源码分析:消息队列Queue

华为云开发者联盟

队列 LiteOS LiteOS内核 消息队列Queue 队列池

python内置数据结构list、set、dict、tuple(二)

若尘

List 数据结构 set 元组 Python编程

《采访提纲:声网 Agora.io 资深 iOS 开发工程师--龚宇华》

空城机

签约计划 4月日更 热门活动

AUC/ROC:面试中80%都会问的知识点

华为云开发者联盟

机器学习 面试 mindspore roc AUC

专访彩食鲜 CTO 乔新亮:CTO的“升级”秘笈

IT蜗壳-Tango

快来,告诉你一个赚钱的秘诀:金钱的秘密

帅安技术

赚钱 秘密 金钱的秘密

Spring Cloud Gateway 和Webflux 请求参数非法字符处理

sN0wpeak

Java Spring Cloud SpringcloudGateway

智慧平安社区建设--赋能基层治理

13530558032

区块链电子合同签约,推动合同签约数字化转型

13530558032

fil云算力挖矿系统开发成功案例丨fil云算力挖矿源码设计

系统开发咨询1357O98O718

重读《重构2》- 以查询取代临时变量

顿晓

重构 4月日更

库存溯源之批次管理

Geek_vidmje

溯源 供应链 仓储 冷链 wms

阿里巴巴研究员吴翰清采访提纲:天才少年之路

Nydia

签约计划

四两拨千斤——你不知道的VScode编码TypeScript的技巧

葡萄城技术团队

加密原理详解:对称式加密VS非对称式加密

vivo互联网技术

加密 rsa

apk优化,996页阿里Android面试真题解析火爆全网,附面试答案

欢喜学安卓

android 程序员 面试 移动开发

浅谈BSS3.0产品“守成”之策中 • 业务提升篇

鲸品堂

系统架构 性能调优

张超 - 机锋网联合创始人 - 采访提纲:那些 3 个月就上线的产品,如何去做技术规划?

梦想橡皮擦

签约计划

MySQL内置函数

Sakura

4月日更

美国工程院士、谷歌首席架构师 杰夫·迪恩(JeffDean) John 易筋 ARTS 打卡 Week 45

John(易筋)

ARTS 打卡计划

Spark内存管理与调优

小舰

4月日更

读《乌克兰拖拉机简史》有感

箭上有毒

读书笔记 4月日更

【Knative系列】看完这篇还不懂 Knative Serving,你来打我~(史上最详细)

公众号:云原生Serverless

Serverless 云原生 Knative

别再问我 2050 可以干什么,Make a Movie in a Day!

阿里云CloudImagine

电影

华为云薛浩:走进视频“新时代”

华为云开发者联盟

云原生 视频 华为云 vr 图形处理

IPFS挖矿系统开发详情案例丨IPFS挖矿矿机源码平台

系统开发咨询1357O98O718

android面试题及答案,我的阿里春招之路分享,附面试答案

欢喜学安卓

android 程序员 面试 移动开发

迅速get华为云深度学习“黑科技”_服务革新_华为云产品与解决方案_InfoQ精选文章