AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

深度学习框架 SINGA 升级为 Apache 顶级项目

  • 2019-12-13
  • 本文字数:1194 字

    阅读完需:约 4 分钟

深度学习框架SINGA升级为Apache顶级项目

Apache软件基金会(ASF)最近宣布,分布式深度学习框架SINGA升级为顶级项目(TLP,top-level project)。这表明了 SINGA 项目所达到的成熟度和稳定性。SINGA 已经得到了银行、医疗健康等多行业中企业的应用。


SINGA 最早由新加坡国立大学研究人员开发,并于2015年三月 进入 ASF 孵化器。SINGA 提供了一种在机器集群中分布式训练深度学习模型的计算框架,降低了模型训练所需的时间。SINGA 不仅仅是一种学术研究平台,而且已在花旗集团、世邦魏理仕等多家企业得到了商业应用,并在健康医疗行业得到多处应用,例如为糖尿病前期患者提供帮助的应用


深度学习模型所取得的成功,是由大规模数据集的使用所驱动的。例如包括成千上万图像的ImageNet、具有上百万参数的复杂模型等。谷歌的自然语言模型BERT具有近 3 亿个参数,是在近 30 亿个单词上训练得到的。但是,完成这种训练通常需要数个小时,甚至数天时间。为加速训练过程,研究人员引入了并行处理技术,将计算任务分布到计算集群的多台设备上。SINGA 研究团队负责人黄铭钧教授指出:


深度学习必须扩展到分布式计算,因为…深度学习模型通常规模巨大,并需要在大型数据集上训练。如果使用单个 GPU,通常需要数百天时间。


分布式深度学习有两种并行策略。一种是数据并行,即多台机器分别处理不同的输入数据子集;另一种是模型并行,即多台机器分别训练神经网络模型的不同部分。SINGA 同时支持上述两种策略,也支持两种策略的组合使用。为协调集群机器间的工作,并行策略将引入额外的通信和同步开销。SINGA 实现了多种优化技术,力图降低上述开销。


SINGA 升级为 TLP 项目,表明该项目已经通过了包括软件质量和社区等在内的多个里程碑 。理论上看,成为 TLP 项目将会得到更多解决方案的考虑。但采纳该软件的一个可能障碍,就是 SINGA 设计人员选择了实现自身的 API,并未基于 Kera 等现有 API 去建模神经网络。与之不同,Uber 开源的Horovod计算框架支持开发人员导出现有模型到目前广为使用的两个深度学习框架,即TensorFlowPyTorch。尤其是 PyTorch,近期得到大量研究论文采用。


ASF 还支持了多个顶级分布式机器学习数据处理项目,例如SparkIgnite。SINGA 的独特之处在于,它是专门针对大规模神经学习模型而设计的。同时,ASF 也是另一个深度学习框架MXNet的孵化器。和 TensorFlow 和 PyTorch 一样,MXNet 依然在孵化器阶段。尽管AWS在2016下半年就内定其深度学习框架为MXNet,但是 MXNet 依然并未得到广泛使用。据KDNugget调查显示,MXNet 的使用率仅在不高于2%左右波动


Apache SINGA 2.0版于 2019 年四月发布,源代码SINGA Jira项目的可追踪问题列表提供在 GitHub 上。据 ASF 介绍,SINGA 即将推出的特性包括“实现 5G 边缘设备上深度学习的 SINGA-lite,以及易于非深度 AI 背景领域专家开展 AI 计算的 SINGA-easy”。


原文链接:


Deep-Learning Framework SINGA Graduates to Top-Level Apache Project


2019-12-13 15:003100

评论

发布
暂无评论
发现更多内容

【Python】此集合非彼集合

謓泽

5月月更

北明软件加入昇腾万里伙伴计划,与华为共建昇腾AI生态,共同推动人工智能产业繁荣发展

科技热闻

双管齐下, 清华教授亲码JDK和HotSpot源码笔记,一次性学个明白

Java架构追梦

Java 后端开发

阿里亿级并发册+机器学习算法+面试册+优化册+代码册 笔记!!!

Java架构追梦

Java 程序员 后端开发

Kubernetes 中数据包的生命周期 -- 第 3 部分

Se7en

【案例】锐明技术:灵活部署,实现会话质量和安全的双重保障

行云管家

运维 等保 IT运维 等保2.0

浅谈Flutter等跨平台移动开发框架

Speedoooo

flutter 小程序 前端框架 开发框架 小程序容器

python进阶-装饰器

AIWeker

Python 人工智能 5月月更

Apache ShardingSphere 企业行|走进携程

SphereEx

Apache 数据库 ShardingSphere SphereEx 企业行

看 Amazon 如何通过 Nitro System 构建技术优势

亚马逊云科技 (Amazon Web Services)

Builder 专栏

【直播回顾】OpenHarmony知识赋能五期第三课——多媒体整体介绍

OpenHarmony开发者

直播 OpenHarmony 成长计划 多媒体 标准系统

云图说|云数据库RDS跨区域备份

华为云开发者联盟

华为云 云数据库 备份 云数据库RDS 跨区域备份

浅析分布式系统之体系结构 - 事务与隔离级别(多对象、多操作)上篇

snlfsnef

数据库 架构 设计原则 一致性 事务隔离

未来的神AIoT!全网第一份AIoT系统学习指南,限时开源

Java架构追梦

Java 后端开发 ALOT

Alibaba最新神作!耗时182天肝出来1015页分布式全栈手册太香了

Java架构追梦

分布式 java面试 后端开发

LigaAI 倾情推荐,这5部烧脑电影让你爽翻天

LigaAI

程序人生

如何基于盘古开发框架开发Dubbo微服务网关

码农大熊

微服务架构 网关

【多云管理】国内多云管理平台厂家名单汇总

行云管家

云计算 多云管理 多云 云管平台

2019,不仅是"自由自在",更是AI领域不平凡的一年

Baihai IDP

人工智能 AI

Swift 首次调试断点慢的问题解法 | 优酷 Swift 实践

阿里巴巴终端技术

ios swift

放弃保研和出国,投身基础软件,一位复旦学子的职业选择

TDengine

数据库 tdengine

云天励飞与华为签署合作协议,共同推进昇腾AI产业持续发展

科技热闻

WordPress 如何重置密码

海拥(haiyong.site)

5月月更

恭喜 Kvrocks 加入 Apache 软件基金会孵化器

Kvrocks

redis 开源 apache 社区

使用小程序容器技术快速构建智能电视应用平台

Speedoooo

小程序 物联网 移动开发 小程序容器 智能电视

面向对象编程(OOP)

武师叔

5月月更

中科创达与华为共启边缘计算合作,共建昇腾AI产业,赋能千行百业提质升级

科技热闻

阿里大牛两万字总结+40张图文详解,不信你还参透不了并发编程

Java架构追梦

高并发 java面试 后端开发

Alibaba永远滴神!阿里顶级技术官500页网络协议手记,限时开源

Java架构追梦

Java 华为 网络协议 后端开发

带派!真心被这份阿里大牛开源的“全彩版图解HTTP手册”折服了

Java架构追梦

Java 程序员 后端开发

691页,41个版块!终于有阿里大佬可以带我吃透Spring源码了

Java架构追梦

Java spring 后端开发

深度学习框架SINGA升级为Apache顶级项目_AI&大模型_Anthony Alford_InfoQ精选文章