AI实践哪家强?来 AICon, 解锁技术前沿,探寻产业新机! 了解详情
写点什么

深度学习框架 SINGA 升级为 Apache 顶级项目

  • 2019-12-13
  • 本文字数:1194 字

    阅读完需:约 4 分钟

深度学习框架SINGA升级为Apache顶级项目

Apache软件基金会(ASF)最近宣布,分布式深度学习框架SINGA升级为顶级项目(TLP,top-level project)。这表明了 SINGA 项目所达到的成熟度和稳定性。SINGA 已经得到了银行、医疗健康等多行业中企业的应用。


SINGA 最早由新加坡国立大学研究人员开发,并于2015年三月 进入 ASF 孵化器。SINGA 提供了一种在机器集群中分布式训练深度学习模型的计算框架,降低了模型训练所需的时间。SINGA 不仅仅是一种学术研究平台,而且已在花旗集团、世邦魏理仕等多家企业得到了商业应用,并在健康医疗行业得到多处应用,例如为糖尿病前期患者提供帮助的应用


深度学习模型所取得的成功,是由大规模数据集的使用所驱动的。例如包括成千上万图像的ImageNet、具有上百万参数的复杂模型等。谷歌的自然语言模型BERT具有近 3 亿个参数,是在近 30 亿个单词上训练得到的。但是,完成这种训练通常需要数个小时,甚至数天时间。为加速训练过程,研究人员引入了并行处理技术,将计算任务分布到计算集群的多台设备上。SINGA 研究团队负责人黄铭钧教授指出:


深度学习必须扩展到分布式计算,因为…深度学习模型通常规模巨大,并需要在大型数据集上训练。如果使用单个 GPU,通常需要数百天时间。


分布式深度学习有两种并行策略。一种是数据并行,即多台机器分别处理不同的输入数据子集;另一种是模型并行,即多台机器分别训练神经网络模型的不同部分。SINGA 同时支持上述两种策略,也支持两种策略的组合使用。为协调集群机器间的工作,并行策略将引入额外的通信和同步开销。SINGA 实现了多种优化技术,力图降低上述开销。


SINGA 升级为 TLP 项目,表明该项目已经通过了包括软件质量和社区等在内的多个里程碑 。理论上看,成为 TLP 项目将会得到更多解决方案的考虑。但采纳该软件的一个可能障碍,就是 SINGA 设计人员选择了实现自身的 API,并未基于 Kera 等现有 API 去建模神经网络。与之不同,Uber 开源的Horovod计算框架支持开发人员导出现有模型到目前广为使用的两个深度学习框架,即TensorFlowPyTorch。尤其是 PyTorch,近期得到大量研究论文采用。


ASF 还支持了多个顶级分布式机器学习数据处理项目,例如SparkIgnite。SINGA 的独特之处在于,它是专门针对大规模神经学习模型而设计的。同时,ASF 也是另一个深度学习框架MXNet的孵化器。和 TensorFlow 和 PyTorch 一样,MXNet 依然在孵化器阶段。尽管AWS在2016下半年就内定其深度学习框架为MXNet,但是 MXNet 依然并未得到广泛使用。据KDNugget调查显示,MXNet 的使用率仅在不高于2%左右波动


Apache SINGA 2.0版于 2019 年四月发布,源代码SINGA Jira项目的可追踪问题列表提供在 GitHub 上。据 ASF 介绍,SINGA 即将推出的特性包括“实现 5G 边缘设备上深度学习的 SINGA-lite,以及易于非深度 AI 背景领域专家开展 AI 计算的 SINGA-easy”。


原文链接:


Deep-Learning Framework SINGA Graduates to Top-Level Apache Project


2019-12-13 15:003096

评论

发布
暂无评论
发现更多内容

强大的绘图软件:OmniGraffle中文激活版

真大的脸盆

Mac Mac 软件 绘图软件 绘图工具

联想Yoga Book 9i双屏笔记本发布:两块13寸2.8K触摸屏

极客天地

Jetpack-Compose 学习笔记(三)—— Compose 的自定义“View”

修之竹

android Compose JetPack android jetpack

电商秒杀系统

Ryan

开心档之MySQL 序列使用

寻找“乘风破浪”的出海创新势力丨 2023出海企业创新价值榜报名启动

创业邦

分享交流丨九科信息董事&产品VP傅恺受邀出席第三届ISIG中国产业智能大会并分享企业优秀案例

九科Ninetech

好用的无损播放器:Audirvana v3.5.50中文激活版

真大的脸盆

Mac 软件 音乐播放 无损播放器

浙江杭州|Hi TECH 2023 年全球青年创业大赛

科兴未来News

数字经济 杭州 新能源 生物医药 #双创赛事#

比尔·盖茨最新AI演讲:人工智能时代已经开启

Chares

人工智能 机器学习 微软 ChatGPT

IntelliJ IDEA 2023.1 版本添加了包中类的列表功能

HoneyMoose

GitHub开源3小时,一直被哄抢!800页全彩《微服务架构深度解析》

Java 架构 微服务

百度荣获 CCIA数据安全工作委员会突出贡献奖

百度安全

新能源的B面:下沉市场的机会与变量

Alter

新能源 下沉市场

发声全球边缘计算大会,火山引擎荣获“最佳边缘云服务商”称号

火山引擎边缘云

火山引擎 边缘云 火山引擎边缘计算

你的留言,我们都收到了

OceanBase 数据库

数据库 oceanbase

C++面试必备:常见C++面试题汇总及详细解析

小万哥

面试 软件开发 C/C++ 常见 汇总

Linux 开启或关闭 SELinux

HoneyMoose

WordPress 网站 Error Establishing a Database Connection(建立数据库连接时出错)

HoneyMoose

OpenCloudOS 9.0 发布:首个全自研服务器操作系统

OpenCloudOS

Linux

百度获CCIA数安委《数据安全和个人信息保护社会责任指南》首批试点示范单位

百度安全

ChatGPT4.0,基础生产力的变革!

老张

人工智能 ChatGPT ChatGPT4

秒懂算法 | 链表

TiAmo

算法 链表 C++ STL 静态链表 动态链表

《零代码应用实例》,从案例到使用

明道云

Spring 项目运行提示错误 Not a managed type

HoneyMoose

IT 数字化转型

L3C老司机

数字化转型 产品研发 工程效能 项目交付 胜任力模型

开心档之MySQL WHERE 子句

Linux 查看 SELinux 的状态

HoneyMoose

功能全面的数据库软件:DBeaverUltimate 中文旗舰版

真大的脸盆

Mac 数据库管理 Mac 软件 管理数据库 数据库工具

ChatGPT研究(一)——AI平民化的里程碑

Chares

人工智能 机器学习 AIGC ChatGPT

深度学习框架SINGA升级为Apache顶级项目_AI&大模型_Anthony Alford_InfoQ精选文章