【AICon】探索RAG 技术在实际应用中遇到的挑战及应对策略!AICon精华内容已上线73%>>> 了解详情
写点什么

深度学习框架 SINGA 升级为 Apache 顶级项目

  • 2019-12-13
  • 本文字数:1194 字

    阅读完需:约 4 分钟

深度学习框架SINGA升级为Apache顶级项目

Apache软件基金会(ASF)最近宣布,分布式深度学习框架SINGA升级为顶级项目(TLP,top-level project)。这表明了 SINGA 项目所达到的成熟度和稳定性。SINGA 已经得到了银行、医疗健康等多行业中企业的应用。


SINGA 最早由新加坡国立大学研究人员开发,并于2015年三月 进入 ASF 孵化器。SINGA 提供了一种在机器集群中分布式训练深度学习模型的计算框架,降低了模型训练所需的时间。SINGA 不仅仅是一种学术研究平台,而且已在花旗集团、世邦魏理仕等多家企业得到了商业应用,并在健康医疗行业得到多处应用,例如为糖尿病前期患者提供帮助的应用


深度学习模型所取得的成功,是由大规模数据集的使用所驱动的。例如包括成千上万图像的ImageNet、具有上百万参数的复杂模型等。谷歌的自然语言模型BERT具有近 3 亿个参数,是在近 30 亿个单词上训练得到的。但是,完成这种训练通常需要数个小时,甚至数天时间。为加速训练过程,研究人员引入了并行处理技术,将计算任务分布到计算集群的多台设备上。SINGA 研究团队负责人黄铭钧教授指出:


深度学习必须扩展到分布式计算,因为…深度学习模型通常规模巨大,并需要在大型数据集上训练。如果使用单个 GPU,通常需要数百天时间。


分布式深度学习有两种并行策略。一种是数据并行,即多台机器分别处理不同的输入数据子集;另一种是模型并行,即多台机器分别训练神经网络模型的不同部分。SINGA 同时支持上述两种策略,也支持两种策略的组合使用。为协调集群机器间的工作,并行策略将引入额外的通信和同步开销。SINGA 实现了多种优化技术,力图降低上述开销。


SINGA 升级为 TLP 项目,表明该项目已经通过了包括软件质量和社区等在内的多个里程碑 。理论上看,成为 TLP 项目将会得到更多解决方案的考虑。但采纳该软件的一个可能障碍,就是 SINGA 设计人员选择了实现自身的 API,并未基于 Kera 等现有 API 去建模神经网络。与之不同,Uber 开源的Horovod计算框架支持开发人员导出现有模型到目前广为使用的两个深度学习框架,即TensorFlowPyTorch。尤其是 PyTorch,近期得到大量研究论文采用。


ASF 还支持了多个顶级分布式机器学习数据处理项目,例如SparkIgnite。SINGA 的独特之处在于,它是专门针对大规模神经学习模型而设计的。同时,ASF 也是另一个深度学习框架MXNet的孵化器。和 TensorFlow 和 PyTorch 一样,MXNet 依然在孵化器阶段。尽管AWS在2016下半年就内定其深度学习框架为MXNet,但是 MXNet 依然并未得到广泛使用。据KDNugget调查显示,MXNet 的使用率仅在不高于2%左右波动


Apache SINGA 2.0版于 2019 年四月发布,源代码SINGA Jira项目的可追踪问题列表提供在 GitHub 上。据 ASF 介绍,SINGA 即将推出的特性包括“实现 5G 边缘设备上深度学习的 SINGA-lite,以及易于非深度 AI 背景领域专家开展 AI 计算的 SINGA-easy”。


原文链接:


Deep-Learning Framework SINGA Graduates to Top-Level Apache Project


公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2019-12-13 15:002751

评论

发布
暂无评论
发现更多内容

网安学院举办第三届“火焰杯”软件测试高校就业选拔赛颁奖典礼

测吧(北京)科技有限公司

测试

厦门理工学院五名学子获第四届“火焰杯”软件测试开发选拔赛全国奖项

测吧(北京)科技有限公司

测试

区块链开发:链接未来的技术之桥

区块链软件开发推广运营

dapp开发 区块链开发 链游开发 NFT开发 公链开发

“火焰杯”软件测试高校就业选拔赛获奖名单揭晓,人工智能与大数据学院两名学子上榜,奖金2万元!

测吧(北京)科技有限公司

测试

如何选择最适合你的国外云服务器专业指南

一只扑棱蛾子

云服务器 国外云服务器

计算机系本科生获“火焰杯”软件测试高校就业选拔赛一等奖

测吧(北京)科技有限公司

MacBook触控板窗口管理:Swish for Mac

彩云

窗口管理工具 Swish for Mac

软件工程专业教师参加“火焰杯”软件测试颁奖典礼

测吧(北京)科技有限公司

测试

网安学院举办第二届“火焰杯”软件测试高校就业选拔赛颁奖典礼

测吧(北京)科技有限公司

测试

以赛促教,以赛促研 ——计算机科学系举办“火焰杯”软件测试开发选拔赛颁奖仪式

测吧(北京)科技有限公司

测试

从 15000 家参赛企业脱颖而出,涛思数据荣获中国创新创业大赛“优秀企业”

TDengine

tdengine 时序数据库

数字技术,为企业全面预算管理贡献数智力量

智达方通

数字化转型 数字技术 全面预算

HarmonyOS位置服务开发指南

HarmonyOS开发者

HarmonyOS

ABBYY FineReader PDF 15 for Mac「OCR文字识别工具」

彩云

macos Abbyy FineReader OCR

高博学子参加第二届火焰杯软件测试高校就业选拔赛喜获佳绩

测吧(北京)科技有限公司

测试

华新学院在2022 年全国大学生“火焰杯”软件测试高校就业选拔赛取得佳绩

测吧(北京)科技有限公司

测试

第二届、第三届<火焰杯>软件测试开发选拔赛河北赛区颁奖典礼落幕

测吧(北京)科技有限公司

测试

Mocha Pro 2022 Plugins for mac(AE/达芬奇/Fusion/Nuke/OFX插件) 9.0.1完整激活版

mac

苹果mac Windows软件 Mocha Pro 2022 平面跟踪工具

万界星空科技QMS质量管理系统介绍

万界星空科技

QMS 质量管理系统 万界兴科科技QMS 质量管理QMS系统 生产质量管理

企业如何保障跨境金融业务中的数据安全传输?

镭速

跨境数据传输

如何轻量化实现灰度发布

Geek_2305a8

阿里巴巴工程师最新版 1180 道 Java 面试题及答案整理

架构师之道

程序员 架构师 java面试

河南工业大学在第三届“火焰杯”软件测试开发选拔赛中 取得佳绩

测吧(北京)科技有限公司

测试

韩山师范学院-获第四届“火焰杯”软件测试开发选拔赛全国奖项

测吧(北京)科技有限公司

测试

电线电缆行业生产管理怎么数字化?

万界星空科技

数字化转型 MES系统 云mes 万界星空科技mes 电线电缆行业

用二维码展示产品信息,轻松解决产品宣传难题

草料二维码

二维码 产品更新 草料二维码 产品宣传

使用Terraform创建Docker镜像和容器

互联网工科生

Terraform Docker 镜像

长春工业大学-在2023年全国大学生“火焰杯”软件测试大赛中喜获佳绩

测吧(北京)科技有限公司

测试

Java电子病历编辑器源码(云端SaaS服务)

源码星辰

Java 源码

计算机科学与工程学院颁奖仪式

测吧(北京)科技有限公司

测试

东莞理工大学-第四届“火焰杯”软件测试高校就业选拔赛颁奖典礼

测吧(北京)科技有限公司

测试

深度学习框架SINGA升级为Apache顶级项目_AI&大模型_Anthony Alford_InfoQ精选文章