写点什么

Intel 开源了基于 Apache Spark 的分布式深度学习框架 BigDL

  • 2017-01-18
  • 本文字数:785 字

    阅读完需:约 3 分钟

Intel 开源了基于 Apache Spark 的分布式深度学习框架 BigDL 。BigDL 借助现有的 Spark 集群来运行深度学习计算,并简化存储在 Hadoop 中的大数据集的数据加载。

Xeon 服务器上运行的测试结果表明,BigDL 比其他开源框架 Caffe Torch TensorFlow 有显著的性能提升。BigDL 速度可与主流 GPU 匹敌,而且能够扩展到数十个 Xeon 服务器。

BigDL 库支持 Spark 1.5、1.6 和 2.0 版本,并容许将深度学习嵌入在现有的 Spark 程序中。BigDL 库中有把 Spark RDDs 转换为 BigDL DataSet 的方法,并且可以直接与 Spark ML Pipelines 一起使用。

对于模型训练,BigDL 使用了在多个执行器中执行单个 Spark 任务的同步小批量 SGD( Stochastic Gradient Descent )。每个执行器运行一个多线程引擎并处理一部分微批次数据。在当前版本中,所有的训练和验证数据都存储到存储器中。

BigDL 使用 Scala 开发,并参考了 Torch 的模型。像 Torch 一样,它有一个使用 Intel MKL 库进行计算的 Tensor 类。Intel MKL(Math Kernel Library)是由一系列为计算优化过的小程序所组成的库,这些小程序从 FFT (快速傅立叶变换)到矩阵乘法均有涉及,常用于深度学习模型训练。Module 是另一个从 Torch 借鉴而来的概念,它的灵感来自 Torch 的 nn package 。Module 代表单独的神经网络层、 Table Criterion

BigDL 提供了一个 AWS EC2 镜像和一些示例,比如使用卷积神经网络进行文本分类,还有图像分类以及如何将在Torch 或Caffe 中预训练过的模型加载到 Spark 中进行预测计算。来自社区的请求主要包括提供对 Python 的支持和 MKL-DNN (MKL 的深度学习扩展)。

查看英文原文 Intel Open-Sources BigDL, Distributed Deep Learning Library for Apache Spark


感谢薛命灯对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

2017-01-18 18:005188
用户头像

发布了 22 篇内容, 共 59951 次阅读, 收获喜欢 3 次。

关注

评论

发布
暂无评论
发现更多内容

week2作业

用一致性Hash算法的实现负载均衡(Kotlin)

Acker飏

极客大学架构师训练营 一致性Hash算法

第五周作业-一致性hash算法实现

吴建中

极客大学架构师训练营

你都如何回忆我,带着笑或是很沉默

小天同学

回忆 高考 青春

【架构师训练营 - 作业 -5】一致性HASH算法实现

小动物

极客大学架构师训练营 作业 第五周

Week 05- 作业二:学习总结

dean

极客大学架构师训练营

一致性Hash算法以及Java代码实现

架构5班杨娟Jessie

极客大学架构师训练营

首次揭秘!​春晚活动下快手实时链路保障实践

Apache Flink

Apache flink 架构 实时计算

命题作业5-1 【C++实现版本】

天之彼方

c++

使用@AutoConfigureBefore调整配置顺序竟没生效?

YourBatman

Java Spring Boot @AutoConfigureBefore

架构师训练营 - 第五周 - 学习总结

韩挺

架构师训练营学习总结——缓存与消息队列【第五周】

王海

极客大学架构师训练营

就餐卡系统设计

开发人员应当避免的代价高昂的职业错误

小隐乐乐

职业规划 职业素养 架构师

Week 5 作业

Shawn

分布式缓存、消息系统和异步架构

架构5班杨娟Jessie

极客大学架构师训练营

架构师训练营第五章总结

叮叮董董

springBoot集成rabbitmq并实现延时队列

生命在于折腾

RabbitMQ

架构师第5周总结

老姜

Week 05- 作业一:一致性 hash 算法

dean

极客大学架构师训练营

架构师训练营 Week 05 作业

Wancho

Week 05 命题作业

卧石漾溪

极客大学架构师训练营

week5-总结 技术选型

Geek_z9dmvw

架构师训练营第五章作业

叮叮董董

架构师训练营 - 第五周 - 作业

韩挺

Week5 一致性hash算法

TiK

不懂SpringApplication生命周期事件?那就等于不会Spring Boot嘛

YourBatman

Spring Boot SpringApplication

Spring 同名 Bean 加载策略

xiaoxi666

spring bean 同名 覆盖

动手实现一致性hash算法

极客大学架构师训练营 分布式缓存 一致性哈希 一致性hash

区块链技术打通医疗应用场景

CECBC

行业资讯 生产 区块链技术 生活服务

架构师训练营第5周作业

Bruce Xiong

Intel开源了基于Apache Spark的分布式深度学习框架BigDL_亚马逊云科技_Alexandre Rodrigues_InfoQ精选文章