Facebook 开源了一些用于在 Torch(一个广泛支持机器学习算法的科学计算框架)上更快速地训练神经网络的模块。
不久之前, Nvidia 发布了 cuDNN ,这是一个基于 CUDA 的库,用于深度神经网络。 Facebook 人工智能实验室(FAIR)近日发布了一些 Torch 上的模块,供公开使用。这些模块合称为 fbcunn ,而且“比默认模块快得多”。它们主要面向卷积神经网络(convolutional nets),针对 GPU 做了优化,构建在 Nvidia 的 cuFFT 库之上。其中包括:
- 使用 FFT 加速卷积的空间卷积模块
- 用于并行化多 GPU 上的训练数据和模型的容器
- FFT/IFFT 的包装器
- 一个更快速的临时卷积层(比 cuDNN 快 1.5 到 10 倍)
- 用于神经语言模型和单词嵌入(word embedding)的查找表
Facebook 基于 Fast Training of Convolutional Networks through FFTs 这篇论文中的想法构建了这些模块,FAIR 的主任 Yann LeCun 是论文的合著者之一。根据发布说明,与cuDNN 相比,在卷积核较小的情况下(3x3),fbcunn 的速度提升可达1.84 倍;而在卷积核较大的情况下(5x5),速度提升可达23.5 倍。
Torch 和 fbcunn 最早的用途之一就是更快速的图像识别,一个例子就是分类来自ImageNet 的120 万幅图片。
查看英文原文: Facebook Open Sources Modules for Faster Deep Learning on Torch
公众号推荐:
跳进 AI 的奇妙世界,一起探索未来工作的新风貌!想要深入了解 AI 如何成为产业创新的新引擎?好奇哪些城市正成为 AI 人才的新磁场?《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造,为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者,还是对生成式 AI 充满好奇的新手,这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号,回复「开发者洞察」领取。
评论