Facebook 开源在 Torch 上进行更快速机器学习的模块

  • Abel Avram
  • 臧秀涛

2015 年 1 月 20 日

话题:开源Facebook架构AI

Facebook 开源了一些用于在 Torch(一个广泛支持机器学习算法的科学计算框架)上更快速地训练神经网络的模块。

不久之前,Nvidia 发布了 cuDNN,这是一个基于 CUDA 的库,用于深度神经网络。Facebook 人工智能实验室(FAIR)近日发布了一些 Torch 上的模块,供公开使用。这些模块合称为fbcunn,而且“比默认模块快得多”。它们主要面向卷积神经网络(convolutional nets),针对 GPU 做了优化,构建在 Nvidia 的cuFFT库之上。其中包括:

  • 使用 FFT 加速卷积的空间卷积模块
  • 用于并行化多 GPU 上的训练数据和模型的容器
  • FFT/IFFT 的包装器
  • 一个更快速的临时卷积层(比 cuDNN 快 1.5 到 10 倍)
  • 用于神经语言模型和单词嵌入(word embedding)的查找表

Facebook 基于Fast Training of Convolutional Networks through FFTs这篇论文中的想法构建了这些模块,FAIR 的主任 Yann LeCun 是论文的合著者之一。根据发布说明,与 cuDNN 相比,在卷积核较小的情况下(3x3),fbcunn 的速度提升可达 1.84 倍;而在卷积核较大的情况下(5x5),速度提升可达 23.5 倍。

Torch 和 fbcunn 最早的用途之一就是更快速的图像识别,一个例子就是分类来自 ImageNet 的 120 万幅图片

查看英文原文:Facebook Open Sources Modules for Faster Deep Learning on Torch

开源Facebook架构AI