Facebook 开源了一些用于在 Torch（一个广泛支持机器学习算法的科学计算框架）上更快速地训练神经网络的模块。
不久之前， Nvidia 发布了 cuDNN ，这是一个基于 CUDA 的库，用于深度神经网络。 Facebook 人工智能实验室（FAIR）近日发布了一些 Torch 上的模块，供公开使用。这些模块合称为 fbcunn ，而且“比默认模块快得多”。它们主要面向卷积神经网络（convolutional nets），针对 GPU 做了优化，构建在 Nvidia 的 cuFFT 库之上。其中包括：
- 使用 FFT 加速卷积的空间卷积模块
- 用于并行化多 GPU 上的训练数据和模型的容器
- FFT/IFFT 的包装器
- 一个更快速的临时卷积层（比 cuDNN 快 1.5 到 10 倍）
- 用于神经语言模型和单词嵌入（word embedding）的查找表
Facebook 基于 Fast Training of Convolutional Networks through FFTs 这篇论文中的想法构建了这些模块，FAIR 的主任 Yann LeCun 是论文的合著者之一。根据发布说明，与cuDNN 相比，在卷积核较小的情况下（3x3），fbcunn 的速度提升可达1.84 倍；而在卷积核较大的情况下（5x5），速度提升可达23.5 倍。
Torch 和 fbcunn 最早的用途之一就是更快速的图像识别，一个例子就是分类来自ImageNet 的120 万幅图片。
查看英文原文： Facebook Open Sources Modules for Faster Deep Learning on Torch
略懂技术的运营同学。
最新发布
从业 20 年，计算机视觉老兵谈算法从研究到落地
2019-11-13
《Storm 技术内幕与大数据实践》作者陈敏敏谈大数据技术在电商领域的应用
2015-09-07
百花齐放，锄其九九——Twitter 的技术坎坷之路
2015-12-18
腾讯云云原生提质增效实践精选集 2024
《2024腾讯云云原生提质增效实践精选集》出炉，5大热门技术领域，13个行业精选标杆案例，痛点到解决方案全...
腾讯AngelPTM大模型训练框架优化与实践
OpenSearch RAG 应用实践
AI实现基础能力平权，与优秀工程师共生
评论