IBM 提出 8 位深度网络训练法,提速 4 倍同时保持高精度

阅读数:616 2018 年 12 月 4 日

AI 前线导读: 计算效率是人工智能的代表。在训练速度、准确性和能耗之间保持平衡并非易事,但最近硬件的进步让这个目标比以前更容易实现。举个例子:IBM 本周将在 NeurIPS 上展示一些新的人工智能训练方法,性能超过此前的最优表现。

这家位于纽约州阿蒙克的公司取得的第一个突破是加速数字技术,能够以 8 位实现全精度。第二个突破是用于模拟芯片的 8 位精密技术——这是 IBM 公司同类产品中实现的精度最高的技术,精确度提高了约一倍。

周二在蒙特利尔举行的 NeurIPS 2018 上,IBM 对这一技术作了详细介绍。

更多干货内容请关注微信公众号“AI 前线”(ID:ai-front)

“下一代 AI 应用程序需要更快的响应时间、更大的 AI 工作负载以及来自众多流的多模式数据。为了释放人工智能的全部潜力,我们正在重新以 AI 的思维设计硬件:从加速器到用于 AI 工作负载的专用硬件,如我们的新芯片,以及最终用于 AI 的量子计算,“IBM 阿尔马登研究所副总裁兼实验室总监 Jeffrey Wesler 在博客文章中写道。“利用新的硬件解决方案扩展 AI 是 IBM 研究所工作的一部分,从狭义的人工智能(通常用于解决特定的,定义明确的任务)转向通用人工智能,跨越各个学科,帮助人类解决我们最紧迫的问题。 ”

从相对高精度(16 位)浮点运算到低精度(8 位)FP 可能听起来违反直觉,但语音识别和语言翻译等任务并不一定非常严格。使用近似值可以显著提高电源效率和性能;正如 Wesler 解释的那样,使用 16 位精度引擎的“计算构建块”平均比具有 32 位精度的同类块小四倍。

在一篇名为《用 8 位浮点数训练深度神经网络》(Training Deep Neural Networks with 8-bit Floating Point Numbers)的论文中,IBM 研究人员描述了他们如何在将加法算术精度从 32 位降到 16 位的同时,在 ResNet50、AlexNet 和 BN50_DNN,以及一系列图像、语音和文本数据集模型中保持 8 位精度。他们声称,该技术可以将 16 位系统的深度神经网络的训练时间加速两到四倍。

第二篇论文 《带有投射式相变存储器的 8 位精度存储器内乘法》(8-bit Precision In-Memory Multiplication with Projected Phase-Change Memory)提供了一种补偿模拟 AI 芯片低固有精度的方法,使它们能够在标量乘法运算中达到 8 位精度,获得大致两倍的精度,同时比同类数字 AI 系统耗能少 33 倍。

该论文的作者提出内存计算作为传统内存的替代方案,担负起传统内存执行存储数据和处理数据的双重角色。架构调整本身就可以将能耗降低 90%或更多,且相变存储器(PCM)可以获得额外的性能提升,后者具有可以通过电脉冲修改的电导。这个属性使其能够执行计算,投射式 PCM(Proj-PCM)使 PCM 在很大程度上不受电导变化的影响,从而实现比以前更高的精度。

“研究团队取得的高精度表明,内存计算可能可以在低功耗环境中实现高性能的深度学习,例如物联网和边缘应用,”Wesler 写道。“与我们的数字加速器一样,我们的模拟芯片可以扩展到视觉、语音和文本数据集的 AI 训练和推理,以及新兴的广泛的 AI 应用中。”

原文链接:
https://venturebeat.com/2018/12/02/ibms-8-bit-ai-training-technique-is-two-to-four-times-faster-while-retaining-accuracy/

image

链接: http://t.cn/E28YBT9

收藏

评论

微博

发表评论

注册/登录 InfoQ 发表评论