写点什么

IBM提出8位深度网络训练法,提速4倍同时保持高精度

2018 年 12 月 04 日

IBM提出8位深度网络训练法,提速4倍同时保持高精度

AI 前线导读: 计算效率是人工智能的代表。在训练速度、准确性和能耗之间保持平衡并非易事,但最近硬件的进步让这个目标比以前更容易实现。举个例子:IBM 本周将在 NeurIPS 上展示一些新的人工智能训练方法,性能超过此前的最优表现。


这家位于纽约州阿蒙克的公司取得的第一个突破是加速数字技术,能够以 8 位实现全精度。第二个突破是用于模拟芯片的 8 位精密技术——这是 IBM 公司同类产品中实现的精度最高的技术,精确度提高了约一倍。


周二在蒙特利尔举行的 NeurIPS 2018 上,IBM 对这一技术作了详细介绍。


更多干货内容请关注微信公众号“AI 前线”(ID:ai-front)


“下一代 AI 应用程序需要更快的响应时间、更大的 AI 工作负载以及来自众多流的多模式数据。为了释放人工智能的全部潜力,我们正在重新以 AI 的思维设计硬件:从加速器到用于 AI 工作负载的专用硬件,如我们的新芯片,以及最终用于 AI 的量子计算,“IBM 阿尔马登研究所副总裁兼实验室总监 Jeffrey Wesler 在博客文章中写道。“利用新的硬件解决方案扩展 AI 是 IBM 研究所工作的一部分,从狭义的人工智能(通常用于解决特定的,定义明确的任务)转向通用人工智能,跨越各个学科,帮助人类解决我们最紧迫的问题。 ”


从相对高精度(16 位)浮点运算到低精度(8 位)FP 可能听起来违反直觉,但语音识别和语言翻译等任务并不一定非常严格。使用近似值可以显著提高电源效率和性能;正如 Wesler 解释的那样,使用 16 位精度引擎的“计算构建块”平均比具有 32 位精度的同类块小四倍。


在一篇名为《用 8 位浮点数训练深度神经网络》(Training Deep Neural Networks with 8-bit Floating Point Numbers)的论文中,IBM 研究人员描述了他们如何在将加法算术精度从 32 位降到 16 位的同时,在 ResNet50、AlexNet 和 BN50_DNN,以及一系列图像、语音和文本数据集模型中保持 8 位精度。他们声称,该技术可以将 16 位系统的深度神经网络的训练时间加速两到四倍。


第二篇论文 《带有投射式相变存储器的 8 位精度存储器内乘法》(8-bit Precision In-Memory Multiplication with Projected Phase-Change Memory)提供了一种补偿模拟 AI 芯片低固有精度的方法,使它们能够在标量乘法运算中达到 8 位精度,获得大致两倍的精度,同时比同类数字 AI 系统耗能少 33 倍。


该论文的作者提出内存计算作为传统内存的替代方案,担负起传统内存执行存储数据和处理数据的双重角色。架构调整本身就可以将能耗降低 90%或更多,且相变存储器(PCM)可以获得额外的性能提升,后者具有可以通过电脉冲修改的电导。这个属性使其能够执行计算,投射式 PCM(Proj-PCM)使 PCM 在很大程度上不受电导变化的影响,从而实现比以前更高的精度。


“研究团队取得的高精度表明,内存计算可能可以在低功耗环境中实现高性能的深度学习,例如物联网和边缘应用,”Wesler 写道。“与我们的数字加速器一样,我们的模拟芯片可以扩展到视觉、语音和文本数据集的 AI 训练和推理,以及新兴的广泛的 AI 应用中。”


原文链接:


https://venturebeat.com/2018/12/02/ibms-8-bit-ai-training-technique-is-two-to-four-times-faster-while-retaining-accuracy/



链接:http://t.cn/E28YBT9


2018 年 12 月 04 日 09:00805
用户头像
陈利鑫 陈利鑫

发布了 35 篇内容, 共 99682 次阅读, 收获喜欢 126 次。

关注

评论 1 条评论

发布
暂无评论
发现更多内容

时间去哪了?

escray

CAP原理简述

刘志刚

计算机网络基础(一)---计算机网络概览篇

书旅

php laravel 计算机网络

IDC2020 Q1通用服务器数据发布,浪潮信息成绩喜人

Geek_116789

在前端如何玩转 Word 文档

阿宝哥

html markdown word

《重学 Java 设计模式》PDF 出炉了 - 小傅哥,肝了50天写出18万字271页的实战编程资料

小傅哥

Java 设计模式 小傅哥 重构 代码质量

人人都需要一份自己的「使用说明书」

非著名程序员

程序员 程序人生 提升认知 独立思考 自我思考

设计模式六大原则

刘志刚

设计原则

我在项目中是这样配置Vue的

前端有的玩

Java Vue 前端 框架设计

MobTech袤博与百度战略签约 携手布局数据智能产业新蓝图

Geek_116789

2020,是中国SaaS行业的机遇之年?

ToB行业头条

​中国SaaS处在什么阶段?

ToB行业头条

三大 OSS 缓存加速系统巅峰对决

苏锐

hadoop cache JuiceFS JindoFS Performance

如何把百万级别的订单根据金额排序

码哥字节

数据结构 排序算法

第6周-作业1

seng man

为什么我们需要制品管理?

Man

DevOps nexus 制品库管理 Artifactory

女员工被阿里录取工资二万六,辞职时被领导挽留:给你4万留下

程序员生活志

阿里 女程序员

Worktile完成新一轮融资,将发力研发管理赛道

Worktile

融资

腾讯的ToB梦想

ToB行业头条

为什么单元测试不是持续交付的唯一答案

陈琦

持续集成 单元测试

微信小程序使用GoEasy实现websocket实时通讯

GoEasy消息推送

小程序 websocket 即时通讯

Spring5-Reactor函数式编程

小技术君

spring reactor Spring5 springboot

推荐系统大规模特征工程与FEDB的Spark基于LLVM优化

范式AI云

spark Sparksql 推荐系统 LLVM FEDB

阿里拍卖,能不能拍到点儿上?

ToB行业头条

第6周-作业2-总结

seng man

吴恩达推荐笔记:22张图总结深度学习全部知识

程序员生活志

学习 吴恩达

讲烂了的mysql,今天再给大家重温一下

爱嘤嘤嘤斯坦

Java MySQL 数据库 编程 mysql事务

话题讨论|在编程中,有哪些好习惯是应该一直坚持下去的?

InfoQ写作平台

写作平台 话题讨论 话题

自动化测试首先是一种工作文化

wangwei1237

自动化测试 测试文化

laravel redis队列不执行

kaer

laravel redis Queue

抢滩新基建,百度还会输给阿里和腾讯吗?

ToB行业头条

2021年,算法还“香”吗?

2021年,算法还“香”吗?

IBM提出8位深度网络训练法,提速4倍同时保持高精度-InfoQ