QCon 全球软件开发大会(北京站)本周六开幕,点击抢占最后席位 了解详情
写点什么

IBM 提出 8 位深度网络训练法,提速 4 倍同时保持高精度

2018 年 12 月 04 日

IBM提出8位深度网络训练法,提速4倍同时保持高精度

AI 前线导读: 计算效率是人工智能的代表。在训练速度、准确性和能耗之间保持平衡并非易事,但最近硬件的进步让这个目标比以前更容易实现。举个例子:IBM 本周将在 NeurIPS 上展示一些新的人工智能训练方法,性能超过此前的最优表现。


这家位于纽约州阿蒙克的公司取得的第一个突破是加速数字技术,能够以 8 位实现全精度。第二个突破是用于模拟芯片的 8 位精密技术——这是 IBM 公司同类产品中实现的精度最高的技术,精确度提高了约一倍。


周二在蒙特利尔举行的 NeurIPS 2018 上,IBM 对这一技术作了详细介绍。


更多干货内容请关注微信公众号“AI 前线”(ID:ai-front)


“下一代 AI 应用程序需要更快的响应时间、更大的 AI 工作负载以及来自众多流的多模式数据。为了释放人工智能的全部潜力,我们正在重新以 AI 的思维设计硬件:从加速器到用于 AI 工作负载的专用硬件,如我们的新芯片,以及最终用于 AI 的量子计算,“IBM 阿尔马登研究所副总裁兼实验室总监 Jeffrey Wesler 在博客文章中写道。“利用新的硬件解决方案扩展 AI 是 IBM 研究所工作的一部分,从狭义的人工智能(通常用于解决特定的,定义明确的任务)转向通用人工智能,跨越各个学科,帮助人类解决我们最紧迫的问题。 ”


从相对高精度(16 位)浮点运算到低精度(8 位)FP 可能听起来违反直觉,但语音识别和语言翻译等任务并不一定非常严格。使用近似值可以显著提高电源效率和性能;正如 Wesler 解释的那样,使用 16 位精度引擎的“计算构建块”平均比具有 32 位精度的同类块小四倍。


在一篇名为《用 8 位浮点数训练深度神经网络》(Training Deep Neural Networks with 8-bit Floating Point Numbers)的论文中,IBM 研究人员描述了他们如何在将加法算术精度从 32 位降到 16 位的同时,在 ResNet50、AlexNet 和 BN50_DNN,以及一系列图像、语音和文本数据集模型中保持 8 位精度。他们声称,该技术可以将 16 位系统的深度神经网络的训练时间加速两到四倍。


第二篇论文 《带有投射式相变存储器的 8 位精度存储器内乘法》(8-bit Precision In-Memory Multiplication with Projected Phase-Change Memory)提供了一种补偿模拟 AI 芯片低固有精度的方法,使它们能够在标量乘法运算中达到 8 位精度,获得大致两倍的精度,同时比同类数字 AI 系统耗能少 33 倍。


该论文的作者提出内存计算作为传统内存的替代方案,担负起传统内存执行存储数据和处理数据的双重角色。架构调整本身就可以将能耗降低 90%或更多,且相变存储器(PCM)可以获得额外的性能提升,后者具有可以通过电脉冲修改的电导。这个属性使其能够执行计算,投射式 PCM(Proj-PCM)使 PCM 在很大程度上不受电导变化的影响,从而实现比以前更高的精度。


“研究团队取得的高精度表明,内存计算可能可以在低功耗环境中实现高性能的深度学习,例如物联网和边缘应用,”Wesler 写道。“与我们的数字加速器一样,我们的模拟芯片可以扩展到视觉、语音和文本数据集的 AI 训练和推理,以及新兴的广泛的 AI 应用中。”


原文链接:


https://venturebeat.com/2018/12/02/ibms-8-bit-ai-training-technique-is-two-to-four-times-faster-while-retaining-accuracy/



链接:http://t.cn/E28YBT9


2018 年 12 月 04 日 09:00853
用户头像
陈利鑫 陈利鑫

发布了 35 篇内容, 共 10.5 次阅读, 收获喜欢 126 次。

关注

评论 1 条评论

发布
暂无评论
发现更多内容

GitHub开源的中国亲戚关系计算器

不脱发的程序猿

GitHub 程序员 开源项目 四月日更 中国亲戚关系

那些好用的浏览器扩展

图灵如是说

浏览器 插件 扩展

网络安全面试高频题:DDOS+Linux+TCP+OSPF已练完(建议收藏)

Machine Gun

面试 网络安全 行业资讯

Arction高性能图表控件LightningChart关于YAxesLayout.Stacked图表滚动条问题解答

Geek_bacee5

数据可视化 LightningChart.NET Arction 图表控件 LightningChart

SpringCloud-技术专题-Feign组件基本使用(1)

李浩宇/Alex

Configuration Hystrix spring-cloud Fegin Ribbon

八家知名大厂联合手写的Java面试手册刚上线!竟就到达巅峰?

周老师

Java 编程 程序员 架构 面试

群英荟萃 | UINO优锘科技ThingJS平台亮相华为开发者大会

ThingJS

物联网 3D可视化 数字孪生

工作3年了,居然还搞不清楚Java的浅拷贝和深拷贝,老板一顿痛批

java专业爱好者

Java

量化策略交易平台搭建app,现货量化交易系统开发

WX13823153201

MapReduce的参数优化

五分钟学大数据

mapreduce

Boss直聘转发超100W次Java面试突击手册 火遍全网

比伯

Java 编程 程序员 架构 计算机

带你温习一下webpack配置

IT皮皮蟹

npm nodejs webpack

抵制羊毛党,图计算“加持”互联网电商风控

华为云开发者社区

风控 图计算 互联网电商 羊毛党

SpringSecurity+JWT认证流程解析

学Java关注我

Java 编程 程序人生 计算机 架构】

阿里码农肝了2晚,整理的Java语法总结,网友:考试复习全靠它了

飞飞JAva

力扣(LeetCode)官网首发!史上首本Java语言实现LeetCode题解手册

周老师

Java 编程 程序员 架构 面试

CloudQuery v1.3.7版本更新,新增「导出限制」

CloudQuery社区

数据库 sql 数据安全 数据库管理

流水线成功涨薪到年薪30W 只有努力才能成功

学Java关注我

Java 架构 程序人生 编程语言

yarn的applicationMaster介绍

五分钟学大数据

YARN

新人小白福利来啦!精简版java知识总结,阿里P8大牛看完都说绝了

牛哄哄的java大师

Java

云图说|ModelArts Pro,为企业级AI应用打造的专业开发套件

华为云开发者社区

企业应用 ModelArts Pro AI开发 开发套件

2.8W字Java基础学习和书籍推荐,真正意义上的从0到1学Java,才不是培训机构那种大纲文

北游学Java

面向对象 线程 集合 java基础 IO流

Arction高性能图表控件LightningChart使用分段布局重叠图问题解答

Geek_bacee5

数据可视化 Arction 图表控件 LightningChart 高性能图表控件

yarn的基本介绍和产生背景

五分钟学大数据

YARN

什么,你管这叫“线程安全”?

Java大蜗牛

Java 程序员 编程语言 线程安全 后端技术

FIL挖矿教程是什么?FIL矿机在哪里买?

投资矿机v:IPFS1234

FIL矿机在哪里买 FIL挖矿教程是什么

飞桨中国行落地合肥,与当地企业共话产业智能化升级

百度大脑

智能化 飞桨中国行

Arction高性能图表控件LightningChart关于如何加小数位问题解答

Geek_bacee5

图表控件 LightningChart

MapReduce排序以及序列化实践

五分钟学大数据

mapreduce 大数据MapReduce

hadoop 1.0 和 hadoop 2.0 的区别

五分钟学大数据

hadoop

让电影票房飞一会儿,五一换个姿势重温经典

华为云开发者社区

音视频 电影修复 视频超分 媒体处理 混合失真

全民K歌技术公开课(前端篇)

全民K歌技术公开课(前端篇)

IBM提出8位深度网络训练法,提速4倍同时保持高精度-InfoQ