红帽白皮书新鲜出炉!点击获取,让你的云战略更胜一筹! 了解详情
写点什么

IBM 使用相变存储创建了用于认知计算的人造神经元

  • 2016-09-22
  • 本文字数:2787 字

    阅读完需:约 9 分钟

IBM 苏黎世实验室的一组研究人员发明了一种人造神经元。这种人工神经元使用相变材料存储和处理数据,可用于大数据(基于事件的实时数据流)中的模式检测和关联发现,也可用于实现低能耗、高速的无监督机器学习。

该项研究探索在内存应用中使用相变材料,已持续进行了十多年。研究成果近期已发表在《自然纳米技术》上。研究团队由Evangelos Eleftheriou 领导。

高能效、超密集集成的神经形态技术可用于认知计算领域应用,该技术的研发正在得到很多的关注。这项技术也是基于事件计算的基础,将引领高密度神经形态计算系统(模拟大脑的计算机)的发展,这类计算机具有共处一处的内存和计算单元,可以加速认知计算和物联网大数据的分析。

作为人工智能领域中一个高速发展的分支,深度学习的灵感来自于生物大脑及其组成机制。

研究团队在人工神经元上施加了一系列电子脉冲,这致使相变材料逐渐结晶,最终导致神经元“点火”,这一功能在神经科学领域被称为生物神经元的“集成—点火”属性。研究人员将数百个人工神经元组织起来构建了神经元群体,用于对快速而复杂的信号进行表示。更进一步,人工神经元展现出了对十亿级别开关操作的支持,这所对应的操作如果使用100 赫兹更新频率,需要数年才能完成。神经元每次更新所需的能量少于5 皮焦耳,平均功率低于120 微瓦。与之相对比的是,点亮60 瓦的灯泡需要六千万微瓦的能量。

一次访谈中,作为研究团队的一员的IBM 研究科学家 Manuel Le Gallo 谈及了神经形态计算比传统计算更加高效的原因。

传统计算模型中,内存和逻辑单元是相互独立的。一个计算需要执行时,必须首先访问存储获取数据,将数据传输到逻辑单元中,并由逻辑单元返回计算结果。计算结果一旦被获得就必须发送回内存中。这个过程是持续反复的。因此当需要处理大量的数据时,这种模型就真正地出现了问题。

在神经网络中计算和存储是共处一处的,无需构建逻辑与内存间的通信,仅需适当地建立不同神经元间的连接。这也是我们认为我们的方法之所以将会更加高效的主要原因,对于大规模数据处理尤其如此。

该技术在大数据和机器学习领域有着大量的用例。例如使用物联网中的探测器采集和分析大量最新的气象数据实现快速预报,使用人工神经元检测金融交易中的模式以发现差异,或是使用源自社会媒体的数据实时发现新的文化趋势。在具有内存和处理单元共处一处的神经形态协处理器中,可大量使用这样高速、低能耗的纳米级别神经元。

下一步研究是实验将神经元链接成网络,该网络将连接到探测器上,调整网络可以对不同类型的物联网数据进行探测,例如工厂机器的温度异常、患者心脏的电子心率、金融市场中特定类型的交易等。

这种神经元网络的更大前景是将其烧制在计算机芯片中,这可实现一种快速、节能的协处理器,这种协处理器在设计上就擅长于处理模式识别任务。而当前模式识别任务是由运行于标准电路上的软件实现,这种实现是更慢的,并且能效不高。该协处理器的目标是缩减人工大脑和真实大脑在理念上的鸿沟。

InfoQ 访谈了 Manuel Le Gallo,访谈内容包括这项研究的计划,以及其后关注的领域。

InfoQ: 你能向我们的读者扼要阐述一下你们的研究计划,以及近期在用于数据存储的人工神经元建立研究上的突破吗?

Manuel Le Gallo: 我们已经使用相变材料模仿了神经元的整合和点火功能。这种功能是基于事件计算的基础,大体上类似于我们的大脑对触及烫手物品这样的外部刺激所产生的激发反应。

类似于大脑中神经元的工作方式,这些人工神经元自身就可以处理数据,也可将它们组织起来构成使用协同计算能力的大规模集合体。这种技术可以引领对内存和处理单元高度同处集成的神经形态计算机研发,加速认知计算和物联网数据分析。

InfoQ: 人工神经元是如何在大数据和机器学习用例中发挥作用的?

Le Gallo: 人工神经元和神经突触在计算能力上是十分强大的,单一的人工神经元就可以用在基于事件的实时数据流中检测模式和发现相关性。例如,在物联网中,探测器可以采集和分析大规模的气象数据,这些数据是实时采集的并用于快速预报。人工神经元还可以通过检测金融交易中的模式发现差异,或是使用来自社交媒体的数据去实时发现新兴的文化趋势。大规模的高速、低能耗、纳米级别的人工神经元还可用在神经形态协处理器中,这些协处理器中具有共处一处的内存和处理单元。

InfoQ: 你能从节能和成本效益角度上比较一下神经形态技术和传统处理技术吗?

Le Gallo: 现代计算机是基于冯 - 诺依曼架构,计算机中的计算单元和内存单元物理上是分开的。对于具有本质上是以数据为中心特性的认知计算而言,这种架构是非常低效的,因为大量数据必须要在内存和计算单元间高速交换。为构建高效的认知计算机,我们需要从冯 - 诺依曼架构迁移到某种内存和逻辑共处一处的计算形态。

相比于冯 - 诺依曼架构计算机,神经形态计算的灵感来自于生物大脑的内在工作机制,这是一种非常有前景的方法。通过对生物神经元的工作方式的模仿,可以大幅度地降低模式识别、特征抽取及噪声环境中的数据挖掘等复杂计算任务的耗能和面积成本。

InfoQ: 你能介绍一下使用人工神经元存储和处理数据上的限制吗?

Le Gallo: 下面借用我们发表在《自然纳米科技》上的文章中的表述:

与神经科学中通用的基于尖峰脉冲的神经元、基于 CMOS 的神经元电路、以及更高层次平台所实现的神经元网络相比,相变神经元的功能具有一定的局限。鉴于随机特性主要是由结晶的物理特性直接产生,在最小电路需求的条件下,对随机响应、神经元参数和膜电位动力学的优化程度是受限的。特别需要指出的是,对于实现高维的参数调解与稳态、以及非线性泄漏这样的同等快速周期动力学,需要更多的专用逻辑和电子器件。另一个方法是在传统电路中使用忆阻设备作为随机信号源。此外,由于设备的可变性和纳米规模物理学特性的影响,超微工艺节点的实现展示了固有模式和随机噪声的影响与日俱增。这对于必须严格控制随机性的算法而言,可能是一个缺点。

InfoQ: 该研究计划未来将如何发展?下一个关注的领域是什么?

Le Gallo: 相变神经元可与相变神经突触无缝结合,正如我们在后续的研究所展示的(参见 Tuma 等发表在《IEEE Electron Device Letters》上的论文,及 Pantazi 等发表在《IOP Nanotechnology》上的论文)。这使得我们可以创建超密集的神经形态系统,甚至进而创建相变忆阻设备。对于从对其它的基于忆阻器的神经突触、基于忆阻器的神经炎以及其它记忆单元的研究中所获得的成果,该研究工作的成果与这些研究的成果是互补的,这些研究成果的结合将有助于实现活跃元素数量的降低及大规模计算系统密集度的增加。

查看英文原文: IBM Creates Artificial Neurons from Phase Change Memory for Cognitive Computing


感谢宋秉金对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们。

公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2016-09-22 19:001439
用户头像

发布了 227 篇内容, 共 71.0 次阅读, 收获喜欢 27 次。

关注

评论

发布
暂无评论
发现更多内容

第四周 总结

Pyr0man1ac

架构一期二班-吴水金-第三课作业

吴水金

游戏夜读 | 怎么做联网五子棋?

game1night

java安全编码指南之:输入注入injection

程序那些事

Java java安全编码 java安全 java安全编码指南

SpringBoot系列(3)- 快速开发业务代码

引花眠

springboot

架构一期二班-吴水金-第三课总结

吴水金

架构师训练营 - 第 4 周课后作业(1 期)

阿甘

为了省钱,我用1天时间把PHP学完,装进DDD领域驱动设计里!

小傅哥

php 设计模式 小傅哥 架构师

【架构师训练营第 1 期 04 周】 作业

Bear

极客大学架构师训练营

架构师训练营第四周学习总结

文智

极客大学架构师训练营

架构师训练营第四周作业

文智

极客大学架构师训练营

第 4 周 作业

Pyr0man1ac

一个开始

Nydia

架构师训练营 - 第 4 周学习总结(1 期)

阿甘

钱被扣走了,但是订单却未成功!支付掉单异常最全解决方案

楼下小黑哥

支付宝 微信支付 支付系统 支付

【架构师训练营】第三周作业:代码重构

MindController

极客大学-架构师训练营第一期 - 第四周作业

Black Eyed Peter

极客大学架构师训练营

Kubeless 快速入门 | 玩转 Kubeless

donghui

Serverless kubeless

架构师训练营第 1 期 第 4 周作业

李循律

极客大学架构师训练营

【架构师训练营】第二周作业:框架设计

MindController

OpenFaas 获得 VMworld 2020 年度最佳 Startup Spotlight 大奖

donghui

Serverless OpenFaas

ARTS打卡 第19周

引花眠

微服务 ARTS 打卡计划 springboot

架构1期week04

FG佳

极客大学架构师训练营

【架构师训练营第 1 期 04 周】 学习总结

Bear

极客大学架构师训练营

架构一期第四周作业

Airs

MySQL 建表为啥还设置个自增 id ?用流水号当主键不正好么?

程序员小航

Java MySQL 开发 工作笔记 流水号

XJR企业级软件快速开发平台规范

Marilyn

程序员 敏捷开发 软件设计

架构1期week04总结

FG佳

极客大学架构师训练营

架构师训练营 - 第 3 周课后作业

树森

MySQL一个面试问题的思考

薛腾

MySQL

架构师训练营第四周课程笔记及心得

Airs

IBM使用相变存储创建了用于认知计算的人造神经元_大数据_Srini Penchikala_InfoQ精选文章