写点什么

英特尔实现光子神经网络新突破,有效提升光子芯片效率

2019 年 5 月 22 日

英特尔实现光子神经网络新突破,有效提升光子芯片效率

构成光线的光子表现得很聪明:在所有可能的曲线中,它们总是选择能够最快地达到目标的光子。

——马克斯·普朗克


光子集成电路或光学芯片比电子电路或芯片更具优势,包括降低功耗和延迟。这就是为什么研究人员认为光子设备可能会为人工智能工作带来巨大进步。


Max Welling 在 2018 年 ICML 大会上的主题演讲很好地描述了“每千瓦时智能”的概念,强调了人工智能高效计算的必要性;而在延迟这个话题上,人工智能从业者敏锐地意识到,在交通等对安全要求甚高的实时应用程序中,更快的反应时间将直接转化为更高的安全性。


两年前,麻省理工学院的 Shen Yichen 博士等人进行了一项开创性的研究,提出了一条既能降低延迟又能提高能源效率的途径:光神经网络(ONNs)。在上周的克莱奥会议上,英特尔及其合作者在加州大学伯克利分校提出有关 ONNs 的新发现,包括建议如何扩展原始工作面对现实制造约束,将纳米光子神经网络电路实际现实更近一步。


长期以来,光子一直对硬件设计师具有强大的吸引力,因为它们可以快速、轻松地穿过物质。硅可以作为一种光学介质,这意味着可以利用几十年的芯片制造技术来构建光的电路。这种被称为硅光子学的技术,在通信和计算领域开辟了巨大的可能性。


Shen Yichen 论文的一个关键贡献是实验证明了:光子电路的一个共同组成部分,称为马赫-曾德尔推断器(Mach-Zehnder inferometer,简称 MZI),可以配置成在与两束光的相位相关的量之间执行 2×2 矩阵乘法;此外,他们实现了将这些小矩阵乘法安排在一个三角形网格中,以创建更大的矩阵。最终的结果是一个实现矩阵-向量乘法的光子电路,这是深度学习中的核心计算。


任何制造过程中都存在缺陷,这意味着芯片内部和芯片之间会有小的变化,这些都会影响计算的准确性。为了使 ONNs 更接近生产,研究人员想了解它们对典型的过程变化有多敏感,特别是当它们扩展到更现实的问题大小时,是否可以通过考虑不同的电路结构使它们对这些变化更加健壮。


在最近发表的一篇论文中,英特尔的研究者们考虑了用 MZIs 构建光学神经网络引擎的两种架构:一种称之为 GridNet,该方法将 MZIs 排列在一个网格中;另一种方法被称之为 FFTNet,它将 MZIs 按照计算快速傅里叶变换的体系结构(但在案例中,权重是从数据中学习的,所以通常计算不会是实际的 FFT)建模,形成蝴蝶状的模式。


然后,研究人员在一个针对手写数字识别(MNIST)基准深度学习任务的软件仿真中对这两种体系结构进行了训练。结果发现:在双精度浮点精度的情况下,GridNet 的精度要高于 FFTNet (~98% vs ~95%),而 FFTNet 对制造的不精确性有更强的鲁棒性。同时,研究者们进一步发现,通过在每个 MZI 的移相量和透射率中添加噪声来模拟,将这些噪声水平设置为现实水平后,GridNet 的性能下降到 50%以下,而 FFTNet 的性能几乎保持不变。


如果 ONNs 要成为人工智能硬件生态系统中一个可行的部分,它们需要扩展到更大的电路和工业制造技术。英特尔的发现解决了这两个问题:更大的电路将需要更多的设备,因此,试图在芯片制造后对每个设备进行“微调”将是越来越大的挑战。


英特尔认为,一个更具可扩展性的策略是在软件中培训 ONNs,然后根据这些参数批量生产电路。实验结果表明,提前选择正确的架构可以极大地增加产生的电路即使在制造变化的情况下也能达到预期性能的可能性。


有科学家表示,英特尔的这项研究为人工智能软件训练技术奠定了基础,可以避免在制造后微调光学芯片的需要,从而节省宝贵的时间和人力。


2019 年 5 月 22 日 17:2114585
用户头像
陈思 InfoQ编辑

发布了 575 篇内容, 共 201.1 次阅读, 收获喜欢 1170 次。

关注

评论

发布
暂无评论
发现更多内容

我把2020年GitHub上最火最牛b的Java进阶教程和实战项目等整理成了一个PDF文档,免费分享给大家。

Java成神之路

Java 程序员 架构 面试 编程语言

看完这份文档我吊打了BATJ面试官,他问的我全都会:Spring+逻辑算法+MySQL+Java+Redis+并发编程+JVM+RabbitMQ等

Java架构之路

Java 程序员 架构 面试 编程语言

9年技术面试官讲解:计算机专业应届生怎样写简历

Java架构师迁哥

芯片破壁者(二十二):政府与半导体间的“美国往事”

脑极体

免费分享!GitHub标星15k的Java编程思想最新中文版,肝了一周整理成1539页的PDF文档!

Java架构之路

Java 程序员 架构 面试 编程语言

synchronized 是王的后宫总管,线程是王妃

Java架构师迁哥

云智一体:攀登2021智能经济新山峰

脑极体

图解Janusgraph系列-图数据底层序列化源码分析(Data Serialize)

洋仔聊编程

janusgraph 图数据库

升级redhat6的yum源替换为centos源

Bruce Xiong

程序员什么时候就该辞职了?

Java架构师迁哥

架构师训练营第 1 期第 13 周作业

好吃不贵

极客大学架构师训练营

一次资源泄露问题排查纪录

AI乔治

Java 架构 JVM 内存泄漏

太狠了阿里技术专家撰写的电子版JVM&G1 GC实战,颠覆了传统认知

Java架构之路

Java 程序员 架构 面试 编程语言

LeetCode题解:127. 单词接龙,BFS+生成所有可能新单词再匹配,JavaScript,详细注释

Lee Chen

算法 LeetCode 前端进阶训练营

你确定你会算数吗?老大说:你连这个都不知道还敢面试电商公司?

小Q

Java 学习 编程 程序员 面试

Java 并发编程:volatile能否保证数据的同步

码农架构

Java Java并发

2020年第11期公有云性能评测:盛大云-华东实现“三冠”,百度云虎视眈眈

博睿数据

百度云 腾讯云 阿里云 公有云 华为云

A Guide for Accidental Project Managers

Geek_ed0696

pmp project manager role of PMP PMP Certification greycampus

冒着被劝退的风险免费分享给大家一份阿里内部绝密《百亿级并发系统设计》实战教程。

Java成神之路

Java 程序员 架构 面试 编程语言

朋友不讲武德急催我给他Java干货教程,我劝他耗子尾汁并丢给他一份GitHub上标星115k+的Java教程,他看了之后连忙向我道歉!

Java架构之路

Java 程序员 架构 面试 编程语言

字节跳动总监亲自整理,在知乎高达5716赞的Java开发手记。

Java架构之路

Java 程序员 架构 面试 编程语言

ROS 机器人操作系统进阶实战

Geek_3cc3ec

Python 人工智能 学习 ROS

Techo | 大数据专场报名盛启!12月20日欢迎莅临!

小小的一朵云

大数据 数据仓库 大数据架构

官方活动 | 日更挑战(初阶)——七日更,挑战百元京东E卡!

InfoQ写作平台官方

活动专区 七日更 日更挑战

【变与不变】架构中的边界划定

soolaugust

编程 架构 设计

5年Java开发经验,7面阿里历经千辛万苦成功斩获P7及Offer!

Java成神之路

Java 程序员 架构 面试 编程语言

红着眼连续肝了一个月淦出的20w字的《Java核心技术总结》和3w字的《面试题总结》PDF文档,希望能够帮到你!

Java成神之路

Java 程序员 架构 面试 编程语言

万万没想到我也能挤进阿里定级P7,美团架构师总结整理的这份GitHub标星150K+的Java神仙笔记是我成功的关键。

Java成神之路

Java 程序员 架构 面试 编程语言

校园恋爱新技能:智慧琴房恋爱助攻手册

IoT云工坊

物联网 API sdk 智慧琴房 智慧校园

又真香了!到底是怎样的JAVA面试文档,拿到这么多offer

Crud的程序员

程序员 架构 java面试

图解Janusgraph系列-并发安全:锁机制(本地锁+分布式锁)分析

洋仔聊编程

janusgraph 图数据库

混合云之争的开端与终途

混合云之争的开端与终途

英特尔实现光子神经网络新突破,有效提升光子芯片效率-InfoQ