写点什么

英特尔实现光子神经网络新突破,有效提升光子芯片效率

  • 2019-05-22
  • 本文字数:1403 字

    阅读完需:约 5 分钟

英特尔实现光子神经网络新突破,有效提升光子芯片效率

构成光线的光子表现得很聪明:在所有可能的曲线中,它们总是选择能够最快地达到目标的光子。

——马克斯·普朗克


光子集成电路或光学芯片比电子电路或芯片更具优势,包括降低功耗和延迟。这就是为什么研究人员认为光子设备可能会为人工智能工作带来巨大进步。


Max Welling 在 2018 年 ICML 大会上的主题演讲很好地描述了“每千瓦时智能”的概念,强调了人工智能高效计算的必要性;而在延迟这个话题上,人工智能从业者敏锐地意识到,在交通等对安全要求甚高的实时应用程序中,更快的反应时间将直接转化为更高的安全性。


两年前,麻省理工学院的 Shen Yichen 博士等人进行了一项开创性的研究,提出了一条既能降低延迟又能提高能源效率的途径:光神经网络(ONNs)。在上周的克莱奥会议上,英特尔及其合作者在加州大学伯克利分校提出有关 ONNs 的新发现,包括建议如何扩展原始工作面对现实制造约束,将纳米光子神经网络电路实际现实更近一步。


长期以来,光子一直对硬件设计师具有强大的吸引力,因为它们可以快速、轻松地穿过物质。硅可以作为一种光学介质,这意味着可以利用几十年的芯片制造技术来构建光的电路。这种被称为硅光子学的技术,在通信和计算领域开辟了巨大的可能性。


Shen Yichen 论文的一个关键贡献是实验证明了:光子电路的一个共同组成部分,称为马赫-曾德尔推断器(Mach-Zehnder inferometer,简称 MZI),可以配置成在与两束光的相位相关的量之间执行 2×2 矩阵乘法;此外,他们实现了将这些小矩阵乘法安排在一个三角形网格中,以创建更大的矩阵。最终的结果是一个实现矩阵-向量乘法的光子电路,这是深度学习中的核心计算。


任何制造过程中都存在缺陷,这意味着芯片内部和芯片之间会有小的变化,这些都会影响计算的准确性。为了使 ONNs 更接近生产,研究人员想了解它们对典型的过程变化有多敏感,特别是当它们扩展到更现实的问题大小时,是否可以通过考虑不同的电路结构使它们对这些变化更加健壮。


在最近发表的一篇论文中,英特尔的研究者们考虑了用 MZIs 构建光学神经网络引擎的两种架构:一种称之为 GridNet,该方法将 MZIs 排列在一个网格中;另一种方法被称之为 FFTNet,它将 MZIs 按照计算快速傅里叶变换的体系结构(但在案例中,权重是从数据中学习的,所以通常计算不会是实际的 FFT)建模,形成蝴蝶状的模式。


然后,研究人员在一个针对手写数字识别(MNIST)基准深度学习任务的软件仿真中对这两种体系结构进行了训练。结果发现:在双精度浮点精度的情况下,GridNet 的精度要高于 FFTNet (~98% vs ~95%),而 FFTNet 对制造的不精确性有更强的鲁棒性。同时,研究者们进一步发现,通过在每个 MZI 的移相量和透射率中添加噪声来模拟,将这些噪声水平设置为现实水平后,GridNet 的性能下降到 50%以下,而 FFTNet 的性能几乎保持不变。


如果 ONNs 要成为人工智能硬件生态系统中一个可行的部分,它们需要扩展到更大的电路和工业制造技术。英特尔的发现解决了这两个问题:更大的电路将需要更多的设备,因此,试图在芯片制造后对每个设备进行“微调”将是越来越大的挑战。


英特尔认为,一个更具可扩展性的策略是在软件中培训 ONNs,然后根据这些参数批量生产电路。实验结果表明,提前选择正确的架构可以极大地增加产生的电路即使在制造变化的情况下也能达到预期性能的可能性。


有科学家表示,英特尔的这项研究为人工智能软件训练技术奠定了基础,可以避免在制造后微调光学芯片的需要,从而节省宝贵的时间和人力。


2019-05-22 17:2115430
用户头像
陈思 InfoQ编辑

发布了 576 篇内容, 共 297.9 次阅读, 收获喜欢 1306 次。

关注

评论

发布
暂无评论
发现更多内容

Navicat Premium将关系和实体添加到概念模型的方法

背包客

macos MySQL 数据库 Mac 软件 Navicat Premium

AIGC时代,设计软件应该做什么?丨AIGC X 企业服务

ToB行业头条

正式启动|2023中国高校计算机大赛—大数据挑战赛火热报名中!

云智慧AIOps社区

大数据 AI 算法 运维 智能运维

分享几款 Mac 上非常好用的的免费软件

搞大屏的小北

数据可视化 数据库工具 截图软件 视屏转 gif 视频号下载

从分布式到微服务解密“架构”原理与实战笔记

小小怪下士

Java 程序员 分布式 微服务

电路板电镀中4种特殊的电镀方法

华秋PCB

经验 电路板 焊接 PCB板 电镀

今年LED显示屏市场趋势

Dylan

商业 广告 娱乐 数字化 LED显示屏

TCMalloc 技术细节详解

KaiwuDB

KaiwuDB TCMalloc

Win服务器图床配置

路北路陈

6 月 优质更文活动

DevEco创建项目时的错误解决

路北路陈

6 月 优质更文活动

【零售电商系列】走进亚马逊之自建仓储&物流

小诚信驿站

6 月 优质更文活动

“敏捷教练进阶课程”7月22-23日 ·A-CSM认证在线周末班【提前报名特惠】CST导师亲授

ShineScrum

敏捷教练

教培行业的“智能GPT私教”?WorkPlusAI助理帮助教培机构实现十倍人效!

BeeWorks

3 个技巧,让你像技术专家一样解决编码问题

LigaAI

程序人生 技术专家 技术人成长 问题分析及解决 企业号 6 月 PK 榜

抓包分析RST信号

蓝胖子的编程梦

TCP Wireshark tcpdump RST 报文 Connection reset

对线面试官-线程池(四)

派大星

Java 面试题

Sentinel熔断降级的规则及实现原理

互联网架构师小马

Java sentinel 熔断降级

参与赢大奖!阿里云机器学习平台PAI助力开发者激发AIGC潜能

阿里云大数据AI技术

阿里云 AIGC

Web网页端IM产品RainbowChat-Web的v5.0版已发布

JackJiang

网络编程 即时通讯 IM

NFTScan | 06.05~06.11 NFT 市场热点汇总

NFT Research

NFT 热点

Java代码性能测试实战之ContiPerf

javalover123

单元测试 性能测试 压测 JUnit Java'

MySQL 8.0.29 instant DDL 数据腐化问题分析

GreatSQL

greatsql greatsql社区

揭秘Spring依赖注入和SpEL表达式

华为云开发者联盟

开发 华为云 华为云开发者联盟 企业号 6 月 PK 榜

科兴未来|2023年扬中高层次人才创新创业大赛

科兴未来News

科兴未来|2023”福地句才”海外人才创业大赛

科兴未来News

智慧生活垃圾焚烧发电厂Web3D可视化平台

2D3D前端可视化开发

物联网 数字孪生 三维可视化 工业组态 智慧垃圾焚烧发电厂

“数字创新产品课程”7月29-30日 · CSPO认证周末班【提前报名特惠】CST导师亲授

ShineScrum

源生创新 云享未来|GOTC全球开源技术峰会华为云云原生精彩时刻

华为云开发者联盟

云原生 后端 华为云 华为云开发者联盟 企业号 6 月 PK 榜

精耕丝路,智胜全球 | 新华三助力中企跑好“出海”赛道

新消费日报

当GaussDB遇上了毕昇编译器

华为云开发者联盟

数据库 后端 华为云 华为云开发者联盟 企业号 6 月 PK 榜

如何理解 REST 和 RPC 之间的差异?

Apifox

程序员 RPC Rest 协议 RPC调用

英特尔实现光子神经网络新突破,有效提升光子芯片效率_AI&大模型_陈思_InfoQ精选文章