AI 从业者都在关注的 NVIDIA GTC 2023 China AI Day 来了!报名戳👉 了解详情
写点什么

英特尔实现光子神经网络新突破,有效提升光子芯片效率

  • 2019-05-22
  • 本文字数:1403 字

    阅读完需:约 5 分钟

英特尔实现光子神经网络新突破,有效提升光子芯片效率

构成光线的光子表现得很聪明:在所有可能的曲线中,它们总是选择能够最快地达到目标的光子。

——马克斯·普朗克


光子集成电路或光学芯片比电子电路或芯片更具优势,包括降低功耗和延迟。这就是为什么研究人员认为光子设备可能会为人工智能工作带来巨大进步。


Max Welling 在 2018 年 ICML 大会上的主题演讲很好地描述了“每千瓦时智能”的概念,强调了人工智能高效计算的必要性;而在延迟这个话题上,人工智能从业者敏锐地意识到,在交通等对安全要求甚高的实时应用程序中,更快的反应时间将直接转化为更高的安全性。


两年前,麻省理工学院的 Shen Yichen 博士等人进行了一项开创性的研究,提出了一条既能降低延迟又能提高能源效率的途径:光神经网络(ONNs)。在上周的克莱奥会议上,英特尔及其合作者在加州大学伯克利分校提出有关 ONNs 的新发现,包括建议如何扩展原始工作面对现实制造约束,将纳米光子神经网络电路实际现实更近一步。


长期以来,光子一直对硬件设计师具有强大的吸引力,因为它们可以快速、轻松地穿过物质。硅可以作为一种光学介质,这意味着可以利用几十年的芯片制造技术来构建光的电路。这种被称为硅光子学的技术,在通信和计算领域开辟了巨大的可能性。


Shen Yichen 论文的一个关键贡献是实验证明了:光子电路的一个共同组成部分,称为马赫-曾德尔推断器(Mach-Zehnder inferometer,简称 MZI),可以配置成在与两束光的相位相关的量之间执行 2×2 矩阵乘法;此外,他们实现了将这些小矩阵乘法安排在一个三角形网格中,以创建更大的矩阵。最终的结果是一个实现矩阵-向量乘法的光子电路,这是深度学习中的核心计算。


任何制造过程中都存在缺陷,这意味着芯片内部和芯片之间会有小的变化,这些都会影响计算的准确性。为了使 ONNs 更接近生产,研究人员想了解它们对典型的过程变化有多敏感,特别是当它们扩展到更现实的问题大小时,是否可以通过考虑不同的电路结构使它们对这些变化更加健壮。


在最近发表的一篇论文中,英特尔的研究者们考虑了用 MZIs 构建光学神经网络引擎的两种架构:一种称之为 GridNet,该方法将 MZIs 排列在一个网格中;另一种方法被称之为 FFTNet,它将 MZIs 按照计算快速傅里叶变换的体系结构(但在案例中,权重是从数据中学习的,所以通常计算不会是实际的 FFT)建模,形成蝴蝶状的模式。


然后,研究人员在一个针对手写数字识别(MNIST)基准深度学习任务的软件仿真中对这两种体系结构进行了训练。结果发现:在双精度浮点精度的情况下,GridNet 的精度要高于 FFTNet (~98% vs ~95%),而 FFTNet 对制造的不精确性有更强的鲁棒性。同时,研究者们进一步发现,通过在每个 MZI 的移相量和透射率中添加噪声来模拟,将这些噪声水平设置为现实水平后,GridNet 的性能下降到 50%以下,而 FFTNet 的性能几乎保持不变。


如果 ONNs 要成为人工智能硬件生态系统中一个可行的部分,它们需要扩展到更大的电路和工业制造技术。英特尔的发现解决了这两个问题:更大的电路将需要更多的设备,因此,试图在芯片制造后对每个设备进行“微调”将是越来越大的挑战。


英特尔认为,一个更具可扩展性的策略是在软件中培训 ONNs,然后根据这些参数批量生产电路。实验结果表明,提前选择正确的架构可以极大地增加产生的电路即使在制造变化的情况下也能达到预期性能的可能性。


有科学家表示,英特尔的这项研究为人工智能软件训练技术奠定了基础,可以避免在制造后微调光学芯片的需要,从而节省宝贵的时间和人力。


2019-05-22 17:2114953
用户头像
陈思 InfoQ编辑

发布了 576 篇内容, 共 243.5 次阅读, 收获喜欢 1279 次。

关注

评论

发布
暂无评论
发现更多内容

极客时间运维进阶训练营第四周作业

曹张倪

极客时间运维进阶训练营第四周作业

chenmin

SpringCloud相关组件

周杰伦本人

11月月更

【web 开发基础】PHP 的函数工作原理 (28)

迷彩

函数 web开发基础 11月月更 结构化编程 函数的工作原理

Java重点 | File类及其常用方法

几分醉意.

Java 编程 11月月更

聊聊Go里面的闭包

秦怀杂货店

Go 函数式编程 闭包

一年前端面试打怪升级之路

loveX001

JavaScript

一键开启云原生网络安全新视界

京东科技开发者

云原生 网络安全 软件架构 应用结构

计算机网络:PPP协议与HDLC协议

timerring

计算机网络 11月月更

从URL输入到页面展现到底发生什么?

loveX001

JavaScript

三次握手与四次挥的问题,怎么回答?

loveX001

JavaScript

2022我的前端面试总结

loveX001

JavaScript

vivo霍金实验平台设计与实践-平台产品系列02

vivo互联网技术

A/B 测试 平台化 AB实验

2022-11-20:小团生日收到妈妈送的两个一模一样的数列作为礼物! 他很开心的把玩,不过不小心没拿稳将数列摔坏了! 现在他手上的两个数列分别为A和B,长度分别为n和m。 小团很想再次让这两个数列变

福大大架构师每日一题

算法 rust 福大大

部署代码质量检测服务 sonarqube,基于命令、shell 脚本和 pipline 实现代码质量检测

忙着长大#

jenkins

Docker部署flink备忘

程序员欣宸

Docker flink 11月月更

支持向量机-支持向量机分类器原理

烧灯续昼2002

Python 机器学习 算法 sklearn 11月月更

100万行Spring源代码,鬼知道面试都会问啥

博文视点Broadview

6个tips缓解第三方访问风险

SEAL安全

安全 访问权限 第三方访问

其实你的下班时间,被 Excel 预定了

叶小鍵

Java重点 | 序列化和反序列化

几分醉意.

Java 编程 11月月更

Kettle运行Spoon.bat出现命令框然后闪退【BUG已解决】

上进小菜猪

kettle 11月月更

iMazing2022免费试用版ios设备管理器

茶色酒

imazing imazing2023

【愚公系列】2022年11月 微信小程序-场景值

愚公搬代码

11月月更

聊聊hashmap

周杰伦本人

11月月更

聊聊ThreadLocal

周杰伦本人

11月月更

主成分分析PCA与奇异值分解SVD-PCA对手写数据集的降维 & 用PCA做噪音过滤

烧灯续昼2002

Python 机器学习 算法 sklearn 11月月更

阿里云无影研发负责人任晋奎:端云技术创新,打造全新用户体验

云布道师

云栖大会 无影云电脑

【数据可视化】Data Reduction和加利福尼亚的房价数据集数据可视化以及Kettle的初步介绍

上进小菜猪

数据可视化 11月月更

【机器学习】红酒数据集和加利福尼亚的房价数据的随机森林算法详解

上进小菜猪

机器学习 11月月更

CleanMyMac2023注册机mac系统清理工具

茶色酒

CleanMyMacX CleanMyMac X

英特尔实现光子神经网络新突破,有效提升光子芯片效率_AI_陈思_InfoQ精选文章