NVIDIA 初创加速计划,免费加速您的创业启动 了解详情
写点什么

英特尔实现光子神经网络新突破,有效提升光子芯片效率

  • 2019-05-22
  • 本文字数:1403 字

    阅读完需:约 5 分钟

英特尔实现光子神经网络新突破,有效提升光子芯片效率

构成光线的光子表现得很聪明:在所有可能的曲线中,它们总是选择能够最快地达到目标的光子。

——马克斯·普朗克


光子集成电路或光学芯片比电子电路或芯片更具优势,包括降低功耗和延迟。这就是为什么研究人员认为光子设备可能会为人工智能工作带来巨大进步。


Max Welling 在 2018 年 ICML 大会上的主题演讲很好地描述了“每千瓦时智能”的概念,强调了人工智能高效计算的必要性;而在延迟这个话题上,人工智能从业者敏锐地意识到,在交通等对安全要求甚高的实时应用程序中,更快的反应时间将直接转化为更高的安全性。


两年前,麻省理工学院的 Shen Yichen 博士等人进行了一项开创性的研究,提出了一条既能降低延迟又能提高能源效率的途径:光神经网络(ONNs)。在上周的克莱奥会议上,英特尔及其合作者在加州大学伯克利分校提出有关 ONNs 的新发现,包括建议如何扩展原始工作面对现实制造约束,将纳米光子神经网络电路实际现实更近一步。


长期以来,光子一直对硬件设计师具有强大的吸引力,因为它们可以快速、轻松地穿过物质。硅可以作为一种光学介质,这意味着可以利用几十年的芯片制造技术来构建光的电路。这种被称为硅光子学的技术,在通信和计算领域开辟了巨大的可能性。


Shen Yichen 论文的一个关键贡献是实验证明了:光子电路的一个共同组成部分,称为马赫-曾德尔推断器(Mach-Zehnder inferometer,简称 MZI),可以配置成在与两束光的相位相关的量之间执行 2×2 矩阵乘法;此外,他们实现了将这些小矩阵乘法安排在一个三角形网格中,以创建更大的矩阵。最终的结果是一个实现矩阵-向量乘法的光子电路,这是深度学习中的核心计算。


任何制造过程中都存在缺陷,这意味着芯片内部和芯片之间会有小的变化,这些都会影响计算的准确性。为了使 ONNs 更接近生产,研究人员想了解它们对典型的过程变化有多敏感,特别是当它们扩展到更现实的问题大小时,是否可以通过考虑不同的电路结构使它们对这些变化更加健壮。


在最近发表的一篇论文中,英特尔的研究者们考虑了用 MZIs 构建光学神经网络引擎的两种架构:一种称之为 GridNet,该方法将 MZIs 排列在一个网格中;另一种方法被称之为 FFTNet,它将 MZIs 按照计算快速傅里叶变换的体系结构(但在案例中,权重是从数据中学习的,所以通常计算不会是实际的 FFT)建模,形成蝴蝶状的模式。


然后,研究人员在一个针对手写数字识别(MNIST)基准深度学习任务的软件仿真中对这两种体系结构进行了训练。结果发现:在双精度浮点精度的情况下,GridNet 的精度要高于 FFTNet (~98% vs ~95%),而 FFTNet 对制造的不精确性有更强的鲁棒性。同时,研究者们进一步发现,通过在每个 MZI 的移相量和透射率中添加噪声来模拟,将这些噪声水平设置为现实水平后,GridNet 的性能下降到 50%以下,而 FFTNet 的性能几乎保持不变。


如果 ONNs 要成为人工智能硬件生态系统中一个可行的部分,它们需要扩展到更大的电路和工业制造技术。英特尔的发现解决了这两个问题:更大的电路将需要更多的设备,因此,试图在芯片制造后对每个设备进行“微调”将是越来越大的挑战。


英特尔认为,一个更具可扩展性的策略是在软件中培训 ONNs,然后根据这些参数批量生产电路。实验结果表明,提前选择正确的架构可以极大地增加产生的电路即使在制造变化的情况下也能达到预期性能的可能性。


有科学家表示,英特尔的这项研究为人工智能软件训练技术奠定了基础,可以避免在制造后微调光学芯片的需要,从而节省宝贵的时间和人力。


公众号推荐:

跳进 AI 的奇妙世界,一起探索未来工作的新风貌!想要深入了解 AI 如何成为产业创新的新引擎?好奇哪些城市正成为 AI 人才的新磁场?《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造,为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者,还是对生成式 AI 充满好奇的新手,这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI前线」公众号,回复「开发者洞察」领取。

2019-05-22 17:2115117
用户头像
陈思 InfoQ编辑

发布了 576 篇内容, 共 263.1 次阅读, 收获喜欢 1293 次。

关注

评论

发布
暂无评论
发现更多内容

恒源云(GPUSHARE)_语音识别与语义处理领域之[机器翻译] 21.7 mRASP2

恒源云

深度学习 机器翻译 语音识别

星环科技大数据与人工智能应用研究与案例分享

星环科技

人工智能 大数据 数据分析 数据开发 技术专题合集

EasyAds:曾经自研的广告聚合SDK,如今在开源平台中唾手可得

EasyAds

sdk 聚合sdk 广告sdk 聚合广告sdk

如何快速搭建一个简单的固资管理系统

全象云低代码

开源 前端 低代码 资管系统 低代码平台

撬动百亿VRAR产业,让VR们“造”起来

华为云开发者联盟

AR vr 数字人 元宇宙 VR开发应用

Java的异常处理

海拥(haiyong.site)

28天写作 12月日更

在线JSON转JAVA工具

入门小站

工具

【转】Node进阶篇之基于 gRPC 协议的 Node 服务

@零度

前端开发 Node

Kubernetes API server工作原理

Jerry Wang

Kubernetes k8s 28天写作 docker image 12月日更

Angular 变化检测详解

PingCode研发中心

angular

ONES 事记|ONES 参与信通院牵头编写的《DevOps 通用效能度量模型》

万事ONES

SaaS SaaS平台

Python代码阅读(第72篇):回文

Felix

Python 编程 字符串 阅读代码 Python初学者

🍃【Spring专题】「技术原理」Spring Security的核心功能和加载运行流程的原理分析

洛神灬殇

spring spring security 框架搭建 12月日更

ONES CTO 冯斌:如何在终身学习中跳出「恐慌区」

万事ONES

ONES

如何使用ADLab搭建活动目录实验环境来练习渗透测试技术

H

网络安全 信息安全 计算机

年末福利!专业级研发项目管理工具CORNERSTONE开源版正式上线!

优秀

项目管理工具

OPPO大数据计算集群资源调度架构演进

安第斯智能云

大数据 后端

今天谈谈用户故事地图,不是用户故事

华为云开发者联盟

DevOps 敏捷 开发 用户故事 用户故事地图

Shell脚本好学吗?看看这个带你了解shell中色彩处理和awk使用技巧

学神来啦

Linux Shell linux运维 awk linux云计算

起点决定高度:ONES 如何践行软件标准化

万事ONES

ONES 软件工具 企业管理软件

【CSS 学习总结】第七篇 - CSS 布局-居中布局-水平居中布局

Brave

CSS 12月日更

福建省等保测评机构有哪几个?机构名称叫什么?

行云管家

网络安全 等保 等级保护 等保测评

年终招聘

张老蔫

28天写作

大数据开发之Hive SQL内置函数

@零度

大数据 Hive SQL

Nocalhost:云原生开发新体验

CODING DevOps

云原生 Nocalhost

CNCC 演讲实录| 焱融 YRCloudFile 在 AI 训练中的性能优化实践

焱融科技

云计算 AI 云原生 高性能 文件存储

Linux之locate命令

入门小站

Linux

软件开发中的常见的15个定律和原则释义及应用

码语者

软件开发原则 软件开发定律

单体应用与微应用典型架构比对

编程江湖

架构

Kubernetes容器平台架构之道

巨子嘉

云计算 Kubernetes 云原生

架构实战营 4 期 - 第 3 周作业

周念

「架构实战营」

英特尔实现光子神经网络新突破,有效提升光子芯片效率_AI&大模型_陈思_InfoQ精选文章