《HarmonyOS:领航者说》技术公开课来啦,大咖分享、实战解码,不容错过 了解详情
写点什么

深度学习先驱者 Geoffrey Hinton 发布新深度学习算法

  • 2023-01-27
    北京
  • 本文字数:1118 字

    阅读完需:约 4 分钟

深度学习先驱者Geoffrey Hinton发布新深度学习算法

多伦多大学教授兼谷歌大脑工程研究员 Geoffrey Hinton 近期发布的论文中提出了一种神经网络训练技术,前向-前向算法(FF),用两次通过网络的前向数据取代反向传播来更新模型权重。


Hinton 提出该算法旨在解决标准反向传播训练中,需要充分了解前向传递中计算才能在训练时计算导数和存储激活值这一缺陷。算法中所使用的两个前向传播输入数据,分别为一正一负,且具备需要优化的相反目标函数。据 Hinton 称,使用 FF 算法训练的网络不仅可以完成计算机视觉(CV)任务,且效果与使用方向传播训练的网络一样好。


前向-前向算法(FF)在速度上与反向传播速度相当,且在前向计算的具体细节未知时仍可使用。FF 算法的另一优势在于,其可以无需存储神经动态或中断传播误差导数,即可在神经网络传递顺序数据时进行学习……前向-前向算法优于向后传播算法的这两方面,即是大脑皮层中的学习模型,也是不求助于强化学习而以极低功率地进行硬件模拟的方式。


尽管人工神经网络(ANN)是基于大脑的数学模型,但用于训练 ANN 的标准反向传播算法却不是基于任何已知生物过程。除开在生物学上的不可信外,反向传播也有上文中所提及的计算方面缺陷,Hinton 指出,ANN 的强化学习(RL)训练虽然可以不借助反向传播算法,但该方法“在包含数百万乃至数十亿参数的大型网络上扩展性很差”。InfoQ 于 2021 年报道了一种生物学可信且可完全复现反向传播结果的算法,零分化推理学习(Z-IL)。


Hinton 所提出的 FF 算法用两个“以完全相同方式彼此运算”的前向通道替换了反向传播训练中的前向-反向通道,第一个前向通道对训练集中的真实数据进行操作,神经网络根据输入调整权重以增加每一层的优点值(goodness)。第二个前向通道中,网络所使用的数据并非来自训练集,而是生成的负数据,神经网络权重根据该输入减少每层的优点值。


Hinton 通过 FF 算法,在MNISTCIFAR数据集上训练了几种可完成计算机视觉任务的神经网络。这些网络规模相对较小,仅包含二至三个隐藏卷积层,且训练不足百个迭代轮次。在评估训练集上的性能时,FF 算法所训练的网络表现“仅比使用反向传播训练的网络略差”。


Nebuly 的 CTO,Diego Fiori 实现了 Hinton 的算法,并在推特上公开了结果


我将 Hinton 的论文中所提出的两种前向-前向算法分别称作“基础版”和“循环版”,尽管命名如此,基础版反而是性能最好的算法……基础版 FF 算法相较经典方向传播更节约内存,对深度网络而言可节省 45%的内存使用。


Fiori 在 GitHub 上开源了他对FF算法的实现,蒙特利尔大学博士生Mohammad Pezeshki同样在开源了他的FF算法实现版本。


原文链接

Deep Learning Pioneer Geoffrey Hinton Publishes New Deep Learning Algorithm


相关阅读:

十大值得关注的深度学习算法

用AI对抗AI!教代码调戏深度学习算法生成的假视频

2023-01-27 08:005514

评论

发布
暂无评论
发现更多内容

优化数据查询性能:StarRocks 与 Apache Iceberg 的强强联合

StarRocks

为你的程序精选的7个最佳天气API

幂简集成

API 天气api

基于 Prometheus 的超算弹性计算场景下主机监控最佳实践

阿里巴巴云原生

阿里云 云原生 Prometheus

卓越开发管理之道

凌晞

团队管理 项目管理 技术管理 开发管理

探索Solana链上DApp开发:高性能区块链生态的新机遇

区块链软件开发推广运营

dapp开发 区块链开发 链游开发 NFT开发

自动生成流程图的软件!这3款值得推荐!

彭宏豪95

人工智能 流程图 在线白板 AIGC 效率软件

面向对象变成VS函数式编程

FunTester

2023全球DDoS攻击态势分析,与众多行业专家共议DDoS破局之道

百度安全

最后一天,职场火焰杯测试开发大赛报名马上结束

霍格沃兹测试开发学社

腾讯面试:如何提升Kafka吞吐量?

王磊

邀您参会丨飞天技术沙龙 AI 原生应用架构专场·北京站

阿里巴巴云原生

阿里云 AI 云原生

面了一个程序员,因为6休1拒绝了我

伤感汤姆布利柏

全面掌握甲骨文云 OCI MySQL 服务:从自动运维到高效管理

极客天地

8家券商综合评级上升,4月券商App终端业务体验评测报告发布

博睿数据

数据互通新纪元,企业如何实现系统无缝对接?

聚道云软件连接器

案例分享

加速短剧出海,阿里云视频云获优秀出海产品技术服务金帆奖

阿里云CloudImagine

云计算 视频云 出海 微短剧 短剧

高效查询秘诀,解码YashanDB优化器分组查询优化手段

YashanDB

数据库 优化器 分组查询 yashandb 崖山数据库

SDK实战指南:从配置到管理,一步步创建阿里云ECS实例

极客天地

上海站丨飞天技术沙龙 Serverless + AI 专场开启报名!

阿里巴巴云原生

阿里云 Serverless 云原生

LinkedIn最新研究:图+向量数据库,客服解答时间缩短64%

Fabarta

AI日报|腾讯,科大讯飞加入百模价格战,黄仁勋预言AGI或五年内出现,DeepL获3亿融资...

可信AI进展

人工智能

客户案例|博睿数据助力中泰证券App用户体验全面升级

博睿数据

荒野之境:XMAGE的抵达与眺望

脑极体

影像

高效简单办赛的秘诀:自定义判题器

云计算 华为云 大赛 赛事

常态化运营,让数据安全工作落地生根!

极盾科技

数据安全

微服务下认证授权框架的探讨

不在线第一只蜗牛

架构 微服务 框架

哈银消费金融七载风雨兼程,创新引领稳健前行

极客天地

预约直播丨ETLCloud训练营:ETL中多流数据合并与运算专题

RestCloud

直播 ETL

深度学习先驱者Geoffrey Hinton发布新深度学习算法_AI&大模型_Anthony Alford_InfoQ精选文章