写点什么

深度学习先驱者 Geoffrey Hinton 发布新深度学习算法

  • 2023-01-27
    北京
  • 本文字数:1118 字

    阅读完需:约 4 分钟

深度学习先驱者Geoffrey Hinton发布新深度学习算法

多伦多大学教授兼谷歌大脑工程研究员 Geoffrey Hinton 近期发布的论文中提出了一种神经网络训练技术,前向-前向算法(FF),用两次通过网络的前向数据取代反向传播来更新模型权重。


Hinton 提出该算法旨在解决标准反向传播训练中,需要充分了解前向传递中计算才能在训练时计算导数和存储激活值这一缺陷。算法中所使用的两个前向传播输入数据,分别为一正一负,且具备需要优化的相反目标函数。据 Hinton 称,使用 FF 算法训练的网络不仅可以完成计算机视觉(CV)任务,且效果与使用方向传播训练的网络一样好。


前向-前向算法(FF)在速度上与反向传播速度相当,且在前向计算的具体细节未知时仍可使用。FF 算法的另一优势在于,其可以无需存储神经动态或中断传播误差导数,即可在神经网络传递顺序数据时进行学习……前向-前向算法优于向后传播算法的这两方面,即是大脑皮层中的学习模型,也是不求助于强化学习而以极低功率地进行硬件模拟的方式。


尽管人工神经网络(ANN)是基于大脑的数学模型,但用于训练 ANN 的标准反向传播算法却不是基于任何已知生物过程。除开在生物学上的不可信外,反向传播也有上文中所提及的计算方面缺陷,Hinton 指出,ANN 的强化学习(RL)训练虽然可以不借助反向传播算法,但该方法“在包含数百万乃至数十亿参数的大型网络上扩展性很差”。InfoQ 于 2021 年报道了一种生物学可信且可完全复现反向传播结果的算法,零分化推理学习(Z-IL)。


Hinton 所提出的 FF 算法用两个“以完全相同方式彼此运算”的前向通道替换了反向传播训练中的前向-反向通道,第一个前向通道对训练集中的真实数据进行操作,神经网络根据输入调整权重以增加每一层的优点值(goodness)。第二个前向通道中,网络所使用的数据并非来自训练集,而是生成的负数据,神经网络权重根据该输入减少每层的优点值。


Hinton 通过 FF 算法,在MNISTCIFAR数据集上训练了几种可完成计算机视觉任务的神经网络。这些网络规模相对较小,仅包含二至三个隐藏卷积层,且训练不足百个迭代轮次。在评估训练集上的性能时,FF 算法所训练的网络表现“仅比使用反向传播训练的网络略差”。


Nebuly 的 CTO,Diego Fiori 实现了 Hinton 的算法,并在推特上公开了结果


我将 Hinton 的论文中所提出的两种前向-前向算法分别称作“基础版”和“循环版”,尽管命名如此,基础版反而是性能最好的算法……基础版 FF 算法相较经典方向传播更节约内存,对深度网络而言可节省 45%的内存使用。


Fiori 在 GitHub 上开源了他对FF算法的实现,蒙特利尔大学博士生Mohammad Pezeshki同样在开源了他的FF算法实现版本。


原文链接

Deep Learning Pioneer Geoffrey Hinton Publishes New Deep Learning Algorithm


相关阅读:

十大值得关注的深度学习算法

用AI对抗AI!教代码调戏深度学习算法生成的假视频

2023-01-27 08:005503

评论

发布
暂无评论
发现更多内容

加锁失效,非锁之过,加之错也

京东科技开发者

鸿蒙开发实战:Device Security Kit强化新闻应用设备安全防线

chengxujianke

HarmonyOS开发实战:Input Kit打造新闻应用的智能输入体验

chengxujianke

技术分享 | Prompt Caching:帮你大幅降本提速

伊克罗德信息科技

基于YOLOv8的学生课堂行为识别项目|完整源码数据集+PyQt5界面+完整训练流程+开箱即用!

申公豹

yolov8

ManageEngine卓豪简化变更管理的工作方法(四)

ServiceDesk_Plus

变更管理 ManageEngine卓豪

鸿蒙开发笔记:Asset Store Kit加速新闻应用的资源管理

chengxujianke

HarmonyOS开发实战:Crypto Architecture Kit保障新闻应用数据安全

chengxujianke

鸿蒙开发实战:Data Protection Kit打造新闻应用的隐私防护盾

chengxujianke

鸿蒙开发实战:Driver Development Kit打造高性能新闻应用外设支持

chengxujianke

Mint Blockchain × Crydit: 联手推进 PayFi 生态建设

NFT Research

NFT web3、

鸿蒙开发实战:Basic Services Kit打造新闻应用的底层服务框架

chengxujianke

Karmada v1.14 版本发布!新增联邦资源配额管理能力

华为云原生团队

云计算 容器 云原生

HarmonyOS开发实战:Device Certificate Kit构建新闻应用的设备认证体系

chengxujianke

HarmonyOS开发实战:Enterprise Data Guard Kit构建企业级新闻数据防护体系

chengxujianke

裁员、量产搁置,特斯拉Optimus团队恐迎至暗时刻!

机器人头条

科技 特斯拉 人形机器人 具身智能 optimus

GAITC2025|张科:端云一体大模型推理应用实战

京东科技开发者

澳鹏多模态标注工具:构建AI认知的语义桥梁

澳鹏Appen

多模态 多模态数据 多模态模型

HarmonyOS开发实战:Weather Service Kit在新闻应用的智能天气融合

chengxujianke

快手商业化风控内容审核场景下的大模型早期探索与应用

快手技术

大模型

HarmonyOS开发实战:Distributed Service Kit实现新闻应用的多端无缝协同

chengxujianke

鸿蒙开发笔记:Network Boost Kit优化新闻应用网络性能

chengxujianke

泡泡玛特爆火,年轻人的新圈子里,AI+潮玩能否占有一席之地

腾讯云音视频

实时音视频 泡泡玛特 AI实时对话 AI玩具

鸿蒙开发实战:MDM Kit构建企业级新闻应用的安全管控体系

chengxujianke

HarmonyOS开发实战:Multimodal Awareness Kit在新闻应用中的多模态交互

chengxujianke

移动AI一周年,5G-A和AI究竟把世界变成什么样?

白洞计划

AI

鸿蒙开发笔记:Wallet Kit实现新闻付费会员无感支付

chengxujianke

HarmonyOS开发笔记:Car Kit实现新闻应用的车载场景适配

chengxujianke

鸿蒙开发实战:Connectivity Kit优化新闻应用的网络连接体验

chengxujianke

鸿蒙开发实战:Function Flow Runtime Kit优化新闻应用的异步任务处理

chengxujianke

HarmonyOS开发实战:NearLink Kit实现新闻极速互传

chengxujianke

深度学习先驱者Geoffrey Hinton发布新深度学习算法_AI&大模型_Anthony Alford_InfoQ精选文章