【AICon】探索RAG 技术在实际应用中遇到的挑战及应对策略!AICon精华内容已上线73%>>> 了解详情
写点什么

深度学习先驱者 Geoffrey Hinton 发布新深度学习算法

  • 2023-01-27
    北京
  • 本文字数:1118 字

    阅读完需:约 4 分钟

深度学习先驱者Geoffrey Hinton发布新深度学习算法

多伦多大学教授兼谷歌大脑工程研究员 Geoffrey Hinton 近期发布的论文中提出了一种神经网络训练技术,前向-前向算法(FF),用两次通过网络的前向数据取代反向传播来更新模型权重。


Hinton 提出该算法旨在解决标准反向传播训练中,需要充分了解前向传递中计算才能在训练时计算导数和存储激活值这一缺陷。算法中所使用的两个前向传播输入数据,分别为一正一负,且具备需要优化的相反目标函数。据 Hinton 称,使用 FF 算法训练的网络不仅可以完成计算机视觉(CV)任务,且效果与使用方向传播训练的网络一样好。


前向-前向算法(FF)在速度上与反向传播速度相当,且在前向计算的具体细节未知时仍可使用。FF 算法的另一优势在于,其可以无需存储神经动态或中断传播误差导数,即可在神经网络传递顺序数据时进行学习……前向-前向算法优于向后传播算法的这两方面,即是大脑皮层中的学习模型,也是不求助于强化学习而以极低功率地进行硬件模拟的方式。


尽管人工神经网络(ANN)是基于大脑的数学模型,但用于训练 ANN 的标准反向传播算法却不是基于任何已知生物过程。除开在生物学上的不可信外,反向传播也有上文中所提及的计算方面缺陷,Hinton 指出,ANN 的强化学习(RL)训练虽然可以不借助反向传播算法,但该方法“在包含数百万乃至数十亿参数的大型网络上扩展性很差”。InfoQ 于 2021 年报道了一种生物学可信且可完全复现反向传播结果的算法,零分化推理学习(Z-IL)。


Hinton 所提出的 FF 算法用两个“以完全相同方式彼此运算”的前向通道替换了反向传播训练中的前向-反向通道,第一个前向通道对训练集中的真实数据进行操作,神经网络根据输入调整权重以增加每一层的优点值(goodness)。第二个前向通道中,网络所使用的数据并非来自训练集,而是生成的负数据,神经网络权重根据该输入减少每层的优点值。


Hinton 通过 FF 算法,在MNISTCIFAR数据集上训练了几种可完成计算机视觉任务的神经网络。这些网络规模相对较小,仅包含二至三个隐藏卷积层,且训练不足百个迭代轮次。在评估训练集上的性能时,FF 算法所训练的网络表现“仅比使用反向传播训练的网络略差”。


Nebuly 的 CTO,Diego Fiori 实现了 Hinton 的算法,并在推特上公开了结果


我将 Hinton 的论文中所提出的两种前向-前向算法分别称作“基础版”和“循环版”,尽管命名如此,基础版反而是性能最好的算法……基础版 FF 算法相较经典方向传播更节约内存,对深度网络而言可节省 45%的内存使用。


Fiori 在 GitHub 上开源了他对FF算法的实现,蒙特利尔大学博士生Mohammad Pezeshki同样在开源了他的FF算法实现版本。


原文链接

Deep Learning Pioneer Geoffrey Hinton Publishes New Deep Learning Algorithm


相关阅读:

十大值得关注的深度学习算法

用AI对抗AI!教代码调戏深度学习算法生成的假视频

公众号推荐:

2024 年 1 月,InfoQ 研究中心重磅发布《大语言模型综合能力测评报告 2024》,揭示了 10 个大模型在语义理解、文学创作、知识问答等领域的卓越表现。ChatGPT-4、文心一言等领先模型在编程、逻辑推理等方面展现出惊人的进步,预示着大模型将在 2024 年迎来更广泛的应用和创新。关注公众号「AI 前线」,回复「大模型报告」免费获取电子版研究报告。

AI 前线公众号
2023-01-27 08:005061

评论

发布
暂无评论
发现更多内容

操作系统——计算机硬件简介

思想者杰克

杂谈—程序人生第一份工作

思想者杰克

程序人生 新手指南 程序

阿里云视频云,用技术普惠打造平民化“虚拟人”

阿里云视频云

人工智能 阿里云 视频云 数字人 虚拟人

百度智能云与雅量商业智能携手,加速零售行业智能化升级

百度开发者中心

百度智能云 零售行业

接口文档工具yapi的安装

小鲍侃java

11月日更

linux lsquic 编译

webrtc developer

牛掰!“基础-中级-高级”Java程序员面试集结,看完献出我的膝盖

Java spring 程序员 JVM hashmap

RadonDB ClickHouse on K8s 2.1.0 发布!

RadonDB

数据库 Kubernetes Clickhouse RadonDB

你需要知道的 19 个 console 实用调试技巧

CRMEB

CSS JavaScript DOM console crmeb

TDengine在浙商银行微服务监控中的实践

TDengine

tdengine 后端 时序数据库

架构实战营-总结

哈希

Github上线仅六天,收获Star超55K+,这套笔记能拿下90%以上面试

Java redis spring 程序员 架构

行业白皮书发布!百度智慧城市助力城市“双碳”目标达成

百度开发者中心

人工智能 智慧城市

常用的Nmap脚本及使用实例

喀拉峻

网络安全 信息安全 渗透测试 脚本 nmap

杂谈——程序人生我的大学

思想者杰克

百度鸿鹄芯片落地首款量产车吉利博越X 智能车机体验惊艳成都车展

百度开发者中心

百度 车联网 鸿鹄芯片

看完这篇SpringBoot让我在阿里成功涨薪40%,感谢

Java 编程 程序员 程序人生 springboot

ReplacingMergeTree:实现Clickhouse数据更新

华为云开发者联盟

数据 事务 Clickhouse 数据更新 OLAP数据库

2021年10月云主机性能评测报告

博睿数据

百度智能云人脸采集SDK通过CFCA权威安全测评

百度开发者中心

安全 sdk

【高并发】开篇:线程与多线程

冰河

Java 并发编程 多线程 高并发 异步编程

科大讯飞联袂伯俊科技进军3C零售,构建发展新格局

科技热闻

端开发技术——5个高效的Flutter开发工具

思想者杰克

前后端、多语言、跨云部署,全链路追踪到底有多难?

阿里巴巴中间件

阿里云 云原生 中间件 全链路追踪

百度Apollo参编首批汽车信息安全国家标准,跻身车联网信息安全第一梯队

百度开发者中心

Apollo

GitHub远程免密连接详解,还顺手解决了RPC失败HTTP413

老表

GitHub RPC HTTP 11月日更

Hexo个人博客快速部署到Gitee&Coding详细教程

老表

Hexo gitee CODING 博客配置 11月日更

科技热点周刊|ClickHouse 融资 2.5 亿美元、个人信息保护法正式实施、Facebook 改名 Meta

青云技术社区

云计算 facebook 云原生

Bash 脚本简介

码语者

bash Shell

万字长文解密数据异构最佳实践(含完整代码实现)!!

冰河

MySQL 数据库 canal 数据同步 数据异构

极客时间【架构实战营】第二期 模块七作业

Geek_91606e

架构实战营

深度学习先驱者Geoffrey Hinton发布新深度学习算法_AI&大模型_Anthony Alford_InfoQ精选文章