写点什么

深度学习的数学(一):神经网络和深度学习

  • 2020-04-01
  • 本文字数:1535 字

    阅读完需:约 5 分钟

深度学习的数学(一):神经网络和深度学习

编者按:本文节选自图灵程序设计丛书 《深度学习的数学》一书中的部分章节。


深度学习 是人工智能的一种具有代表性的实现方法,下面就让我们来考察一下它究竟是什么样的技术。

备受瞩目的深度学习

在有关深度学习的热门话题中,有几个被媒体大肆报道的事件,如下表所示。


年份事件
2012 年在世界性的图像识别大赛ILSVRC中,使用深度学习技术的Supervision方法取得了完胜
2012 年利用谷歌公司开发的深度学习技术,人工智能从 YouTube 的视频中识别出了猫
2014 年苹果公司将Siri 的语音识别系统变更为使用深度学习技术的系统
2016 年利用谷歌公司开发的深度学习技术,AlphaGo 与世界顶级棋手对决,取得了胜利
2016 年奥迪、宝马等公司将深度学习技术运用到汽车的自动驾驶中


如上表所示,深度学习在人工智能领域取得了很大的成功。那么,深度学习究竟是什么技术呢?深度学习里的“深度”是什么意思呢?为了解答这个疑问,首先我们来考察一下神经网络,这是因为深度学习是以神经网络为出发点的。

神经网络

谈到神经网络的想法,需要从生物学上的 神经元( neuron) 开始说起。


从生物学的扎实的研究成果中,我们可以得到以下关于构成大脑的神经元的知识(1 - 2 节)。


(i) 神经元形成网络。


(ii) 对于从其他多个神经元传递过来的信号,如果它们的和不超过某个固定大小的值(阈值),则神经元不做出任何反应。


(iii) 对于从其他多个神经元传递过来的信号,如果它们的和超过某个固定大小的值(阈值),则神经元做出反应(称为点火),向另外的神经元传递固定强度的信号。


(iv) 在 (ii) 和 (iii) 中,从多个神经元传递过来的信号之和中,每个信号对应的权重不一样。



将神经元的工作在数学上抽象化,并以其为单位人工地形成网络,这样的人工网络就是神经网络。将构成大脑的神经元的集合体抽象为数学模型,这就是神经网络的出发点。

用神经网络实现的人工智能

看过以往的科幻电影、动画片就知道,人工智能是人们很早就有的想法。那么,早期研究的人工智能和用神经网络实现的人工智能有哪些不同呢?答案就是用神经网络实现的人工智能能够自己学习过去的数据。


以往的人工智能需要人们事先将各种各样的知识教给机器,这在工业机器人等方面取得了很大成功。



而对于用神经网络实现的人工智能,人们只需要简单地提供数据即可。神经网络接收数据后,会从网络的关系中自己学习并理解。

“人教导机器”类型的人工智能的问题

20 世纪的“人教导机器”类型的人工智能,现在仍然活跃在各种领域,然而也有一些领域是它不能胜任的,其中之一就是模式识别。让我们来看一个简单的例子。


例题 有一个用 8×8 像素读取的手写数字的图像,考虑如何让计算机判断图像中的数字是否为 0。


读取的手写数字的图像如下图所示。



这些图像虽然大小和形状各异,但都可以认为正解是数字 0。可是,如何将这些图像中的数字是 0 这个事实教给计算机呢?


要用计算机进行处理,就需要用数学式来表示。然而,像 例题 这样的情况,如果使用 20 世纪的常规手段,将“0 具有这样的形状”教给计算机,处理起来会十分困难。况且,如下所示,对于写得很难看的字、读取时受到噪声影响的字,虽然人能够设法辨认出来是 0,但要将这种辨认的条件用数学式表达,并教给计算机,应该是无法做到的。



从这个简单的 例题 中可以看出,“人教导机器”类型的人工智能无法胜任图像、语音的模式识别,因为要把所有东西都教给计算机是不现实的。


不过,在 20 世纪后期,对于这样的问题,人们找到了简单的解决方法,那就是神经网络以及由其发展而来的深度学习。如前所述,具体来说就是由人提供数据,然后由神经网络自己进行学习。


如此看来,神经网络似乎有一些不可思议的逻辑。然而,从数学上来说,其原理十分容易。本书的目的就是阐明它的原理。


图书简介http://www.ituring.com.cn/book/2593



2020-04-01 10:002461

评论

发布
暂无评论
发现更多内容

设计模式之美——对扩展开放、对修改关闭

GalaxyCreater

设计模式

2022年浪过的那些城市

SAP虾客

杭州 2022年 无锡 东莞 SAP项目

安卓、iOS、小游戏三端同发?介绍给你一个新方式 - 普洱WebGL

僵尸浩

typescript 小游戏 Unity3D

FFA 2022 主会场 Keynote:Flink Towards Streaming Data Warehouse

Apache Flink

大数据 flink 实时计算

【web 开发基础】PHP 中的预定义数组详解之一 (47)

迷彩

数组 全局变量 PHP基础 预定义数组

HTTP通用首部字段

穿过生命散发芬芳

HTTP 12月月更

Flink 1.16:Hive SQL 如何平迁到 Flink SQL

Apache Flink

大数据 flink 实时计算

Flink 在米哈游的应用实践

Apache Flink

大数据 flink 实时计算

SAP MM SPED输出报错-No authorization for delivery from shipping point US##-之对策

SAP虾客

SAP MM SPED VL31N 公司间STO

学生管理系统

KING

基于Go的缓存实现

俞凡

架构

Web入门开发【四】

小院里的霍大侠

Web 编程开发 初学者 入门实战

为什么更推荐使用组合而非继承关系?

JAVA旭阳

Java 架构

设计模式之美——里式替换(LSP)

GalaxyCreater

设计模式

WEB21

Lenyi

网络安全 CTF ctfshow 爆破

架构训练营模块三作业

张建闯

架构实战营

数据可视化图表系列解析——饼图

Data 探险实验室

数据分析 可视化 数据可视化 可视化数据 可视化工具

Android Studio开发Android APP

芯动大师

Android Studio 开发环境 新建工程

架构实战营 3-4 架构设计后期随堂练习

西山薄凉

「架构实战营」

Web入门开发【二】

小院里的霍大侠

编程开发 初学者 入门实战 Web入门

SDK更新不了问题解决

芯动大师

android hosts SDK 教程

SRE运维解密-应对过载

董哥的黑板报

微服务 SRE 限流 SRE实践

OpenTelemetry系列 (四)| 如何使用Java Agent来实现无侵入的调用链

骑牛上青山

Java javaagent 调用链 OpenTelemetry 微服务调用链

运维进阶训练营 -W09H

b1a2e1u1u

运维

【IntelliJ IDEA】idea 2018版本中没有SVN按钮或者图标的解决方法

No8g攻城狮

svn IDEA git 学习

WEB23

Lenyi

网络安全 CTF ctfshow 爆破

Web入门:CSS下拉图片

小院里的霍大侠

JavaScript Web 初学者 入门者

架构实战营 3-5 消息队列备选架构随堂练习

西山薄凉

「架构实战营」

架构误区系列10:不合理的分层

agnostic

软件分层

模块三-外包学生管理系统的架构文档

悟空

学生管理系统架构

【IntelliJ IDEA】连接https报错问题: E230001: Server SSL certificate verification failed:

No8g攻城狮

svn IDEA

深度学习的数学(一):神经网络和深度学习_AI&大模型_涌井良幸,涌井贞美_InfoQ精选文章