10 月 23 - 25 日,QCon 上海站即将召开,现在大会已开始正式报名,可以享受 8 折优惠 了解详情
写点什么

深度学习的数学(二):神经元工作的数学表示

  • 2020-04-02
  • 本文字数:2525 字

    阅读完需:约 8 分钟

深度学习的数学(二):神经元工作的数学表示

编者按:本文节选自图灵程序设计丛书 《深度学习的数学》一书中的部分章节。


前文所述,神经网络是以从神经元抽象出来的数学模型为出发点的。下面,我们将更详细地考察神经元的工作,并将其在数学上抽象化。

整理神经元的工作

人的大脑是由多个神经元互相连接形成网络而构成的。也就是说,一个神经元从其他神经元接收信号,也向其他神经元发出信号。大脑就是根据这个网络上的信号的流动来处理各种各样的信息的。



让我们来更详细地看一下神经元传递信息的结构。如上图所示,神经元是由细胞体、树突、轴突三个主要部分构成的。其他神经元的信号(输入信号)通过树突传递到细胞体(也就是神经元本体)中,细胞体把从其他多个神经元传递进来的输入信号进行合并加工,然后再通过轴突前端的突触传递给别的神经元。


那么,神经元究竟是怎样对输入信号进行合并加工的呢?让我们来看看它的构造。


假设一个神经元从其他多个神经元接收了输入信号,这时如果所接收的信号之和比较小,没有超过这个神经元固有的边界值(称为 阈值),这个神经元的细胞体就会忽略接收到的信号,不做任何反应。



注:对于生命来说,神经元忽略微小的输入信号,这是十分重要的。反之,如果神经元对于任何微小的信号都变得兴奋,神经系统就将“情绪不稳定”。


不过,如果输入信号之和超过神经元固有的边界值(也就是阈值),细胞体就会做出反应,向与轴突连接的其他神经元传递信号,这称为点火。



那么,点火时神经元的输出信号是什么样的呢?有趣的是,信号的大小是固定的。即便从邻近的神经元接收到很大的刺激,或者轴突连接着其他多个神经元,这个神经元也只输出固定大小的信号。点火的输出信号是由 0 或 1 表示的数字信息。

神经元工作的数学表示

让我们整理一下已经考察过的神经元点火的结构。


(i) 来自其他多个神经元的信号之和成为神经元的输入。


(ii) 如果这个信号之和超过神经元固有的阈值,则点火。


(iii) 神经元的输出信号可以用数字信号 0 和 1 来表示。即使有多个输出端,其值也是同一个。


下面让我们用数学方式表示神经元点火的结构。


首先,我们用数学式表示输入信号。由于输入信号是来自相邻神经元的输出信号,所以根据 (iii),输入信号也可以用“有”“无”两种信息表示。因此,用变量 表示输入信号时,如下所示。



注:与视细胞直接连接的神经元等个别神经元并不一定如此,因为视细胞的输入是模拟信号。


接下来,我们用数学式表示输出信号。根据 (iii),输出信号可以用表示点火与否的“有”“无”两种信息来表示。因此,用变量 表示输出信号时,如下所示。




最后,我们用数学方式来表示点火的判定条件。


从 (i) 和 (ii) 可知,神经元点火与否是根据来自其他神经元的输入信号的和来判定的,但这个求和的方式应该不是简单的求和。例如在网球比赛中,对于来自视觉神经的信号和来自听觉神经的信号,大脑是通过改变权重来处理的。因此,神经元的输入信号应该是考虑了权重的信号之和。用数学语言来表示的话,例如,来自相邻神经元 1、2、3 的输入信号分别为 ,则神经元的输入信号之和可以如下表示。


式中的 是输入信号 对应的 权重(weight)。



根据 (ii),神经元在信号之和超过阈值时点火,不超过阈值时不点火。于是,利用式 (1),点火条件可以如下表示。



这里, 是该神经元固有的阈值。


例 1 来自两个神经元 1、2 的输入信号分别为变量 ,权重为 ,神经元的阈值为 。当 时,考察信号之和 的值与表示点火与否的输出信号 的值。


输入 $\boldsymbol{x_1} $输入 $\boldsymbol{x_2} $和 $\boldsymbol{w_1x_1+w_2x_2} $点火输出信号 $\boldsymbol{y}$
00$5\times0+3\times0=0<4$0
01$5\times0+3\times1=3<4$0
10$5\times1+3\times0=5\geqslant4$1
11$5\times1+3\times1=8\geqslant4$1

点火条件的图形表示

下面我们将表示点火条件的式 (2) 图形化。以神经元的输入信号之和为横轴,神经元的输出信号 为纵轴,将式 (2) 用图形表示出来。如下图所示,当信号之和小于 时, 取值 0,反之 取值 1。



如果用函数式来表示这个图形,就需要用到下面的 单位阶跃函数


单位阶跃函数的图形如下所示。



利用单位阶跃函数 ,式 (2) 可以用一个式子表示如下。


点火的式子:


通过下表可以确认式 (3) 和式 (2) 是一样的。


|||||


|-|-|


|0(无点火)|小于 ||0|


|1(点火)|大于等于 ||1|


此外,该表中的 (式 (3) 的阶跃函数的参数)的表达式


称为该神经元的 加权输入


备注 的处理

有的文献会像下面这样处理式 (2) 的不等号。

在生物上这也许是很大的差异,不过对于接下来的讨论而言是没有问题的。因为我们的主角是 Sigmoid 函数,所以不会发生这样的问题。


图书简介http://www.ituring.com.cn/book/2593



相关阅读


深度学习的数学(一):神经网络和深度学习


2020-04-02 10:002375

评论

发布
暂无评论
发现更多内容

数字藏品NFT技术架构

北京木奇移动技术有限公司

数字藏品 软件外包公司 NFT技术

做好设备管理这四大关键,事半功倍!

积木链小链

数字化 智能制造 设备管理

【HarmonyOS 5】使用openCustomDialog如何禁止手势关闭的方案

GeorgeGcs

HarmonyOS OpenCustomDialog 手势关闭 禁止 关闭弹框

SQL开发的智能助手:通义灵码在IntelliJ IDEA中的应用

阿里巴巴云原生

sql

测试团队管理者必看:从生存到卓越的实战指南

测试人

团队管理 软件测试

Python2 AI 通义灵码 VSCode插件安装与功能详解

阿里云云效

Python

无需登录+离线调试 Apipost完胜Apifox?

数据追梦人

黑龙江三级等保-信息安全等级保护制度中的重要级别

黑龙江陆陆信息测评部

理解 Calvin 的架构设计与工作原理

Databend

CSS AI 通义灵码 VSCode插件安装与功能详解

阿里巴巴云原生

一文掌握 MCP 上下文协议:从理论到实践

陈明勇

Go MCP MCP协议 go mcp

《Operating System Concepts》阅读笔记:p597-p600

codists

操作系统

用友畅捷通基于阿里云 MaxCompute 搭建智能数仓的落地实践

阿里云大数据AI技术

大数据 云原生 数据处理 MaxCompute 智能数仓

深入研究:淘宝天猫商品详情查询API详解

tbapi

淘宝API 淘宝商品数据采集 淘宝商品详情API 淘宝商品接口

数字藏品NFT的技术原理

北京木奇移动技术有限公司

软件外包公司 音乐NFT 体育NFT

《Operating System Concepts》阅读笔记:p587-p596

codists

操作系统

用 Go 语言轻松构建 MCP 客户端与服务器

陈明勇

Go MCP MCP协议 go mcp

非凸算法全面上线华安证券,共筑金融数智化新生态

非凸科技

Python2 AI 通义灵码 VSCode插件安装与功能详解

阿里巴巴云原生

vscode Python2

芯盾时代OIAM解决方案

芯盾时代

iam 统一身份认证 身份治理与管理

MySQL下200GB大表备份,利用传输表空间解决停服发版表备份问题

GreatSQL

CSS AI 通义灵码 VSCode插件安装与功能详解

阿里云云效

CSS 前端

用友加入数据资源服务联合体

用友智能财务

财务 会计

【同步教程】基于Apache SeaTunnel从MySQL同步到MySQL——Demo方舟计划

Apache SeaTunnel

SQL开发的智能助手:通义灵码在IntelliJ IDEA中的应用

阿里云云效

sql

MES系统中的几大功能模块

万界星空科技

mes 数字化工厂 万界星空科技 制造业工厂 生产管理MES系统

亮数据爬取API爬取亚马逊电商平台实战教程

知识浅谈

爬虫技术

我对于AI领域商业模式的思考

老张

人工智能 商业模式 智能体 大模型

什么是用于REST API的JWT Bearer令牌以及如何通过代码和工具进行调试

数据追梦人

金三银四冲击一波「腾讯」!

王中阳Go

Go 面试

【HarmonyOS 5】鸿蒙中如何使用MQTT

GeorgeGcs

mqtt HarmonyOS HarmonyOS NEXT

深度学习的数学(二):神经元工作的数学表示_AI&大模型_涌井良幸,涌井贞美_InfoQ精选文章