深度学习入门:基于 Python 的理论与实现 (11):神经网络 3.2.7

阅读数:19 2019 年 11 月 13 日 15:02

深度学习入门:基于Python的理论与实现(11):神经网络 3.2.7

内容简介
本书是深度学习真正意义上的入门书,深入浅出地剖析了深度学习的原理和相关技术。书中使用 Python3,尽量不依赖外部库或工具,从基本的数学知识出发,带领读者从零创建一个经典的深度学习网络,使读者在此过程中逐步理解深度学习。书中不仅介绍了深度学习和神经网络的概念、特征等基础知识,对误差反向传播法、卷积神经网络等也有深入讲解,此外还介绍了深度学习相关的实用技巧,自动驾驶、图像生成、强化学习等方面的应用,以及为什么加深层可以提高识别精度等疑难的问题。
本书适合深度学习初学者阅读,也可作为高校教材使用。

(ReLU 函数)

到目前为止,我们介绍了作为激活函数的阶跃函数和 sigmoid 函数。在神经网络发展的历史上,sigmoid 函数很早就开始被使用了,而最近则主要使用 ReLU(Rectified Linear Unit)函数。

ReLU 函数在输入大于 0 时,直接输出该值;在输入小于等于 0 时,输出 0(图 3-9)。

ReLU 函数可以表示为下面的式 (3.7)。

h(x)={x(x>0)\0(x0)(3.7)h(x)={x(x>0)\0(x0)(3.7)

如图 3-9 和式(3.7)所示,ReLU 函数是一个非常简单的函数。因此,ReLU 函数的实现也很简单,可以写成如下形式。

复制代码
def relu(x):
return np.maximum(0, x)

深度学习入门:基于Python的理论与实现(11):神经网络 3.2.7

图 3-9 ReLU 函数

这里使用了 NumPy 的 maximum 函数。maximum 函数会从输入的数值中选择较大的那个值进行输出。

本章剩余部分的内容仍将使用 sigmoid 函数作为激活函数,但在本书的后半部分,则将主要使用 ReLU 函数。

评论

发布