首先回顾梯度下降的流程：

BP的一个核心方法就是运用chain rule：

其中 [公式] 表示输出和真实label之间的差异，也就是loss。

可以先拿上图的左上角部分分析，可将loss关于参数的导数通过chain rule分为两部分 [公式] 和 [公式] 。

下面分别来分析forward pass和Backward pass：其中forward pass很好理解，就是连接权重的input

比较难理解的是Backward pass，其实也是一系列chain rule。现在只有[公式] 和 [公式] 这两项是未知的，现在先假设这两项是已知的。

那么问题来了，怎么算[公式] 和 [公式] 这两项呢？这里分两种情况，第一种情况是当 [公式] 和 [公式] 后面直接通过激活函数得到输出时：这时候每一项都可以简单的算出来。

第二种情况不是output层的时候：其实就是根据递归的思想从后往前算。

所以loss关于某个参数w的微分形式为：

本文转载自Alex-zhai知乎账号。

原文链接：https://zhuanlan.zhihu.com/p/84780891

李宏毅视频学习：BP 算法