关于深度学习:深度学习教程-深层神经网络

作者：韩信子 @ShowMeAI
教程地址：http://www.showmeai.tech/tutorials/35
本文地址：http://www.showmeai.tech/article-detail/215
申明：版权所有，转载请分割平台与作者并注明出处

珍藏 ShowMeAI 查看更多精彩内容

本系列为吴恩达老师《深度学习专项课程 (Deep Learning Specialization)》学习与总结整顿所得，对应的课程视频能够在这里查看。

在 ShowMeAI 前一篇文章 浅层神经网络 中咱们对以下内容进行了介绍:

神经网络的根本构造(输出层，暗藏层和输入层)。
浅层神经网络前向流传和反向流传过程。
神经网络参数的梯度降落优化。
不同的激活函数的优缺点及非线性的起因。
神经网络参数随机初始化形式

本篇内容咱们将探讨 深层神经网络。

咱们在后面提到了浅层神经网络，深层神经网络其实就是蕴含更多隐层的神经网络。下图别离列举了不同深度的神经网络模型构造：

咱们会参考「隐层个数」和「输入层」对齐命名。如上图逻辑回归能够叫做1 layer NN，单隐层神经网络能够叫做2 layer NN，2 个隐层的神经网络叫做3 layer NN，以此类推。所以当咱们提到L layer NN，指的是蕴含 $L-1$ 个隐层的神经网络。

上面咱们来理解一下神经网络的一些标记写法。以如下图的 4 层神经网络为例：

① 总层数用 $L$ 示意，$L=4$

输出层是第 $0$ 层，输入层是第 $L$ 层

② $n^{[l]}$ 示意第 $l$ 层蕴含的单元个数，$l=0,1,\cdots,L$

下图模型中，$n^{[0]}=n_x=3$，示意三个输出特色 $x_1$、$x_2$、$x_3$
下图模型中 $n^{[1]}=5$，$n^{[2]}=5$，$n^{[3]}=3$，$n^{[4]}=n^{[L]}=1$

③ 第 $l$ 层的激活函数输入用 $a^{[l]}$ 示意，$a^{[l]}=g^{[l]}(z^{[l]})$

④ $W^{[l]}$ 示意第 $l$ 层的权重，用于计算 $z^{[l]}$

⑤ 输出 $x$ 记为 $a^{[0]}$

⑥ 输入层 $\hat y$ 记为 $a^{[L]}$

留神，$a^{[l]}$ 和 $W^{[l]}$ 中的上标 $l$ 都是从 1 开始的，$l=1,\cdots,L$。

上面咱们来推导一下深层神经网络的前向流传计算过程。仍旧是下面提到的 4 层神经网络，咱们以其为例来做解说。

对于单个样本，咱们有：

对于 $m$ 个训练样本的状况，咱们以向量化矩阵模式来并行计算：

以此类推，对于第 $l$ 层，其前向流传过程的 $Z^{[l]}$ 和 $A^{[l]}$ 能够示意为：

$$
Z^{[l]}=W^{[l]}A^{[l-1]}+b^{[l]}
$$

$$
A^{[l]}=g^{[l]}(Z^{[l]})
$$

其中 $l=1,\cdots,L$

在单个训练样本的场景下，输出 $x$ 的维度是 $(n^{[0]},1)$ 神经网络的参数 $W^{[l]}$ 和 $b^{[l]}$ 的维度别离是：

$W^{[l]}: (n^{[l]},n^{[l-1]})$
$b^{[l]}: (n^{[l]},1)$

其中，

$l=1,\cdots,L$
$n^{[l]}$ 和 $n^{[l-1]}$ 别离示意第 $l$ 层和 $l-1$ 层的所含单元个数
$n^{[0]}=n_x$，示意输出层特色数目

对应的 反向流传 过程中的 $dW^{[l]}$ 和 $db^{[l]}$ 的维度别离是：

$dW^{[l]}:\ (n^{[l]},n^{[l-1]})$
$db^{[l]}:\ (n^{[l]},1)$
留神到，$W^{[l]}$ 与 $dW^{[l]}$ 维度雷同，$b^{[l]}$ 与 $db^{[l]}$ 维度雷同。这很容易了解。

正向流传过程中的 $z^{[l]}$ 和 $a^{[l]}$ 的维度别离是：

$z^{[l]}:\ (n^{[l]},1)$
$a^{[l]}:\ (n^{[l]},1)$
$z^{[l]}$ 和 $a^{[l]}$ 的维度是一样的，且 $dz^{[l]}$ 和 $da^{[l]}$ 的维度均与 $z^{[l]}$ 和 $a^{[l]}$ 的维度统一。

对于 $m$ 个训练样本，输出矩阵 $X$ 的维度是 $(n^{[0]},m)$。须要留神的是 $W^{[l]}$ 和 $b^{[l]}$ 的维度与只有单个样本是统一的：

$W^{[l]}:\ (n^{[l]},n^{[l-1]})$
$b^{[l]}:\ (n^{[l]},1)$

只不过在运算 $Z^{[l]}=W^{[l]}A^{[l-1]}+b^{[l]}$ 中，$b^{[l]}$ 会被当成 $(n^{[l]},m)$ 矩阵进行运算，这是基于 python numpy 的播送个性，且 $b^{[l]}$ 每一列向量都是一样的。$dW^{[l]}$ 和 $db^{[l]}$ 的维度别离与 $W^{[l]}$ 和 $b^{[l]}$ 的雷同。

不过，$Z^{[l]}$ 和 $A^{[l]}$ 的维度产生了变动：

$Z^{[l]}:\ (n^{[l]},m)$
$A^{[l]}:\ (n^{[l]},m)$
$dZ^{[l]}$ 和 $dA^{[l]}$ 的维度别离与 $Z^{[l]}$ 和 $A^{[l]}$ 的雷同。

当今大家看到的很多 AI 智能场景背地都是微小的神经网络在撑持，弱小能力很大一部分来源于神经网络足够“深”，也就是说随着网络层数增多，神经网络就更加简单参数更多，学习能力也更强。上面是一些典型的场景例子阐明。

如下图所示的人脸识别场景，训练失去的神经网络，每一层的作用有差异：

第一层所做的事就是从原始图片中提取出 人脸的轮廓与边缘 ，即 边缘检测。这样每个神经元失去的是一些边缘信息。
第二层所做的事件就是 将前一层的边缘进行组合 ，组合成 人脸一些部分特色，比方眼睛、鼻子、嘴巴等。
后续档次逐层把这些 部分特色组合起来，交融成人脸的模样。

能够看出，随着层数由浅到深，神经网络提取的特色也是 从边缘到部分特色到整体，由简略到简单。暗藏层越多，可能提取的特色就越丰盛、越简单，模型的准确率也可能会随之越高。（具体的人脸识别原理能够查看 ShowMeAI 的文章 CNN 利用：人脸识别和神经格调转换）

语音辨认模型也是相似的情理：

浅层的神经元可能检测一些简略的音调
较深的神经元可能检测出根本的音素
更深的神经元就可能检测出单词信息
网络足够深的话，还能对短语、句子进行检测

神经网络从浅到深，提取的特色从简略到简单。特色复杂度与神经网络层数成正相干。特色越来越简单，表达能力和性能也越强。（具体的语音辨认原理常识能够查看 ShowMeAI 的文章 Seq2seq 序列模型和注意力机制）

除学习能力与特征提取强度之外，深层网络还有另外一个长处，就是可能缩小神经元个数，从而缩小计算量。

上面有一个例子，应用电路实践，计算逻辑输入：

$$
y=x_1\oplus x_2\oplus x_3\oplus\cdots\oplus x_n
$$

下面的计算表达式中，$\oplus$ 示意「异或」操作。

对于这个逻辑运算，如果应用深度网络实现，每层将前一层的两两单元进行异或，最初到一个输入，如下图右边所示。

这样，整个深度网络的层数是 $log_2(n)$ (不蕴含输出层)。总共应用的神经元个数为：

$$
1+2+\cdots+2^{log_2(n)-1}=1\cdot\frac{1-2^{log_2(n)}}{1-2}=2^{log_2(n)}-1=n-1
$$

可见，输出个数是 $n$，这种深层网络所需的神经元个数仅仅是 $n-1$ 个。

如果不必深层网络，仅仅应用单个暗藏层，如上右图所示，因为蕴含了所有的逻辑位(0 和 1)，那么须要的神经元个数 $O(2^n)$ 是指数级别的大小。

对于其余场景和问题也一样，解决同样的逻辑问题，深层网络所需的神经元个数比浅层网络要少很多。这也是深层神经网络的长处之一。

只管深度学习有着十分显著的劣势，吴恩达老师还是倡议对理论问题进行建模时，尽量先抉择层数少的神经网络模型，这也合乎奥卡姆剃刀定律(Occam’s Razor)。对于比较复杂的问题，再应用较深的神经网络模型。

上面用流程块图来解释神经网络前向流传和反向流传过程。

如图所示，对于第 $l$ 层来说，前向流传 过程中，咱们有：

输出：$a^{[l-1]} $
输入：$a^{[l]} $
参数：$W^{[l]}$、$b^{[l]}$
缓存变量：$z^{[l]} $

反向流传 过程中：

输出：$da^{[l]} $
输入：$da^{[l-1]} $、$dW^{[l]} $、$db^{[l]}$
参数：$W^{[l]}$、$b^{[l]}$

下面是第 $l$ 层的流程块图，对于神经网络所有层，整体的流程块图前向流传过程和反向流传过程如下所示：

咱们持续接着上一部分流程块图的内容，推导神经网络正向流传过程和反向流传过程的具体表达式。

令层数为第 $l$ 层，输出是 $a^{[l-1]}$，输入是 $a^{[l]}$，缓存变量是 $z^{[l]}$。其表达式如下：

$$
z^{[l]}=W^{[l]}a^{[l-1]}+b^{[l]}
$$

$$
a^{[l]}=g^{[l]}(z^{[l]})
$$

$m$ 个训练样本 的状态下，向量化 模式为：

$$
Z^{[l]}=W^{[l]}A^{[l-1]}+b^{[l]}
$$

$$
A^{[l]}=g^{[l]}(Z^{[l]})
$$

输出是 $da^{[l]}$，输入是 $da^{[l-1]}$、$dW^{[l]}$、$db^{[l]}$。其表达式如下：

$$
dz^{[l]}=da^{[l]}\ast g^{[l]\prime}(z^{[l]})
$$

$$
dW^{[l]}=dz^{[l]}\cdot a^{[l-1]}
$$

$$
db^{[l]}=dz^{[l]}
$$

$$
da^{[l-1]}=W^{[l]T}\cdot dz^{[l]}
$$

由上述第四个表达式可得 $da^{[l]}=W^{[l+1]T}\cdot dz^{[l+1]}$，将 $da^{[l]}$ 代入第一个表达式中能够失去：

$$
dz^{[l]}=W^{[l+1]T}\cdot dz^{[l+1]}\ast g^{[l]\prime}(z^{[l]})
$$

该式十分重要，反映了 $dz^{[l+1]}$ 与 $dz^{[l]}$ 的递推关系。

$m$ 个训练样本 的状态下，向量化 模式为：

$$
d Z^{[l]}=d A^{[l]}\ast g^{[l]\prime} (Z^{[l]})
$$

$$
dW^{[l]}=\frac1mdZ^{[l]}\cdot A^{[l-1]T}
$$

$$
db^{[l]}=\frac1mnp.sum(dZ^{[l]},axis=1,keepdim=True)
$$

$$
dA^{[l-1]}=W^{[l]T}\cdot dZ^{[l]}
$$

$$
dZ^{[l]}=W^{[l+1]T}\cdot dZ^{[l+1]}\ast g^{[l]\prime}(Z^{[l]})
$$

神经网络中有两个大家要重点辨别的概念：参数 (parameters) 和超参数(hyperparameters)。

神经网络中的参数就是咱们相熟的 $W^{[l]}$ 和 $b^{[l]}$。
神经网络的超参数是例如学习率 $\alpha$，训练迭代次数 $N$，神经网络层数 $L$，各层神经元个数 $n^{[l]}$，激活函数 $g(z)$ 等。
之所以叫做超参数，是因为它们须要提前敲定，而且它们会决定参数 $W^{[l]}$ 和 $b^{[l]}$ 的值。

如何设置最优的超参数是一个比拟艰难的、须要教训常识的问题。通常的做法是抉择超参数肯定范畴内的值，别离代入神经网络进行训练，测试 cost function 随着迭代次数减少的变动，依据后果抉择 cost function 最小时对应的超参数值。这相似于机器学习中的试验验证的办法。(对于机器学习的模型评估详见 ShowMeAI 文章 图解机器学习 | 模型评估办法与准则)

神经网络跟人脑机制到底有什么分割呢？到底有多少的类似水平？

咱们后面看到神经网络实际上能够分成两个局部：前向流传 过程和 反向流传 过程。神经网络的每个神经元采纳激活函数的形式，相似于感知机模型。这种模型与人脑神经元是相似的，然而一种十分简化的人脑神经元模型。

人脑神经元可分为树突、细胞体、轴突三局部。树突接管外界电刺激信号(类比神经网络中神经元输出)，传递给细胞体进行解决(类比神经网络中神经元激活函数运算)，最初由轴突传递给下一个神经元(类比神经网络中神经元输入)。

人脑神经元的构造和解决形式要简单的多，神经网络模型只是十分简化的模型。

人脑如何进行学习？是否也是通过反向流传和梯度降落算法当初还不分明，可能会更加简单。这是值得生物学家摸索的事件。

图解机器学习 | 模型评估办法与准则

图解 Python 编程：从入门到精通系列教程
图解数据分析：从入门到精通系列教程
图解 AI 数学根底：从入门到精通系列教程
图解大数据技术：从入门到精通系列教程
图解机器学习算法：从入门到精通系列教程
机器学习实战：手把手教你玩转机器学习系列
深度学习教程 | 吴恩达专项课程 · 全套笔记解读

深度学习教程 | 深度学习概论
深度学习教程 | 神经网络根底
深度学习教程 | 浅层神经网络
深度学习教程 | 深层神经网络
深度学习教程 | 深度学习的实用层面
深度学习教程 | 神经网络优化算法
深度学习教程 | 网络优化：超参数调优、正则化、批归一化和程序框架
深度学习教程 | AI 利用实际策略（上）
深度学习教程 | AI 利用实际策略（下）
深度学习教程 | 卷积神经网络解读
深度学习教程 | 经典 CNN 网络实例详解
深度学习教程 | CNN 利用：指标检测
深度学习教程 | CNN 利用：人脸识别和神经格调转换
深度学习教程 | 序列模型与 RNN 网络
深度学习教程 | 自然语言解决与词嵌入
深度学习教程 | Seq2seq 序列模型和注意力机制

关于深度学习:深度学习教程-深层神经网络

引言

1. 深层神经网络

2. 深层神经网络前向运算

2.1 单个样本的计算

2.2 m 个样本的批量计算

3. 向量化状态下的矩阵维度

4. 为什么须要深度网络

4.1 人脸识别例子

4.2 语音辨认例子

4.3 深度网络其余劣势

5. 构建深度网络单元块

6. 前向流传与反向流传

6.1 前向流传过程

6.2 反向流传过程

7. 参数与超参数

8. 神经网络 vs 人脑

参考资料

ShowMeAI 系列教程举荐

举荐文章

Just My Socks（注册教程内含优惠码）

关于深度学习:深度学习教程-深层神经网络

引言

1. 深层神经网络

2. 深层神经网络前向运算

2.1 单个样本的计算

2.2 m 个样本的批量计算

3. 向量化状态下的矩阵维度

4. 为什么须要深度网络

4.1 人脸识别例子

4.2 语音辨认例子

4.3 深度网络其余劣势

5. 构建深度网络单元块

6. 前向流传与反向流传

6.1 前向流传过程

6.2 反向流传过程

7. 参数与超参数

8. 神经网络 vs 人脑

参考资料

ShowMeAI 系列教程举荐

举荐文章

Just My Socks（注册教程 内含优惠码）

Just My Socks（注册教程内含优惠码）