一． 概述
通过上篇对神经网络组成部分的剖析，本篇的内容是基于上篇内容的继承(上篇内容详见：神经网络的组成)。如果从构造上讲，神经网络就是由很多个繁多的神经单元组合到一起, 这外面的一个神经单元的输入就能够是另一个神经单元的输出，每一个神经元有着各自的性能，通过将这些性能各异的神经元有序组合，就能够形成构造不同、用处不同的神经网络。例如, 图 1 就是一个简略的人工神经网络。
image.png
图 1：神经网络图
二． 神经网络模型
对于图 1 神经网络图的解释，咱们应用小圆圈来示意神经网络要承受的信号, 标上的圆圈中的+1 被称为偏置节点(bias)。神经网络最左层用于承受的内部的信息，所以被称为输出层, 最右层是通过神经网络解决后最终的输入，也被称为输入层(本例中, 输入层只有一个节点)。两头所有节点组成的一层用于变换计算，但看不到具体计算过程，被称为暗藏层, 因为咱们无奈在训练样本集中观测到它们的值。同时也能够看到, 以上神经网络的例子中有 3 个输出单元(维度为 3, 偏置单元不计在内)，3 个暗藏单元及一个输入单元。
在这里, 咱们用 Lx 来示意网络总共有几层, 本例中很显然 x =3, 同时, 咱们将第 1 层记为 L1, 则 L1 为输出层,L3 为输入层。本例的神经网络有训练参数 (W,b), 其中(W1,b1,W2,b2) 其中 W1 是第 l 层第 j 单元与第 l + 1 层的第 i 单元之间的连贯参数,bi 则为第 l + 1 层的第 i 单元的偏置单元。偏置单元是没有输出的, 因为它们总是输入 +1。同时, 咱们记第 l 层的节点数为 si。
咱们用 ai 示意第 l 层第 i 单元的激活值 (输入值)。当 l = 1 时,ai=x, 也就是第 i 个输出值(输出值的第 i 个特色)。对于给定参数汇合(W,b), 咱们的神经网络就能够依照函数 h 从(x) 来计算输入后果, 则计算过程:
image.png
image.png
这里用 zi 来示意第 l 层第 i 单元的激活值(蕴含偏置单元)。
这样咱们就能够将激活函数 f()扩大写为向量的模式来示意, 则下面的等式能够更简洁地写为:
image.png
上式的计算过程被称为 ANN 的前向流传。先前咱们应用 a = x 来示意输出层的激活值, 依此类推给定第 l 层的激活值 al 之后, 则第 l + 1 层的激活值 a 就能够依照如下式子来计算:
image.png
更直观的构造如图 2 所示：
image.png
图 2：输出与输入
三． 多输入层模型
在第二章节中, 咱们探讨了一种通用的人工神经网络构造, 同时, 咱们也能够构建另种构造的神经网络(这里的构造指的是两个神经元的连贯形式), 即含有多个暗藏层的神经网络。例如有一个有 nl 层的神经网络, 那么第 1 层为输出层, 第 n 层是输入层, 两头的每个层 l 与 H + 1 层紧密相联。在这种结构下, 很容易计算神经网络的输入值, 咱们能够依照之前推出的式子, 一步一步地进行前向流传, 一一单元地计算第 L2 层的每个激活值, 依此类推, 接着是第 L3 层的激活值, 直到最初的第 Ln 层。这种联接图没有回路或者闭环, 所以称这种神经网络为前馈网络。
除此之外, 神经网络的输入单元还能够是多个。举个例子, 图 3 的神经网络构造就有两层暗藏层:(L2 和 L3 层), 而输入层 L4 层蕴含两个输入单元。
image.png
图 3：神经网络连贯图
要求解这样的神经网络, 须要样本集(x,y)。如果想要预测的输入是有多个分类的, 那么这种神经网络就比拟适宜, 例如检测一张数字图片, 就有两个输入。
总结
神经网络模型是人工智能最根底的模型，它的翻新是受害于神经科学家对大脑神经元的钻研。神经网络通过我自学习的形式能够取得高度形象的信息，以及手工特色无奈获取到的特色，在计算机视觉畛域获得了革命性的冲破。而神经网络之所以最近几年在多个工业畛域获得的这么大的胜利，反向流传算法是一个很重要的起因。