目录
- 神经网络是什么？
- 神经网络的组成？
- 神经网络如何工作？
神经网络是什么？
神经网络是一组受人类大脑性能启发的算法。一般来说，当你睁开眼睛时，你看到的货色叫做数据，再由你大脑中的 Nuerons（数据处理的细胞）解决，并辨认出你四周的货色，这也是神经网络的工作原理。神经网络有时被称为人工神经网络（Artificial Neural Network，ANN），它们不像你大脑中的神经元那样是天然的，而是人工模拟神经网络的性质和性能。
神经网络的组成？
人工神经网络是由大量高度互相关联的处理单元（神经元）协同工作来解决特定问题。首先介绍一种名为 感知机 的神经元。感知机接管若干个输出，每个输出对应一个权重值（能够看成常数），产出一个输入。
接下来用一个生存中的例子形象了解感知机，假如一个场景，周末去爬山，有以下三种输出（能够了解为影响因素）：
（1）男 / 女朋友是否陪你去；
（2）天气是否顽劣；
（3）间隔登山地点是否不便；
对于你来说，输出（2）影响十分大，这样就设置的权重值就大，输出（3）的影响的比拟小，权重值就小。
再将输出二值化，对于天气不顽劣，设置为 1（$x_2=1$），对于天气顽劣，设置为 0（$x_2=0$），天气的影响水平通过权重值体现，设置为 10（$w_1=10$）。同样设置输出（1）的权值为 8（$w_2=8$），输出（3）的权重值为 1（$w_3=1$）。输入二值化是去爬山为 1（$y=1$），不去为 0（$y=0$）。
假如对于感知机，如果 $(x_1 \times w_1 + x_2 \times w_2 + x_3 \times w_3)$ 的后果大于某阈值（如 5），示意去爬山 $y=1$，随机调整权重和阈值，感知机的后果会不一样。
一个典型的神经网络有成千盈百个神经元（感知机），排成一列的神经元也称为 单元 或是 层，每一列的神经元会连贯左右两边的神经元。感知机有输出和输入，对于神经网络是有输出单元与输入单元，在输出单元和输入单元之间是一层或多层称为暗藏单元。一个单元和另一个单元之间的分割用权重示意，权重能够是负数（如一个单元激发另一个单元），也能够是正数（如一个单元克制或克制另一个单元）。权重越高，一个单位对另一个单位的影响就越大。
神经网络如何工作？
神经网络的工作大抵可分为 前向流传 和反向流传，类比人们学习的过程，前向流传如读书期间，学生认真学习知识点，进行考试，取得本人对知识点的把握水平；反向流传是学生取得考试成绩作为反馈，调整学习常识的侧重点。
以下展现了 2 个输出和 2 个输入的神经网络：
前向流传 对应的输入为 $y_1$ 和 $y_2$，换成矩阵示意为
以上 $W$ 矩阵每行数乘以 $X$ 矩阵每列数是矩阵乘法，也称为点乘（dot product）或内积（inner product)。
持续减少一层暗藏层，如下图所示，并采纳矩阵乘法示意输入后果，能够看到一系列线性的矩阵乘法，其实还是求解 4 个权重值，这个成果跟单层暗藏层的成果一样：
大多数真实世界的数据是非线性的，咱们心愿神经元学习这些非线性示意，能够通过激活函数将非线性引入神经元。例如爬山例子中的阈值，激活函数 ReLU（Rectified Linear Activation Function）采纳阈值 0，输出大于 0，输入为输出值，小于 0 输入值为 0，公式示意为 $F (z) = max (0,z)$，ReLU 的图像如下所示。
退出激活函数的神经网络如下图所示：
再以爬山为例，输入值 $y_1=5$ 示意去爬山，$y_2=1$ 示意不去爬山，在生活中会用概率表述爬山的可能性，这里通过 SoftMax 函数标准输入值，公式如下。
$$SoftMax(y_{i})=\frac{e^{y_{i}}}{\sum_{c = 1}^{C}{e^{y_{c}}}}$$
输入值 $y_1=5$ 和 $y_2=1$ 的计算过程如下，能够看到爬山的概率是 98%：
退出 SoftMax 函数的神经网络如下图所示：
取得神经网络的输入值 (0.98, 0.02) 之后，与实在值 (1, 0) 比拟，十分靠近，依然须要与实在值比拟，计算差距（也称误差，用 $e$ 示意），就跟摸底考试一样，查看学习的把握水平，同样神经网络也要学习，让输入后果有限靠近实在值，也就须要调整权重值，这里就须要反向流传了。
在 反向流传 过程中须要根据误差值来调整权重值，能够看成参数优化过程，简要过程是，先初始化权重值，再减少或缩小权重值，查看误差是否最小，变小持续上一步雷同操作，变大则上一步相同操作，调整权重后查看误差值，直至误差值变小且浮动不大。
当初以简略的函数 $y =(x-1)^2 + 1$ 为例，$y$ 示意误差，咱们心愿找到 $x$，最小化 $y$，函数展现如下。红色点是随机的初始点类比权重值的初始化，右边是当 $x$ 增大时，误差是减小；左边是当 $x$ 减小时，误差是减小。如何找到误差降落的方向成为了要害。
斜率的大小表明变动的速率，意思是当斜率比拟大的状况下，权重 $x$ 变动所引起的后果变动也大。把这个概念引入求最小化的问题上，以权重导数乘以一个系数作为权重更新的数值，这个系数咱们叫它学习率(learning rate)，这个系数能在肯定水平上控制权重自我更新，权重扭转的方向与梯度方向相同，如下图所示，权重的更新公式是 $W_{new} = W_{odd}- 学习率 * 导数 $。
因为误差是指标训练值与理论输入值之间的差值，即 $ 损失函数 =(目标值 - 理论值)^2$，示意为 $(w \times x – y_{true})^2$，导数为:
$$(w*x-y)^{‘}=2w*x^{2}-2x*y=2x(y-y_{true})$$
通过重复迭代，让损失函数值有限靠近 0，浮动不大时，取得适合的权重，即神经网络训练好了。
本文用活泼形象语言的介绍了神经网络的根本构造及数学原理，为了不便大家了解，本文的参数围绕着 $W$，后续持续深刻学习，若遇到其余参数，如 $b$，不必感到生疏，解决思路跟 $W$ 相似。
好了，祝大家有所提高！
参考文献
- https://purnasaigudikandula.m…
- https://www.explainthatstuff….
- https://shenshutao.github.io/…
- Python 神经网络编程
本文由 mdnice 多平台公布