神经网络，是模仿生物神经网络进行信息处理的一种数学模型。它以对大脑的生理研究成果为根底，其目标在于模仿大脑的某些机理与机制，实现一些特定的性能。神经网络是目前最火的钻研方向深度学习的根底，本文将神经网络分成三个次要类别，并具体介绍了每个类别的次要神经网络模型，读完本文你将能迅速把握罕用的经典神经网络模型，属于深度学习的根底入门篇。
一般来说，神经网络能够分为三种次要类型：前馈神经网络、反馈神经网络和图神经网络。上面咱们将别离开展介绍。
1. 前馈神经网络
前馈神经⽹络（feedforward neural network）是⼀种简略的神经⽹络，也被称为多层感知机（multi-layer perceptron，简称 MLP），其中不同的神经元属于不同的层，由输⼊层 - 暗藏层 - 输入层形成，信号从输⼊层往输入层单向传递，两头无反馈，其目标是为了拟合某个函数，由⼀个有向无环图示意，如下：
前馈神经网络结构图
前馈神经⽹络中蕴含激活函数（sigmoid 函数、tanh 函数等）、损失函数（均⽅差损失函数、穿插熵损失函数等）、优化算法（BP 算法）等。常⽤的模型构造有：感知机、BP 神经⽹络、全连贯神经⽹络、卷积神经⽹络、RBF 神经⽹络等。
感知机
感知器，也可翻译为感知机，是 Frank Rosenblatt 在 1957 年就任于 Cornell 航空实验室 (Cornell Aeronautical Laboratory) 时所创造的一种人工神经网络。它能够被视为一种最简略模式的前馈式人工神经网络，是一种二元线性分类器。
感知机的次要特点是构造简略，对所能解决的问题存在着收敛算法，并能从数学上严格证实，从而对神经网络钻研起了重要的推动作用。
BP 神经网络
BP(back propagation)神经网络是 1986 年由 Rumelhart 和 McClelland 为首的科学家提出的概念，是一种依照误差逆向流传算法训练的多层前馈神经网络，是利用最宽泛的神经网络模型之一。
BP 算法的根本思维是：学习过程由信号的正向流传和误差的反向流传两个过程组成。
正向流传时，把样本的特色从输出层进行输出，信号通过各个暗藏层的解决后，最初从输入层传出。对于网络的理论的输入与冀望输入之间的误差，把误差信号从最初一层逐层反传，从而取得各个层的误差学习信号，而后再依据误差学习信号来修改各层神经元的权值。
全连贯神经网络
全连贯神经网络是一种多层的感知机构造。每一层的每一个节点都与上上层节点全副连贯，这就是”全连贯“的由来。整个全连贯神经网络分为输出层，暗藏层和输入层，其中暗藏层能够更好的拆散数据的特色，然而过多的暗藏层会导致过拟合问题。
卷积神经网络（Convolutional Neural Networks, CNN）是一类蕴含卷积运算且具备深度构造的前馈神经网络（Feedforward Neural Networks）。相比晚期的 BP 神经网络，卷积神经网络最重要的个性在于“部分感知”与“参数共享”。整体架构：输出层——卷积层——池化层——全连贯层——输入层
卷积神经网络结构图
输出层：以图片为例，输出的是一个三维像素矩阵，长和宽示意图像的像素大小，深度示意色调通道（黑白为 1，RGB 黑白为 3）。
卷积层：卷积层也是一个三维矩阵，它的每个节点（单位节点矩阵）都是上一层的一小块节点（子节点矩阵）加权得来，一小块的尺寸个别取 3 3 或 5 5。此层的作用是对每一小快节点进行深入分析，从而提取图片更高的特色。
池化层：池化层不会扭转三维矩阵的深度，其作用是放大矩阵，从而缩小网络的参数。全连贯层：跟全连贯神经网络作用一样。
Softmax 层：失去以后样例属于不同品种的概率分布，并实现分类。
卷积神经网络（CNN）具备一些传统技术所没有的长处：
（1）良好的容错能力、并行处理能力和自学习能力，可解决环境信息简单，背景常识不分明，推理规定不明确状况下的问题；
（2）它容许样本有较大的缺损、畸变，运行速度快，自适应性能好，具备较高的分辨率；
（3）它是通过构造重组和缩小权值将特色抽取性能交融进多层感知器，省略辨认前简单的图像特色抽取过程。RBF 神经网络径向神经网络（RBF：Radial basis function）是一种以径向基核函数作为激活函数的前馈神经网络。RBF 神经⽹络是一种三层神经网络，其包含输出层、隐层、输入层。从输出空间到隐层空间的变换是非线性的，而从隐层空间到输入层空间变换是线性的。流图如下：
2. 反馈神经网络
反馈神经网络（feedback neural network）的输入不仅与以后输出以及网络权重无关，还和网络之前的输出无关。它是一个有向循环图或是无向图，具备很强的联想记忆能力和优化计算能力。
常⽤的模型构造有：RNN、Hopfield ⽹络、受限玻尔兹曼机、LSTM 等。
反馈神经网络结构图
循环神经网络
循环神经网络（recurrent neural network，简称 RNN）源自于 1982 年由 Saratha Sathasivam 提出的霍普菲尔德网络，是指在全连贯神经网络的根底上减少了前后时序上的关系，能够更好地解决比方机器翻译等的与时序相干的问题。
RNN 神经网络的构造如下：
循环神经网络的结构图
RNN 之所以称为循环神经网络，即一个序列以后的输入与后面的输入也无关。具体的表现形式为网络会对后面的信息进行记忆并利用于以后输入的计算中，即暗藏层之间的节点不再无连贯而是有连贯的，并且暗藏层的输出不仅包含输出层的输入还包含上一时刻暗藏层的输入。
RNN 用于解决训练样本输出是间断的序列, 且序列的长短不一的问题，比方基于工夫序列的问题。根底的神经网络只在层与层之间建设了权连贯，RNN 最大的不同之处就是在层之间的神经元之间也建设的权连贯。
Hopfield ⽹络
Hopfield 神经网络是一种单层相互全连贯的反馈型神经网络。每个神经元既是输出也是输入，网络中的每一个神经元都将本人的输入通过连贯权传送给所有其它神经元，同时又都接管所有其它神经元传递过去的信息。即：网络中的神经元在 t 时刻的输入状态实际上间接地与本人 t - 1 时刻的输入状态无关。神经元之间互连贯，所以失去的权重矩阵将是对称矩阵。
受限玻尔兹曼机
玻尔兹曼机是一大类的神经网络模型，然而在理论利用中应用最多的则是受限玻尔兹曼机（RBM）。受限玻尔兹曼机（RBM）是一个随机神经网络（即当网络的神经元节点被激活时会有随机行为，随机取值）。它蕴含一层可视层和一层暗藏层。在同一层的神经元之间是互相独立的，而在不同的网络层之间的神经元是相互连接的（双向连贯）。在网络进行训练以及应用时信息会在两个方向上流动，而且两个方向上的权值是雷同的。然而偏置值是不同的（偏置值的个数是和神经元的个数雷同的）。
受限玻尔兹曼机的构造如下：
LSTM
长短期记忆网络 LSTM（long short-term memory）是 RNN 的一种变体，其外围概念在于细胞状态以及“门”构造。细胞状态相当于信息传输的门路，让信息能在序列连中传递上来。你能够将其看作网络的“记忆”。实践上讲，细胞状态可能将序列处理过程中的相干信息始终传递上来。因而，即便是较早工夫步长的信息也能携带到较后工夫步长的细胞中来，这克服了短时记忆的影响。信息的增加和移除咱们通过“门”构造来实现，“门”构造在训练过程中会去学习该保留或忘记哪些信息。
3. 图神经网络
图（graph）是⼀种在拓扑空间内按图构造组织来关系推理的函数汇合，包含社交⽹络、常识图谱、分⼦图神经⽹络等。
图构造示例
图神经网络就是将图数据和神经网络进行联合，在图数据下面进行端对端的计算。图神经网络间接在图上进行计算，整个计算的过程，沿着图的构造进行，这样解决的益处是可能很好的保留图的构造信息。
图神经网络通常有以下几种网络模型：图卷积网络、图自编码器、图生成网络、图时空网络、图注意力网络。
图卷积网络（Graph Convolutional Networks, GCN）
由传统的卷积神经网络引申出的图卷积网络，图卷积办法可分为两种，基于频谱的办法和基于空间的办法。
基于频谱的办法，从图信号处理的角度，引入滤波器来定义图卷积，因而基于频谱的图卷积可了解为从图信号中去除噪声。
基于空间的图卷积办法，通过会集街坊节点的信息来构建图卷积。当图卷积在节点级运作时，能够将图池化模块和图卷积进行交织叠加，从而将图粗化为高级的子图。
图卷积的卷积操作有三步：
1、每个节点将本身的特色信息传递给街坊节点
2、每个节点将街坊节点及本身的特色信息进行会集，对部分构造进行进行交融
3、与传统的深度学习中的激活函数相似，在图卷积咱们同样要退出激活函数，对节点的信息做非线性变换，加强模型的表达能力
图卷积网络的要害是学习到一个函数，将以后节点的特色信息与其街坊节点的特色信息进行会集。
图自编码器
基于自编码器的 GNN 被称为图自编码器（Graph Auto-encoder，GAE）,GAE 是无监督学习框架，它将节点 / 图编码到潜在向量空间并从编码信息中重建图数据。GAE 用于学习网络嵌入和图形生成散布。对于网络嵌入，GAE 通过重构图构造信息（例如图邻接矩阵）来学习潜在节点示意。对于图的生成，一些办法逐渐生成图的节点和边，而另一些办法一次全副输入图。
图生成网络
图 生 成 网 络（Graph Generative Network，GGN）是一类用来生成图数据的 GNN，其应用肯定的规定对节点和边进行重新组合，最终生成具备特定属性和要求的指标图。
图生成网络的指标是基于一组可察看图来生成图。其中的很多办法都是畛域特定的。例如，在分子图生成方面，一些钻研将分子图的表征建模为字符串。在自然语言解决中，生成语义图或常识图通常须要一个给定的句子。最近，钻研人员又提出了一些通用办法，次要有两个方向: 其一是将生成过程看成节点或边的造成，而另一些则应用生成反抗训练。该畛域的办法次要应用图卷积神经网络作为结构块。
图时空网络
时空网络图有区别于其余品种的图数据，在该图数据中，图不仅由 V、E、A 组成，减少了一个 X 属性，示意的是图在工夫维度上的属性变动。
指标是从时空图中学习到不可见的一些模式，这在交通预测、人类的流动预测中变得越来越重要。比方，在道路交通网络就是一种时空图，图的数据在工夫维度上是间断的，用图时空网络构建道路交通预测模型，咱们就能够更加精确地预测出交通网络中的交通状态。
图时空网络的关键在于思考同一时间下的空间与事物的关联关系。许多当初的办法应用 GCN 联合 CNN 或者 RNN 对这种依赖关系进行建模。
图注意力网络
注意力机制能够让一个神经网络只关注工作学习所须要的信息，它可能抉择特定的输出。在 GNN 中引入注意力机制能够让神经网络关注对工作更加相干的节点和边，晋升训练的有效性和测试的精度，由此造成图注意力网络（Graph Attention Network，GAT）。
神经网络模型优化
深度学习模型优化用于各种场景，包含视频剖析和计算机视觉。因为大多数这些计算密集型剖析都是实时实现的，因而以下指标至关重要：
1. 更快的性能
2. 缩小计算要求
3. 优化空间应用
例如，OpenVINO 借助以下工具提供神经网络的无缝优化：
模型优化器——将模型从多个框架转换为两头示意（IR）；而后能够应用 OpenVINO Runtime 实现这些操作。OpenVINO 运行时插件是软件组件，蕴含在 CPU、GPU 和 VPU 等硬件上进行推理的残缺实现。
训练后优化工具包 (POT) – 通过 DefaultQuantization 和 AccuracyAwareQuantization 算法利用训练后主动模型量化，放慢 IR 模型的推理速度。
神经网络压缩框架 (NNCF) – 与 PyTorch 和 TensorFlow 集成，通过剪枝来量化和压缩模型。罕用的压缩算法有 8 位量化、滤波器剪枝、稠密、混合精度量化和二值化。
神经网络是所有 AI 算法的外围，目前神经网络在模式识别、自动控制、信号处理、辅助决策、人工智能等泛滥钻研畛域都获得了宽泛的利用，将来的倒退空间还将更加广大。