共计 3972 个字符，预计需要花费 10 分钟才能阅读完成。
小 Mi 学习，向上踊跃！上周小 Mi 简略给大家介绍了神经网络的模型表示，明天小 Mi 将进一步率领大家对神经网络进行进一步的深刻了解，话不多说，一起学起来吧~
5 特色和直观了解 a
从实质上讲，神经网络可能通过学习得出其本身的一系列特色。在一般的逻辑回归中，咱们被限度为应用数据中的原始特色，咱们尽管能够应用一些二项式项来组合这些特色，然而咱们依然受到这些原始特色的限度。在神经网络中，原始特色只是输出层，在咱们之前提到的三层神经网络例子中，第三层也就是输入层做出的预测利用的是第二层的特色，而非输出层中的原始特色，咱们能够认为第二层中的特色是神经网络通过学习后本人得出的一系列用于预测输入变量的新特色。
神经网络中，单层神经元（无中间层）的计算可用来示意逻辑运算，比方逻辑与 (AND)、逻辑或(OR) 等等。
首先，上个例子！左图中假如有两个和输出特色，它们都是二进制的，所以和只可能是 0 或 1。在该图中，咱们只画了两个正样本和两个负样本，其实这是右图简单机器学习问题简化了的问题。通常理论状况下咱们须要钻研的是如右图中在右上方和左下方有许多个正样本，还有许多用圆圈示意的负样本，须要做的就是学习一个非线性的判断边界来辨别这些正样本和负样本，那么神经网络要如何做到这点呢？比起左边这个简单的例子，咱们能够先钻研右边的例子，这样更容易简单明了地阐明问题。
示意当这两个值恰好只有一个等于 1 时，这个式子为真，或者。在这个例子中，如果咱们用 XNOR 的话，后果会好一些，和这两个式子都一样，只不过 XNOR 是 XOR 的后果取反而已，也就是当这些正样本同时为真或同时为假时，y 的值才为 1，如果 y =0，那么它们有且仅有一个为真，那么咱们能不能构建一个神经网络来拟合这样的训练集呢？为了建设可能拟合 XNOR 运算的神经网络，咱们先从一个比较简单的可能拟合 AND 运算的网络动手。
具体来说，假如有两个二进制的输出和，只能取 1 或 0，当初指标函数为。AND 的意思是逻辑与怎么来失去只含单个神经元的网络，来计算这个 AND 函数呢？为此，要在这里加一个偏置单元，也称为 + 1 单元。当初，我对神经网络中的权重或者说参数进行赋值，将这些值都写在图上，这就意味着将 -30 赋值给的系数。对应图中的 + 1 单元，两头的 +20 对应的系数，下边的 +20 对应的系数，这就意味着我的假如模型为。在神经网络的图中，标出这些权重或者说参数会不便后续的工作。这个 -30 其实就是，20 示意，第二个 20 则示意，把这些值都想成是网络边界中链接这些参数的权值，会更容易了解一些。来看看这个小小的神经元是如何进行计算的，首先来回顾一下，S 型激活函数 g（z）的图像，从 0 开始，平滑回升，通过 0.5，之后逐步迫近 1，举个具体的坐标参照点，如果横轴 z 的值为 4.6，那么 S 型函数的值就等于 0.99，这曾经是一个十分靠近于 1 的值，因为函数的对称性，当 z 为 -4.6 时，S 型函数的值将会等于 0.01，十分靠近 0。
试试和对应的 4 种输出组合，看看假如模型能失去什么后果，当和均为 0 时，代入计算，那么假如模型会是，这是在函数途中十分靠左的中央，所以十分靠近 0。如果，将值代入，能够得出后果为，同样也十分靠近 0，同样，其余的带入能够失去别离为和，别离十分靠近 0 和十分靠近 1。如果察看后果，会发现的确是逻辑与的计算结果。计算近似等于，换句话说，当且仅当和都等于 1 时，输入为 1。通过这张真值表，咱们就能弄清楚，神经网络所计算的逻辑函数的取值是这样的：
而上图中的神经网络小 Mi 猜想能够实现或运算函数的性能，那么小 Mi 是如何得出结论的呢？如果将假如模型写进去，会发现，并把所有的数值都带入求出后果，会发现它确实实现了逻辑或函数的性能。这么一看其实实质上来说 OR 与 AND 整体一样，区别只在于的取值不同。心愿这些例子能让大家明确神经网络中的单个神经元是如何被用来计算逻辑函数的，比方 AND 函数，OR 函数等等的。上面小 Mi 会带着大家在这些例子的根底上，解说一个更为简单的例子，学习一个领有多层神经元的神经网络是如何被用来计算更简单的函数的，比方 XOR 函数、XNOR 函数等等。
6 样本和直观了解 b
在上一节中，咱们曾经学习了神经网络是如何被用来计算函数以及函数的，其中和都是二进制数，也就是说它们的值只能取 0 或 1，而神经网络如何进行逻辑非运算，即计算函数也是同理。
把网络中的连贯形式都写进去，能够发现这个网络中只有一个输出特色，还有一个偏置单元 +1，当初用权重也就是 +10 和 -20 把这些单元连接起来，那么假如模型就是计算的大小，过后，假如函数的后果为，近似于 1；过后，假如函数的后果则为，近似于 0。察看咱们失去的后果，你能够发现它的确实现了函数的运算。若要实现逻辑非运算，大体思维就是在预期失去后果的变量后面，放一个很大的负权重，比如说，这就是对做逻辑非运算的次要思路。另外还有一个例子能够大家一起思考下，如何计算。有一点小 Mi 能够必定是的，应该在和后面放一个较大的正数作为权值，不过还有一个很棒的办法！就是建设只有一个输入单元的神经网络来计算结果，逻辑等于 1 的条件是当且仅当和都为 0 时成立，那么当初大家是不是曾经明确了应该如何建设一个小规模的神经网络来计算这个逻辑函数呢？
当初咱们能够把这三块独自的局部组合到网络当中，第一局部是计算，第二局部是计算，第三局部则是，把这三局部组合在一起来计算。这里须要留神的是，须要一个非线性的决策边界来离开正样本和负样本。
首先取这三个输出单元 +1、和来建设第一个暗藏单元，因为是第一个暗藏单元，所以把它称为，把对应的权值也写上，别离是 -30，20，20。
接下来倡议第二个暗藏单元，称之为，示意第二层的第二个暗藏单元，并将其权值标出，别离是 10、-20、-20。
当初列出的这两个网络的真值表：
最初再建设一个输入节点，也就是输入单元，最终会输入，而后把上述计算 OR 的网络照搬下来，同时须要一个偏置单元 +1，权重别离是 -10，20，20。
咱们曾经晓得，它计算的是 OR 函数，从而最终的真值表也能够间接得出，能够看到，当和同时为 0 或同时为 1 时，就等于 1，与咱们实例中的图像数据相符。
20210713-190626(WeLinkPC).png
总结来说咱们用到的这个神经网络有一个输出层，一个暗藏层和一个输入层，最初会失去一个非线性的决策边界，用以计算 XNOR 函数。更艰深的解释是，咱们的输出都放在输出层，而后在两头放一个暗藏层，用来计算一些对于输出的稍微简单的性能，而后再持续减少一层用于计算一个更简单的非线性函数，这就是为什么神经网络能够计算这种简单的函数。当网络领有许多层时，在第二层中有一些对于输出的绝对简略的函数，第三层又在此基础上计算更加简单的方程，再往后一层，计算的函数越来越简单。
心愿大家当初能够对神经网络所学习的这些相当简单的函数有一个更加直观的了解啦。咱们所输出的图像，或者说原始的像素点，通过第一个暗藏层，计算出一系列特色，再通过下一个暗藏层计算出更加简单的特色，而后再往下更加简单，最初这些特色被用于逻辑回归分类器的最初一层来精确地预测出神经网络所看到的图像。按这种办法咱们能够逐步结构出越来越简单的函数，也能失去更加厉害的特征值。这就是神经网络的厉害之处！
7 多类分类
当然啦，神经网络还能够解决多类别分类问题，当咱们须要辨别不止两个分类时，例如常见的手写数字的辨认问题，就是一个多类别分类问题，因为有 10 种须要辨认的类别，即数字 0~9，这种状况的话咱们应该怎么办呢？
这其中具体实现的细节小 Mi 十分乐意跟大家一起剖析一下~
要在神经网络中实现多类别分类，采纳的办法实质上就是一对多法的裁减。假如有一个计算机视觉的例子，咱们不止须要辨认出图中的汽车（可能咱们初步只是辨认这一种类别），当初咱们须要辨认四个类别的对象，通过图像来分别出哪些是行人、汽车、摩托车或者货车。这样的话，咱们要做的就是建设一个有四个输入单元的神经网络，输出向量 x 有三个维度，两个中间层，输入层 4 个神经元别离用来示意四个分类，也就是说神经网络的输入将是一个四维向量，且 a，b，c，d 中仅有一个为 1，示意以后类。
用第一个输入单元来判断图中是否是一个行人，再用第二个输入单元来判断图片中是否是一辆汽车，用第三个输入单元来判断图中是否是一辆摩托车，最初用第四个输入单元来判断图中是否是一辆货车。而当图像中是一个行人时，现实状况下，这个网络会输入；当图中是一辆汽车时，咱们心愿输入；同样认为类推，摩托车对应的输入就是 …… 这其实就像一对多法，在之前学习逻辑回归的时后，小 Mi 也已经跟大家一起议论过这个问题，当初能够说咱们有 4 个逻辑回归分类器，它们每一个都将辨认图片中的物体是否是四种类别中的一种。
这时候须要留神的是，这种假如下的训练集的示意形式与之前有所不同，在这之前咱们已经用一个整数 y 作为输入的分类标签，其中 y 能够取 1，2，3，4，当初的话咱们不必 y 示意，而是用如下示意办法：
将会别离是，的值取决于对应的图像。一个训练样本将由一组组成，其中就是四种物体其中一种的图像，而就是上述向量中的一个。咱们心愿找到一个办法，让神经网络输入一些数值，输入值约等于，并且和在该例子中，它都是四维向量，别离代表四种不同的类别，这就是让神经网络解决多类别分类问题的办法，也是对如何构建假如模型来示意神经网络的补充。
当然啦，为了更加不便大家了解，还有一个网站小 Mi 真的极力推荐，大家能够戳戳手指点着看一看呀~
A Neural Network Playground
明天小 Mi 给大家解说了一个略微简单一点的神经网络，心愿大家能感触到神经网络的魅力之处呀，反正小 Mi 是真的越来越起劲儿！前面的话小 Mi 还将带大家学习如何构建我训练集，如何让神经网络主动学习这些参数等等，咱们，下期再见呦~（挥手十分钟！）