共计 2901 个字符，预计需要花费 8 分钟才能阅读完成。
嗨咯！a ni o~！空妮七挖！大家好久不见呀~ 明天小 Mi 持续给大家解说正则化！
目前深度模型在各种简单的工作中诚然体现非常优良，然而其架构的学习要求大量数据，对计算能力的要求很高。神经元和参数之间的大量连贯须要通过梯度降落及其变体以迭代的形式一直调整。向全局最小值的收敛过程较慢，容易掉入部分极小值的陷阱导致预测后果不好而产生测试数据过拟合等景象。
因而深度学习中的正则化与优化策略始终是十分重要的局部，它们很大水平上决定了模型的泛化与收敛等性能。
原理
训练学习模型的目标不仅仅是能够形容已有的数据，而且是对未知的新数据也能够做出较好的揣测，这种推广到新数据的能力称作泛化 (generalization)。在训练集上的误差为训练误差(training error)，而在新的数据上的误差的冀望称为泛化误差(generalization error) 或测试误差(test error)。通常咱们用测试集上的数据对模型进行测试，将其后果近似为泛化误差。
训练集和测试集是由某种数据生成散布产生的，通常咱们假如其满足独立同散布(independent and identically distributed, 简称 i.i.d)，即每个数据是互相独立的，而训练集和测试集是又从同一个概率分布中取样进去的。
假如参数固定，那么训练误差和测试误差就是一样的。但实际上，咱们通过采样训练集选取了一个仅优化训练集的参数，而后再对测试集采样，所以测试误差经常会大于训练误差。
因而学习模型次要须要解决两个问题：
1. 减小训练误差。
2. 减小训练误差和测试误差间的间距。
那么也就是说这两点别离对应着学习模型的欠拟合 (underfitting) 和过拟合 (overfitting) 这两个问题。
PS: 欠拟合指模型的训练误差过大，过拟合指训练误差和测试误差间距过大。
模型是欠拟合还是过拟合是由模型的容量 (capacity) 决定的。低容量因为对训练集形容有余造成欠拟合，高容量因为记忆过多训练集信息而不肯定对于测试集实用导致过拟合。比方对于线性回归，它仅适宜数据都在一条直线左近的情景，容量较小，为进步容量，咱们能够引入屡次项，比方二次项，能够形容二次曲线，容量较一次多项式要高。对如下图的数据点，一次式容量偏小造成欠拟合，二次式容量适中拟合较好，而九次式容量偏大造成过拟合。
训练误差，测试误差和模型容量的关系能够由下图示意，在容量较小时咱们处在欠拟合区，训练误差和测试误差均较大，随着容量增大，训练误差会逐步减小，但测试误差与训练误差的间距也会逐步加大，当模型容量超过最适容量后，测试误差不降反增，进入过拟合区：
因而，管制模型的复杂度不是找到适合规模的模型（带有正确的参数个数），恰恰相反，咱们可能会发现，最好的拟合模型（从最小化泛化误差的意义上）是一个适当正则化的大型模型。
参数范数惩办
许多正则化办法通过对指标函数增加一个参数范数惩办，限度模型（如神经网络）的学习能力。将正则化后的指标函数记为：
其中是衡量范数惩办项和规范指标函数绝对奉献的超参数。将设为 0 示意没有正则化；越大，对应正则化惩办越大。
当咱们的训练算法最小化正则化后的指标函数时，它会升高原始指标对于训练数据的误差并同时减小参数的规模（或在某些掂量下参数子集的规模）。
参数正则化
最简略和最常见的参数范数惩办，即通常被称为权重衰减（weight decay）的参数范数惩办。这个正则化策略通过向指标函数增加一个正则项，使权重更加靠近 **。
为了简略起见，假设其中没有偏置参数，因而就是。
因而，指标函数为：
对应的梯度为：
应用单步梯度降落更新权重，即执行以下更新：
令为不含正则化的指标函数获得最小训练误差时的权重向量，即，并在的邻域对指标函数做二次近似。如果指标函数的确是二次的(如以均方误差拟合线性回归模型的状况)，则该近似是完满的。近似的如下：
其中 H 是 J 在处计算的 Hessian 矩阵。因为被定义为最优，即梯度隐没为 0，所以该二次近似中没有一阶项。同样地，因为是 J 的一个最长处，能够得出 H 是半正定的论断。
当获得最小时，其梯度为 0。
当初探讨最小化含有正则化的。应用变量示意此时的最长处:
当趋向于 0 时，正则化的解会趋势。那么当减少时会产生什么呢？
因为 H 是实对称的，所以能够将其合成为一个对角矩阵和一组特征向量的规范正交基 Q，并且有。
能够看到权重衰减的成果是沿着由 H 的特征向量所定义的轴缩放。
沿着 H 特征值较大的方向 (如)正则化的影响较小。而的重量将会膨胀到简直为零。
只有在显著减小指标函数方向上的参数会保留得绝对完整。在无助于指标函数减小的方向（对应 Hessian 矩阵较小的特征值）上扭转参数不会显著减少梯度。这种不重要方向对应的重量会在训练过程中因正则化而衰减掉。
目前为止，咱们探讨了权重衰减对优化一个形象通用的二次代价函数的影响。钻研线性回归，它的实在代价函数是二次的，因而咱们能够应用雷同的办法剖析。线性回归的代价函数是平方误差之和：
增加正则项后，指标函数变为
这将一般方程的解从
变为
咱们能够看到，正则化能让学习算法“感知”到具备较高方差的输出 x，因而与输入指标的协方差较小（绝对减少方差）的特色的权重将会膨胀。
参数正则化
权重衰减是权重衰减最常见的模式，咱们还能够应用其余的办法限度模型数的规模。比方应用参数正则化。
对模型参数的正则化被定义为：
因而，正则化的指标函数如下（不思考偏置参数）：
对应的梯度：
的正则化成果与大不一样。具体来说，正则化对梯度的影响不再是线性地缩放每个；而是增加了一项与同号的常数。应用这种模式的梯度之后，咱们不肯定能失去二次近似的间接算术解（正则化时能够）。
简略线性模型具备二次代价函数，咱们能够通过泰勒级数示意，梯度为：
将正则化指标函数的二次近似分解成对于参数的求和：
能够最小化近似代价函数：
思考所有且的情景，会有两种可能：
：正则化后指标中的最优值是。在方向上对的奉献受到克制，正则化项将推向 0。
：正则化不会将的最优值推向 0，而仅仅在那个方向上挪动的间隔。
的状况相似，然而惩办项使更靠近 0 或者为 0。
相比正则化，正则化会产生更稠密的解（稠密性：最优值中的一些参数为 0）。正则化和正则化的稠密性具备实质的不同。如果应用 Hessian 矩阵 H 为对角正定矩阵的假如，咱们发现。如果不是零，那么也会放弃非零。因而正则化不会使参数变得稠密，而正则化有可能通过足够大的实现稠密。
所以，目前正则化导出的稠密性质曾经被宽泛地用于特征选择（feature selection）机制——从可用的特色子集抉择出有意义的特色，化简问题。
总结
总体来说，参数范数惩办正则化能让深度学习算法“感知”到具备较高方差的输出，因而与输入指标的协方差较小（绝对减少方差）的特色权重将会膨胀。而正则化会因为在方向上对的奉献被对消而使的值变为 0。此外，参数的范数正则化也能够作为约束条件。对于范数来说，权重会被束缚在一个范数的球体中，而对于范数，权重将被限度在所确定的范畴内。
EMMM，深度学习的确有点难度啦，不然怎么叫深度学习呢，小 Mi 也本人学习了良久，咱们一起加油呀！可不能大功告成哦~ 下周给大家介绍别的优化策略，敬请期待哦~