共计 2149 个字符，预计需要花费 6 分钟才能阅读完成。
批大小是机器学习中重要的超参数之一。这个超参数定义了在更新外部模型参数之前要解决的样本数量。
上图为应用 SGD 测试不同批量大小的示例。
批量大小能够决定许多基于深度学习的神经网络的性能。有很多钻研都在为学习过程评估最佳批量大小。例如，对于 SGD 能够应用批量梯度降落（应用批量中的所有训练样本）或小批量（应用一部分训练数据），甚至在每个样本后更新（随机梯度降落）。这些不同的解决形式能够扭转模型训练的的成果。
准确性并不是咱们关怀的惟一性能指标。模型的泛化能力可能更加重要。因为如果咱们的模型在看不见的数据上体现不佳它就毫无用处。应用更大的批量会导致更差的网络泛化。论文“ON LARGE-BATCH TRAINING FOR DEEP LEARNING: GENERALIZATION GAP AND SHARP MINIMA”的作者试图考察这种景象并找出为什么会产生这种状况。他们的发现很乏味，所以我将在本文中进行具体介绍。理解这一点将可能为本人的神经网络和训练形式做出更好的决策。
了解论文的假如
要了解任何论文，首先要理解作者试图证实的内容。作者宣称他们发现了为什么大批量会导致更差的泛化。他们“提供了反对大批量办法趋向于收敛到训练和测试函数的 sharp minima（尖利的最小值）的观点的数值证据——家喻户晓，sharp minima 会导致较差的泛化。而小批量办法始终收敛到 flat minima（平坦的最小值），论文的试验反对一个广泛持有的观点，即这是因为梯度预计中的固有噪声造成的。”咱们将在本篇文章中做更多的阐明，所以让咱们一步一步来。下图描述了尖利最小值和平坦最小值之间的差别。
对于尖利的最小值，X 的绝对较小的变动会导致损失的较大变动
一旦你了解了这个区别，让咱们了解作者验证的两个（相干的）次要主张：
- 应用大批量将使训练过程有十分尖利的损失状况。而这种尖利的损失将升高网络的泛化能力。
- 较小的批量创立更平坦的损失图像。这是因为梯度预计中的噪声造成的。
作者在论文中强调了这一点，申明如下：
咱们当初将查看他们提供的证据。他们设置试验的一些办法很乏味，会教会咱们很多对于设置试验的常识。
定义锐度
锐度是一个易于把握和可视化的直观概念。然而它也存在有一些问题。例如机器学习对高维数据进行计算 / 可视化可能很费资源和工夫。作者也提到了这一点，所以他们应用更简略的启发式办法：通过相邻点来进行锐度的查看，该函数的最大值就能够用于灵敏度的计算。
论文原文中说到：
咱们采纳了一种敏感性度量，尽管不完满，但在计算上是可行的，即便对于大型网络也是如此。它基于摸索解决方案的一个小邻域并计算函数 f 在该邻域中能够达到的最大值。咱们应用该值来测量给定部分最小值处训练函数的灵敏度。因为最大化过程是不精确的，并且为了防止被仅在 Rn 的微小子空间中取得较大 f 值的状况所误导，咱们在整个空间 Rn 以及随机流形中都执行了最大化
须要留神的是，作者将肯定水平的穿插验证集成到程序中。尽管从解决方案空间中获取多个样本仿佛过于简略，但这是一种十分弱小的办法并且实用于大多数状况。如果你对他们计算的公式感兴趣，它看起来像这样
查看相干的证实
咱们理解了作者提出的根本术语 / 定义，让咱们看看提出的一些证据。本篇文章中无奈分享论文 / 附录中的所有内容，所以如果你对所有细节感兴趣能够浏览论文的原文。
在下面的图中能够看到穿插熵损失与锐度的关系图。从图中能够看到，当向右挪动时损失实际上越来越小。那么这个图表是什么意思呢？随着模型的成熟（损失缩小），Large Batch 模型的清晰度会减少。用作者的话来说，“对于在初始点左近的较大的损失函数值，小批次 和 大批次 办法产生类似的锐度值。随着损失函数的减小，与 大批次 办法绝对应的迭代的锐度迅速减少，而对于 小批次 办法锐度最后放弃绝对恒定而后升高，这表明在摸索阶段之后会收敛到平坦的最小化器。”
作者还有其余几个试验来展现后果。除了在不同类型的网络上进行测试外，他们还在小批量和大批量网络上应用了热启动。后果也与咱们所看到的十分统一。
我在论文中发现的一个乏味的观点是，当他们证实了这种较低的泛化与应用较少量大小时的模型过拟合或适度训练无关时。很容易假如过拟合是低泛化的起因（个别状况下咱们都这么了解），但作者拥护这一点。要理解他们的论点，请查看此表
小批量训练通常具备更好的训练性能。即便在咱们应用小批量训练的训练精度较低的网络中，咱们也留神到会有更高的训练精度。作者以下原文能够作为重点，“咱们强调，泛化差距不是因为统计中常见的过拟合或适度训练造成的。这种景象以测试准确度曲线的模式体现进去，该曲线在某个迭代峰值处，而后因为模型学习训练数据的个性而衰减。这不是咱们在试验中察看到的。F2 和 C1 网络的训练 - 测试曲线见图 2，它们是其余网络的代表。因而，旨在避免模型过拟合的早停的启发式办法并不可能放大泛化差距。”
看看网络收敛到测试精度的速度有多快
简而言之，如果这是适度拟合的状况，将不会看到 大批次 办法的性能始终较低。相同通过更早的进行，咱们将防止过拟合并且性能会更靠近。这不是咱们察看到的。咱们的学习曲线描述了一幅截然不同的体现。
最初论文的地址如下，有趣味的能够自行浏览：
https://arxiv.org/abs/1609.04836
作者:Devansh
