关于神经网络:神经网络优化器

神经网络的目标是寻找适合的参数，使得损失函数的值尽可能小。解决这个问题的过程称为最优化。解决这个问题应用的算法叫做优化器。

1、BGD、SGD、MSGD

BGD：最原始梯度降落算法，计算需应用整个数据集的损失（慢）
SGD：每次选取一个 batch 数据，每个数据点的 loss 都会对模型进行更新（震荡，易受噪声影响）
MSGD：计算一批样本的均匀来更新，个别为这种。

别离针对学习率和各个参数设置更新策略。

动量法：静止大小跟过来状态相干。（优化梯度更新方向）

牛顿法：先用以后速度更新模型，在用更新的长期模型对参数动量进行改正。

自适应法：对每个参数设置不同的学习率。