神经网络的目标是寻找适合的参数，使得损失函数的值尽可能小。解决这个问题的过程称为最优化。解决这个问题应用的算法叫做优化器。
1、BGD、SGD、MSGD
BGD：最原始梯度降落算法，计算需应用整个数据集的损失（慢）
SGD：每次选取一个 batch 数据，每个数据点的 loss 都会对模型进行更新（震荡，易受噪声影响）
MSGD：计算一批样本的均匀来更新，个别为这种。
别离针对学习率和各个参数设置更新策略。
动量法：静止大小跟过来状态相干。（优化梯度更新方向）
牛顿法：先用以后速度更新模型，在用更新的长期模型对参数动量进行改正。