神经网络的目标是寻找适合的参数，使得损失函数的值尽可能小。解决这个问题的过程称为最优化。解决这个问题应用的算法叫做优化器。
1、 BGD、SGD、MSGD
BGD：最原始梯度降落算法，计算需应用整个数据集的损失（慢）
SGD：每次选取一个batch数据，每个数据点的loss都会对模型进行更新（震荡，易受噪声影响）
MSGD：计算一批样本的均匀来更新，个别为这种。
别离针对学习率和各个参数设置更新策略。
神经网络的目标是寻找适合的参数，使得损失函数的值尽可能小。解决这个问题的过程称为最优化。解决这个问题应用的算法叫做优化器。
BGD：最原始梯度降落算法，计算需应用整个数据集的损失（慢）
SGD：每次选取一个batch数据，每个数据点的loss都会对模型进行更新（震荡，易受噪声影响）
MSGD：计算一批样本的均匀来更新，个别为这种。
别离针对学习率和各个参数设置更新策略。