1.Adam算法(自适应矩阵预计)
比梯度降落更快的训练神经网络，算法主动的抉择适合的学习率，模型并不是应用同一个学习率α，模型的每个参数都会用不同的学习率,如下图所示：有11个不同的学习率
Adam算法的工作图例：
(1).如果一个参数wj或b，在大致相同的方向上挪动，这是咱们在前一张幻灯片上看到的第一个例子，但如果它持续沿着大致相同的方向静止，让咱们进步这个参数的学习率，咱们往那个方向快一点。
(2).相同，如果一个参数来来回振荡，那咱们就不要让它始终来回摆动，让咱们把学习率αj的值变的小一点
(3).代码实现
留神察看下面的代码，比原来的代码多了
这一行的意思是采纳Adam算法优化，并且设置了一个默认的学习率10的-3次方
发表回复