1.Adam 算法 (自适应矩阵预计)
比梯度降落更快的训练神经网络，算法主动的抉择适合的学习率，模型并不是应用同一个学习率 α，模型的每个参数都会用不同的学习率, 如下图所示：有 11 个不同的学习率
Adam 算法的工作图例：
(1). 如果一个参数 wj 或 b，在大致相同的方向上挪动，这是咱们在前一张幻灯片上看到的第一个例子，但如果它持续沿着大致相同的方向静止，让咱们进步这个参数的学习率，咱们往那个方向快一点。
(2). 相同，如果一个参数来来回振荡，那咱们就不要让它始终来回摆动，让咱们把学习率 αj 的值变的小一点
(3). 代码实现
留神察看下面的代码，比原来的代码多了
这一行的意思是采纳 Adam 算法优化，并且设置了一个默认的学习率 10 的 - 3 次方