关于深度学习:RNN和LSTM的理解

第一章 绪论

1.1 why RNN?

工夫序列数据 — 自然语言作为前向反馈网络的全连贯神经网络和卷积神经网络，不能很好的思考到工夫序列数据之间的序列关系，然而 RNN 能够！

1.2 what is RNN?

单看一个神经元

全局看

1.3 RNN 的局限

RNN 神经网络在神经网络参数更新的时候容易呈现梯度隐没或者梯度爆炸的状况

第二章 LSTM 神经网络

2.1 why is LSTM?

1. LSTM 神经网络绝对 RNN 神经网络来说有更好的长时间序列的学习能力
2. LSTM 神经网络绝对 RNN 只是神经网络单元中多了一些管制门的计算
3. LSTM 神经网络的准则是：因记忆能力无限，记住重要的，遗记无关紧要的
4. LSTM 领有三种类型的门构造：忘记门、输出门和输入门

2.2 what is LSTM?

第三章 总结
从模型的角度来说，RNN 神经网络和 LSTM 神经网络的最大区别就是 LSTM 神经网络多了几个门单元和一个传送带来管制学习到的工夫序列信息的重要性，从而对有用信息进行保留，无用的信息进行去除的目标，同时 LSTM 神经网络也从肯定水平上缓解了 RNN 神经网络的梯度隐没问题。然而 RNN 神经网络还是根底，从模型的运行角度来说，RNN 神经网络和 LSTM 神经网络的运行是简直截然不同的，因而必要在学习搞懂 RNN 神经网络的根底下来学习 LSTM 神经网络。

参考链接