全文下载链接：http://tecdat.cn/?p=23544

最近咱们被客户要求撰写对于LSTM的钻研报告，包含一些图形和统计输入。

在本文中，长短期记忆网络——通常称为“LSTM”——是一种非凡的RNN递归神经网络，可能学习长期依赖关系

什么是依赖关系？

假如您在观看视频时记得前一个场景，或者在浏览一本书时您晓得前一章产生了什么。

传统的神经网络无奈做到这一点，这是一个次要毛病。例如，假如您想对电影中每一点产生的事件进行分类。目前尚不分明传统的神经网络如何利用电影中先前事件来推理起初的事件。

递归神经网络解决了这个问题。它们是带有循环的网络，容许信息继续存在。循环神经网络有循环。

在上图中，一大块神经网络，查看一些输出x并输入一个值h. 循环容许信息从网络的一个步骤传递到下一个步骤。

这些循环使循环神经网络看起来有点神秘。然而，如果你想得更多，就会发现它们与一般的神经网络并没有什么不同。循环神经网络能够被认为是同一网络的多个正本，每个正本都将消息传递给后继者。考虑一下如果咱们开展循环会产生什么：

这种链状性质表明循环神经网络与序列和列表密切相关。它们是用于此类数据的神经网络的天然架构。在过来的几年里，将 RNN 利用于各种问题获得了令人难以置信的胜利：语音辨认、语言建模、翻译、图像字幕……举不胜举。这些胜利的要害是应用“LSTM”，这是一种十分非凡的循环神经网络，简直所有基于循环神经网络的令人兴奋的后果都是用它们实现的。本文将探讨的正是这些 LSTM。

长期依赖问题

上面是一个对于如何应用循环神经网络（RNN）来拟合语言模型的例子。

RNN 的吸引力之一是它们可能可能将先前的信息与当前任务分割起来，例如应用先前的视频帧可能会告知对以后帧的了解。如果 RNN 能够做到这一点，它们将十分有用。但他们能够吗？

有时，咱们只须要查看最近的信息即可执行当前任务。例如，思考一个语言模型试图依据之前的单词预测下一个单词。如果咱们试图预测“云在天空”中的最初一个词，咱们不须要任何进一步的上下文——很显著下一个词将是天空。在这种状况下，相干信息与所需地位之间的差距很小，RNN 能够学习应用过来的信息。

但也有咱们须要更多上下文的状况。思考尝试预测文本“我在中国长大……我说纯粹的中文”中的最初一个词。最近的信息表明，下一个词可能是一种语言的名称，但如果咱们想放大哪种语言的范畴，咱们须要中国的上下文，从更远的中央。相干信息和须要的点之间的差距齐全有可能变得十分大。

随着差距的扩充，RNN 变得无奈学习连贯信息。

LSTM 网络

长短期记忆网络——通常称为“LSTM”——是一种非凡的 RNN，可能学习长期依赖关系。它们在解决各种各样的问题时表现出色，当初被宽泛应用。LSTM 被明确设计为防止长期依赖问题。长时间记住信息实际上是他们的默认行为，而不是他们难以学习的货色！

所有循环神经网络都具备神经网络的反复模块链的模式。在规范 RNN 中，此反复模块将具备非常简单的构造，例如单个 tanh 层。

LSTM 也有这种链状构造，但反复模块有不同的构造。不是只有一个神经网络层，而是三个局部组成，以一种十分非凡的形式进行交互。

LSTM 的工作形式十分相似于 RNN 单元。这是 LSTM 网络的外部性能。LSTM 由三个局部组成，如图所示，每个局部执行一个独自的性能。第一局部抉择来自前一个工夫戳的信息是被记住还是不相干并且能够被忘记。在第二局部中，单元尝试从该单元的输出中学习新信息。最初，在第三局部，单元将更新的信息从以后工夫戳传递到下一个工夫戳。LSTM 单元的这三个局部称为门。第一局部称为遗记门或忘记门，第二局部称为输出门，最初一部分称为输入门。

Python用LSTM长短期记忆神经网络对不稳固降雨量工夫序列进行预测剖析

每年的降雨量数据可能是相当不安稳的。与温度不同，温度通常在四季中体现出显著的趋势，而雨量作为一个工夫序列可能是相当不安稳的。冬季的降雨量与夏季的降雨量一样多是很常见的。

上面是某地区2020年11月降雨量数据 （ 查看文末理解数据获取形式 ） 的图解。

作为一个间断的神经网络，LSTM模型能够证实在解释工夫序列的波动性方面有劣势。

应用Ljung-Box测验，小于0.05的p值表明这个工夫序列中的残差体现出随机模式，表明有显著的波动性。

>>> sm.stats.acorr_ljungbox(res.resid, lags=[10])

Ljung-Box测验

Dickey-Fuller 测验

数据操作和模型配置

该数据集由722个月的降雨量数据组成。

抉择712个数据点用于训练和验证，即用于建设LSTM模型。而后，过来10个月的数据被用来作为测试数据，与LSTM模型的预测后果进行比拟。

上面是数据集的一个片段。

而后造成一个数据集矩阵，将工夫序列与过来的数值进行回归。

# 造成数据集矩阵    for i in range(len(df)-previous-1):        a = df[i:(i+previous), 0]        dataX.append(a)        dataY.append(df[i + previous, 0])

而后用MinMaxScaler对数据进行标准化解决。

将前一个参数设置为120，训练和验证数据集就建设起来了。作为参考，previous = 120阐明模型应用从t - 120到t - 1的过来值来预测工夫t的雨量值。

前一个参数的抉择要通过试验，但抉择120个时间段是为了确保辨认到工夫序列的波动性或极其值。

# 训练和验证数据的划分train_size = int(len(df) * 0.8)val_size = len(df) - train_sizetrain, val = df[0:train_size,:], df[train_size:len(df),:]# 后期的数量previous = 120

而后，输出被转换为样本、工夫步骤、特色的格局。

# 转换输出为[样本、工夫步骤、特色]。np.reshape(X_train, (shape[0], 1, shape[1]))

模型训练和预测

该模型在100个历时中进行训练，并指定了712个批次的大小（等于训练和验证集中的数据点数量）。

# 生成LSTM网络model = tf.keras.Sequential()# 列出历史中的所有数据print(history.history.keys())# 总结准确度变动plt.plot(history.history['loss'])

上面是训练集与验证集的模型损失的关系图。

预测与理论降雨量的关系图也被生成。

点击题目查阅往期内容

在Python中应用LSTM和PyTorch进行工夫序列预测

左右滑动查看更多

01

02

03

04

# 绘制所有预测图plt.plot(valpredPlot)

预测后果在均匀方向准确性（MDA）、均匀平方根误差（RMSE）和均匀预测误差（MFE）的根底上与验证集进行比拟。

 mda(Y_val, predictions)0.9090909090909091>>> mse = mean_squared_error(Y_val, predictions)>>> rmse = sqrt(mse)>>> forecast_error>>> mean_forecast_error = np.mean(forecast_error)

  • MDA: 0.909
  • RMSE: 48.5
  • MFE: -1.77

针对测试数据进行预测

尽管验证集的后果相当可观，但只有将模型预测与测试（或未见过的）数据相比拟，咱们能力对LSTM模型的预测能力有正当的信念。

如前所述，过来10个月的降雨数据被用作测试集。而后，LSTM模型被用来预测将来10个月的状况，而后将预测后果与理论值进行比拟。

至t-120的先前值被用来预测工夫t的值。

# 测试（未见过的）预测np.array([tseries.iloctseries.iloc,t

取得的后果如下

  • MDA: 0.8
  • RMSE: 49.57
  • MFE: -6.94

过来10个月的均匀降雨量为148.93毫米，预测精度显示出与验证集类似的性能，而且绝对于整个测试集计算的均匀降雨量而言，误差很低。

论断

在这个例子中，你曾经看到:

  • 如何筹备用于LSTM模型的数据
  • 构建一个LSTM模型
  • 如何测试LSTM的预测准确性
  • 应用LSTM对不稳固的工夫序列进行建模的劣势

本文摘选 《 Python用LSTM长短期记忆神经网络对不稳固降雨量工夫序列进行预测剖析 》 ，点击“浏览原文”获取全文残缺材料。

点击题目查阅往期内容

深度学习实现自编码器Autoencoder神经网络异样检测心电图ECG工夫序列spss modeler用决策树神经网络预测ST的股票
Python中TensorFlow的长短期记忆神经网络(LSTM)、指数挪动平均法预测股票市场和可视化
RNN循环神经网络 、LSTM长短期记忆网络实现工夫序列长期利率预测
联合新冠疫情COVID-19股票价格预测：ARIMA，KNN和神经网络工夫序列剖析
深度学习：Keras应用神经网络进行简略文本分类剖析新闻组数据
用PyTorch机器学习神经网络分类预测银行客户散失模型
PYTHON用LSTM长短期记忆神经网络的参数优化办法预测工夫序列洗发水销售数据
Python用Keras神经网络序列模型回归拟合预测、准确度检查和后果可视化
R语言深度学习卷积神经网络 (CNN)对 CIFAR 图像进行分类：训练与后果评估可视化
深度学习：Keras应用神经网络进行简略文本分类剖析新闻组数据
Python用LSTM长短期记忆神经网络对不稳固降雨量工夫序列进行预测剖析
R语言深度学习Keras循环神经网络(RNN)模型预测多输入变量工夫序列
R语言KERAS用RNN、双向RNNS递归神经网络、LSTM剖析预测温度工夫序列、 IMDB电影评分情感
Python用Keras神经网络序列模型回归拟合预测、准确度检查和后果可视化
Python用LSTM长短期记忆神经网络对不稳固降雨量工夫序列进行预测剖析
R语言中的神经网络预测工夫序列：多层感知器（MLP）和极限学习机（ELM）数据分析报告
R语言深度学习：用keras神经网络回归模型预测工夫序列数据
Matlab用深度学习长短期记忆（LSTM）神经网络对文本数据进行分类
R语言KERAS深度学习CNN卷积神经网络分类辨认手写数字图像数据（MNIST）
MATLAB中用BP神经网络预测人体脂肪百分比数据
Python中用PyTorch机器学习神经网络分类预测银行客户散失模型
R语言实现CNN（卷积神经网络）模型进行回归数据分析
SAS应用鸢尾花(iris)数据集训练人工神经网络(ANN)模型
【视频】R语言实现CNN（卷积神经网络）模型进行回归数据分析
Python应用神经网络进行简略文本分类
R语言用神经网络改良Nelson-Siegel模型拟合收益率曲线剖析
R语言基于递归神经网络RNN的温度工夫序列预测
R语言神经网络模型预测车辆数量工夫序列
R语言中的BP神经网络模型剖析学生问题
matlab应用长短期记忆（LSTM）神经网络对序列数据进行分类
R语言实现拟合神经网络预测和后果可视化
用R语言实现神经网络预测股票实例
应用PYTHON中KERAS的LSTM递归神经网络进行工夫序列预测
python用于NLP的seq2seq模型实例:用Keras实现神经网络机器翻译
用于NLP的Python：应用Keras的多标签文本LSTM神经网络分类