乐趣区

关于数据挖掘:Matlab用深度学习循环神经网络RNN长短期记忆LSTM进行波形时间序列数据预测附代码数据

jiezi

全文链接：http://tecdat.cn/?p=27279

最近咱们被客户要求撰写对于循环神经网络 RNN 的钻研报告，包含一些图形和统计输入。

此示例阐明如何应用长短期记忆 (LSTM) 网络预测工夫序列

LSTM 神经网络架构和原理及其在 Python 中的预测利用

LSTM 网络是一种循环神经网络 (RNN)，它通过循环工夫步长和更新网络状态来解决输出数据。网络状态蕴含在所有先前工夫步长中记住的信息。您能够应用 LSTM 网络应用先前的工夫步长作为输出来预测工夫序列或序列的后续值。要训练 LSTM 网络进行工夫序列预测，请训练具备序列输入的回归 LSTM 网络，其中响应（指标）是训练序列，其值偏移了一个工夫步长。换句话说，在输出序列的每个工夫步，LSTM 网络学习预测下一个工夫步的值。

有两种预测办法：开环预测和闭环预测。

  • 开环预测仅应用输出数据预测序列中的下一个工夫步长。在对后续工夫步进行预测时，您会从数据源中收集实在值并将其用作输出。
  • 闭环预测通过应用先前的预测作为输出来预测序列中的后续工夫步长。在这种状况下，模型不须要实在值来进行预测。

此图显示了一个示例序列，其中蕴含应用闭环预测的预测值。

此示例应用波形数据集，其中蕴含 2000 个具备三个通道的不同长度的综合生成波形。该示例训练 LSTM 网络以应用闭环和开环预测在给定先前工夫步长的值的状况下预测波形的将来值。

点击题目查阅往期内容

Python 用 RNN 神经网络：LSTM、GRU、回归和 ARIMA 对 COVID19 新冠疫情人数工夫序列预测

左右滑动查看更多

01

02

03

04

加载数据

查看前几个序列的大小。

data(1:5)

查看声道数量。为了训练网络，每个序列必须具备雷同数量的声道。

nufdmChahgnnhels = 3

可视化图中的前几个序列。

for i = 1:4    nexttsdile    staasdcgafdgkedplot(dadgta{i}')

将数据划分为训练集和测试集。将 90% 的察看后果用于训练，其余用于测试。

筹备训练数据

要预测序列的将来工夫步长的值，请将指标指定为训练序列，其值挪动一个工夫步长。换句话说，在输出序列的每个工夫步，LSTM 网络学习预测下一个工夫步的值。预测变量是没有最终工夫步长的训练序列。

for n = 1:nasumel(dddataTrainsf)

    Xd = dataTrgainsg{n};

    XgfTrdfain{n} = dfX(:,1:efgdnd-1);

    TTraign{n} = gXd(:,2:efnd);end

为了更好地拟合并避免训练发散，请将预测变量和指标归一化以具备零均值和单位方差。进行预测时，还必须应用与训练数据雷同的统计数据对测试数据进行标准化。要轻松计算所有序列的均值和标准差，请在工夫维度上连贯序列。

定义 LSTM 网络架构

创立一个 LSTM 回归网络。

  • 应用输出大小与输出数据的通道数相匹配的序列输出层。
  • 应用具备 128 个暗藏单元的 LSTM 层。暗藏单元的数量决定了层学习了多少信息。应用更多暗藏单元能够产生更精确的后果，但更有可能导致对训练数据的适度拟合。
  • 要输入与输出数据具备雷同通道数的序列，请蕴含一个输入大小与输出数据的通道数相匹配的全连贯层。
  • 最初，包含一个回归层。

指定训练选项

指定训练选项。

  • 应用 Adam 优化进行训练。
  • 训练 200 个 epoch。对于更大的数据集，您可能不须要训练尽可能多的 epoch 来取得良好的拟合。
  • 在每个小批量中，左填充序列，使它们具备雷同的长度。
    trainingOptions("adam", ...    MaxEpochs=200, ...

    训练神经网络

    指定的训练选项训练 LSTM 网络。

    测试网络

    应用与训练数据雷同的步骤筹备用于预测的测试数据。

    应用从训练数据计算的统计数据对测试数据进行标准化。将指标指定为测试序列，其值偏移一个工夫步，将预测变量指定为没有最终工夫步的测试序列。

    for n = 1:sifze(dsdatagsdTest,1)

    Xsdg = datsdagesdt{n};

    XTdsgsst{n} = (Xd(:,1:dend-1) – muX) ./ sdgdigmaX;

    TTedgst{n} = (X(:,2:enddg) – muT) ./ sisggaT;end


应用测试数据进行预测。指定与训练雷同的填充选项。

YTasedst = prsdfdict(nedst,fXTsdest,SeqfuencePaddfsdingDidfrecdtionf=”ledfft”);


为了评估准确性，对于每个测试序列，计算预测和指标之间的均方根误差 (RMSE)。

    rmse(i) = sqrt(mean((YTesdst{i} – TTfedft{i}).^2,”all”));


在直方图中可视化谬误。较低的值示意较高的准确性。![图片](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/4fd21b589c304558a5e6a126be805a0e~tplv-k3u1fbpfcp-zoom-1.image)

计算所有测试观测值的均匀 RMSE。

mean(rmse)


![图片](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/897c386bf69e427a963176192d8dd3c1~tplv-k3u1fbpfcp-zoom-1.image)

# 预测将来工夫步长

给定输出工夫序列或序列，要预测多个将来工夫步的值。对于每个预测，应用之前的预测作为函数的输出。在图中可视化其中一个测试序列。

figurestfackddefdsplot(X’


![图片](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/219a8b0c8813488f9271eaae709f40a7~tplv-k3u1fbpfcp-zoom-1.image)

# 开环预测

开环预测仅应用输出数据预测序列中的下一个工夫步长。在对后续工夫步进行预测时，您会从数据源中收集实在值并将其用作输出。例如，假如您想应用在工夫步 1 到 t-1 中收集的数据来预测序列的工夫步 t 的值。要对工夫步 t+1 进行预测，请等到您记录时间步 t 的实在值并将其用作输出以进行下一个预测。当您在进行下一次预测之前有实在值要提供给网络时，请应用开环预测。应用输出数据的前 75 个工夫步更新网络状态。

ngdfget = resasegftSdtsfte(net);

offssdet = 75;

[nefgt,~] = predfgdictAndUpdateStdfgate(nfget,X(:,1:offsedfd));


为了预测进一步的预测，更新网络状态。通过循环输出数据的工夫步并将它们用作网络的输出来预测测试察看的剩余时间步的值。将预测值与目标值进行比拟。

for i = 1:numCashdananels

    nexdttdfgileg

    ploft(T(i,:))

    holfgd on

    plot(offfset:gnumTimeSdfghjteps,[T(i,ofkklkset) Y(i,:)],’–‘)


![图片](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/6339a289e916401294763012697451cf~tplv-k3u1fbpfcp-zoom-1.image)

# 闭环预测

闭环预测通过应用先前的预测作为输出来预测序列中的后续工夫步长。在这种状况下，模型不须要实在值来进行预测。例如，假如您想仅应用在工夫步 1 到 t-1 中收集的数据来预测序列的工夫步 t 到 t+k 的值。要对工夫步 i 进行预测，请应用工夫步 i-1 的预测值作为输出。应用闭环预测来预测多个后续工夫步长，或者当您在进行下一个预测之前没有向网络提供实在值时。通过首先应用函数重置状态来初始化网络状态，而后 应用输出数据的前几个工夫步长 `resetState` 进行初始预测。`Z` 应用输出数据的前 75 个工夫步更新网络状态。

newt = resetyeriuiutState(net);

ofrfstydet = sizety(X,2);

[nest,h] = peeredictAnytdUpdtateState(net,X);


为了预测进一步的预测，循环工夫步长并更新网络状态。通过迭代地将先前的预测值传递给网络来预测接下来的 200 个工夫步长。因为网络不须要输出数据来进行任何进一步的预测，因而您能够指定任意数量的工夫步长进行预测。

numPreddshictihgonTimeshgSteps = 200;dghXt = Z(:,endesrgs);Ysf = zergfsos(sfgsnumChannels,numPrhedictionTimlhelhhjSteps);

for t = 1:numPredicthjjionlkjTimeSteps

    [nexfdt,Y(:,t)] = predic’ltAndUpdatlkeStak;lte(net,Xt);

    gXt = Y(:,t);

end


在图中可视化预测值。

numTimdgegSteps = offset + numPralkjedicltionTimeSteps;figure

t = tiledlayjout(numklChannels,1);for i = 1:numChannselgs

    nextgtilgfhe

    plogghft(T(i,1:ogfhvset))

    hobld bvon

    plot(offsenbt:nmnumTimesbn,Stesdps,[T(i,a) Y(i,:)],’–‘)


![图片](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/853bbab38bfe49768e34e752383e3b53~tplv-k3u1fbpfcp-zoom-1.image)

闭环预测容许您预测任意数量的工夫步长，但与开环预测相比可能不太精确，因为网络在预测过程中无法访问实在值。* * *

  


![图片](https://p3-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/a3a12e3ca3744e3da7967bf0c3f6594e~tplv-k3u1fbpfcp-zoom-1.image)

点击文末 **“浏览原文”**

获取全文残缺材料。本文选自《Matlab 用深度学习循环神经网络 RNN 长短期记忆 LSTM 进行波形工夫序列数据预测》。** 点击题目查阅往期内容 **

[RNN 循环神经网络、LSTM 长短期记忆网络实现工夫序列长期利率预测](http://mp.weixin.qq.com/s?__biz=MzU4NTA1MDk4MA==&mid=2247517194&idx=2&sn=d25495b4c762dce240fbca34f6efe9bd&chksm=fd92ba01cae53317a49ef01626802399dabe7e98ff4860c01167f17f6d6fd5b597dc6e724c27&scene=21#wechat_redirect)  
[联合新冠疫情 COVID-19 股票价格预测：ARIMA，KNN 和神经网络工夫序列剖析](http://mp.weixin.qq.com/s?__biz=MzU4NTA1MDk4MA==&mid=2247508997&idx=2&sn=2d90b44226a62435a72faed1cd35e6f2&chksm=fd929a0ecae51318ed51e3fed6fc7575ebff9b30d529d1aeda43f7123ee6b7e8a6adb4a24e1d&scene=21#wechat_redirect)  
[深度学习：Keras 应用神经网络进行简略文本分类剖析新闻组数据](http://mp.weixin.qq.com/s?__biz=MzU4NTA1MDk4MA==&mid=2247508453&idx=3&sn=b82f87c0f24d6a80d21560dae515465c&chksm=fd929feecae516f8ebf558462164fd48722f1391586c99732d60c7b2eb4eeb2963744b233507&scene=21#wechat_redirect)  
[用 PyTorch 机器学习神经网络分类预测银行客户散失模型](http://mp.weixin.qq.com/s?__biz=MzU4NTA1MDk4MA==&mid=2247507965&idx=2&sn=35f2e303692665a0197d0eb2bc706fa8&chksm=fd92e1f6cae568e0ee1e16b35af9d0e73f483a6d1514b224b1c906d809b0c5e5d5fd53013b07&scene=21#wechat_redirect)  
[PYTHON 用 LSTM 长短期记忆神经网络的参数优化办法预测工夫序列洗发水销售数据](http://mp.weixin.qq.com/s?__biz=MzU4NTA1MDk4MA==&mid=2247506311&idx=1&sn=a8ab609a2c51090f6c35c4e38c0ad8a6&chksm=fd92e78ccae56e9aa244816b1a168f87e56026527e8876ce4a79c9e86c09e3e1a16aa97282d2&scene=21#wechat_redirect)  
[Python 用 Keras 神经网络序列模型回归拟合预测、准确度检查和后果可视化](http://mp.weixin.qq.com/s?__biz=MzU4NTA1MDk4MA==&mid=2247506219&idx=2&sn=8180c7d23021b71580c62e04044a113b&chksm=fd92e720cae56e366b144401026c7d07d248ee57ca682e9b7da9a0914b067d4f66cfbb52b251&scene=21#wechat_redirect)  
[Python 用 LSTM 长短期记忆神经网络对不稳固降雨量工夫序列进行预测剖析](http://mp.weixin.qq.com/s?__biz=MzU4NTA1MDk4MA==&mid=2247500852&idx=1&sn=3459e7ef9795551afe09f5ccf497e2ea&chksm=fd92fa3fcae5732936d77fe4a3a8a91185caa2d049954592fb14533f51a83c43d60e280453dc&scene=21#wechat_redirect)  
[R 语言中的神经网络预测工夫序列：多层感知器（MLP）和极限学习机（ELM）数据分析报告](http://mp.weixin.qq.com/s?__biz=MzU4NTA1MDk4MA==&mid=2247500670&idx=1&sn=f02c2d4df722ab0f8a71cf6f34989b70&chksm=fd92fd75cae57463a3cd32235d9920702bb59b9d50f4246456f3ffac448f35a026a548247814&scene=21#wechat_redirect)  
[R 语言深度学习：用 keras 神经网络回归模型预测工夫序列数据](http://mp.weixin.qq.com/s?__biz=MzU4NTA1MDk4MA==&mid=2247499989&idx=1&sn=bf0ae9db6a4268feba8e15b6ae246850&chksm=fd92fedecae577c8e4d9686a9477d91518d6f420f97fa1e7d6f5f68005c22dca2ed9267bd064&scene=21#wechat_redirect)  
[Matlab 用深度学习长短期记忆（LSTM）神经网络对文本数据进行分类](http://mp.weixin.qq.com/s?__biz=MzU4NTA1MDk4MA==&mid=2247499867&idx=2&sn=a03b9e9473c737ff94eef8380466b1ec&chksm=fd92fe50cae57746551fd96411aec58a9dda5312e2201000c5857f9c55c889f46e5b1fe1c3f4&scene=21#wechat_redirect)  
[R 语言 KERAS 深度学习 CNN 卷积神经网络分类辨认手写数字图像数据（MNIST）](http://mp.weixin.qq.com/s?__biz=MzU4NTA1MDk4MA==&mid=2247499824&idx=1&sn=90d9344cf7a87a84d4ee2d1bdfcd0dfb&chksm=fd92fe3bcae5772dadbddf75e4a8890da9de317c268a1ebf7ed45050840a1b55d7a853d8db9c&scene=21#wechat_redirect)  
[MATLAB 中用 BP 神经网络预测人体脂肪百分比数据](http://mp.weixin.qq.com/s?__biz=MzU4NTA1MDk4MA==&mid=2247498052&idx=1&sn=3af3582d43b0e6834cec4963edc73445&chksm=fd92c74fcae54e59899bba8dcd8f6931dae82d000ab699dd13cae36936ae203513e3aadc46c6&scene=21#wechat_redirect)  
[Python 中用 PyTorch 机器学习神经网络分类预测银行客户散失模型](http://mp.weixin.qq.com/s?__biz=MzU4NTA1MDk4MA==&mid=2247495804&idx=2&sn=f08c96e9cd2710d7516cb9cce43b18b3&chksm=fd92ce77cae54761bde20bb64a8b5e844dab54f33a4a0110a4a2e05e5c8d45beea681b5bbf65&scene=21#wechat_redirect)  
[R 语言实现 CNN（卷积神经网络）模型进行回归数据分析](http://mp.weixin.qq.com/s?__biz=MzU4NTA1MDk4MA==&mid=2247495156&idx=2&sn=4bf1d3ab5153838951c932357af4f260&chksm=fd92d3ffcae55ae979373040eed5f8e5de92f82fb00ef4b411727d66f2a0ce1fb295128deb28&scene=21#wechat_redirect)  
[SAS 应用鸢尾花 (iris) 数据集训练人工神经网络 (ANN) 模型](http://mp.weixin.qq.com/s?__biz=MzU4NTA1MDk4MA==&mid=2247494997&idx=1&sn=fd4764b342a2cee895f59351599b934c&chksm=fd92d35ecae55a486f8e0bf9e5c476d8fc5165315b1ad8d5a6e8e4c649db3919a82f464f7ebe&scene=21#wechat_redirect)  
[【视频】R 语言实现 CNN（卷积神经网络）模型进行回归数据分析](http://mp.weixin.qq.com/s?__biz=MzU4NTA1MDk4MA==&mid=2247494809&idx=2&sn=121ba44dee2e0a93efaff1ff3e338e29&chksm=fd92d292cae55b84c75aab60a7eeaec9a7115046890445ef8d8ae30c0e4a87f857edd646ad7d&scene=21#wechat_redirect)  
[Python 应用神经网络进行简略文本分类](http://mp.weixin.qq.com/s?__biz=MzU4NTA1MDk4MA==&mid=2247494720&idx=2&sn=277d212567ff63d173d433410a323fef&chksm=fd92d24bcae55b5dd5b8f01a605d6c9ca412c1e62dc2188ea755cb766652ec61fbc8cf3f5bda&scene=21#wechat_redirect)  
[R 语言用神经网络改良 Nelson-Siegel 模型拟合收益率曲线剖析](http://mp.weixin.qq.com/s?__biz=MzU4NTA1MDk4MA==&mid=2247494640&idx=2&sn=281602a4261bf9aa709c355f344a518a&chksm=fd92d5fbcae55cedf7f5f7bec5884bc97ea13947dc2ea1d8754be0757a74c1a23c5558637184&scene=21#wechat_redirect)  
[R 语言基于递归神经网络 RNN 的温度工夫序列预测](http://mp.weixin.qq.com/s?__biz=MzU4NTA1MDk4MA==&mid=2247494477&idx=1&sn=87fb21b399b02cf2599002e718470b72&chksm=fd92d546cae55c50a04dfc5852ee33bf3a7718d0776ca855335394d2d54adf66e4191896a4eb&scene=21#wechat_redirect)  
[R 语言神经网络模型预测车辆数量工夫序列](http://mp.weixin.qq.com/s?__biz=MzU4NTA1MDk4MA==&mid=2247493967&idx=1&sn=ab6bf77fc8ef2cc0ccd5c59a612c4a6a&chksm=fd92d744cae55e529426234c8fd1e9d03c682afff4160978399f7ca3ce8ccfcdd31430d0b7bc&scene=21#wechat_redirect)  
[R 语言中的 BP 神经网络模型剖析学生问题](http://mp.weixin.qq.com/s?__biz=MzU4NTA1MDk4MA==&mid=2247493916&idx=1&sn=0e791b1a36ee5e0e506511f7961cc3da&chksm=fd92d717cae55e016f5372c9105c6780676c25efad67c3144b423ecf57e1a1b80ef61a47768c&scene=21#wechat_redirect)  
[matlab 应用长短期记忆（LSTM）神经网络对序列数据进行分类](http://mp.weixin.qq.com/s?__biz=MzU4NTA1MDk4MA==&mid=2247493737&idx=1&sn=bb83c16b5cc6ec90456b8eaff6e42341&chksm=fd92d662cae55f749821500c01e478942becb193d67bb56419adcc7da3787496f8fb5130ddca&scene=21#wechat_redirect)  
[R 语言实现拟合神经网络预测和后果可视化](http://mp.weixin.qq.com/s?__biz=MzU4NTA1MDk4MA==&mid=2247493713&idx=2&sn=8f596b5501cc3b4ffe9a71200f73eb6d&chksm=fd92d65acae55f4c7d0ae141f14c347ff41a7fdd6f644a549ba98e8a7c4cb216abd1479f8698&scene=21#wechat_redirect)  
[用 R 语言实现神经网络预测股票实例](http://mp.weixin.qq.com/s?__biz=MzU4NTA1MDk4MA==&mid=2247493621&idx=2&sn=d4bb7326d8b92c7edce94e4e0f99c6c3&chksm=fd92d9fecae550e846499b5a6e194ab290cf1de2a7c3d5d5ceefcb9dc4dd1c38c5c375d495ef&scene=21#wechat_redirect)  
[应用 PYTHON 中 KERAS 的 LSTM 递归神经网络进行工夫序列预测](http://mp.weixin.qq.com/s?__biz=MzU4NTA1MDk4MA==&mid=2247493532&idx=1&sn=3107da4d998881a83f2d1a72370a410c&chksm=fd92d997cae55081f5c3e52ca0798a758f46938544194d43901024d192e7c220335c85ef04d1&scene=21#wechat_redirect)  
[python 用于 NLP 的 seq2seq 模型实例: 用 Keras 实现神经网络机器翻译](http://mp.weixin.qq.com/s?__biz=MzU4NTA1MDk4MA==&mid=2247493328&idx=2&sn=12d3785e2722ce7994019c48627594a0&chksm=fd92d8dbcae551cda34e6b8527e01cfa2204818efdc5321bd947d234ae4aecf7af8c3cdc1974&scene=21#wechat_redirect)
退出移动版