共计 1470 个字符,预计需要花费 4 分钟才能阅读完成。
长短期记忆网络(通常称为“LSTM”)是一种非凡的 RNN,通过精心设计 LSTM 可能学习长期的依赖。正如他的名字,它能够学习长期和短期的依赖。
每个 LSTM 层都有四个门:
- Forget gate
- Input gate
- New cell state gate
- Output gate
上面计算一个 LSTM 单元的参数:
每一个 lstm 的操作都是线性操作,所以只有计算一个而后乘以 4 就能够了,上面以 Forget gate 为例:
h(t-1) — Hidden layer unit from previous timestamps | |
x(t) — n-dimesnional unit vector | |
b- bias term |
因为曾经晓得 h(t-1)和 X(t) W_f 和 b_f 是未知项。这里咱们应用 LSTM 来寻找最终的 w_f 是 [h(t-1),x(t)] 的拼接。
W_f:num_units + input_dim: concat [h(t-1), x(t)] | |
b_f:1 |
所以来计算参数公式:
num_param = no_of_gate(num_units + input_dim+1)
在整个 LSTM 层中有四个门,所以最初的方程如下。
num_param = 4(num_units + input_dim+1)
在理论利用时,咱们不只是解决单个 LSTM cell。如何计算多个 cell 的参数?
num_params = 4 * [(num_units + input_dim + 1) * num_units]
num_units = 来自以前的工夫戳暗藏的层单元 = output_dim
咱们理论计算一个 lstm 的参数数量
from keras.models import Sequential | |
from keras.layers import Dense, Dropout, Activation | |
from keras.layers import Embedding | |
from keras.layers import LSTM | |
model = Sequential() | |
model.add(LSTM(200, input_dim=4096, input_length=16)) | |
model.summary() |
keras 的计算结果为:
Model: "sequential_2" | |
_________________________________________________________________ | |
Layer (type) Output Shape Param # | |
================================================================= | |
lstm_2 (LSTM) (None, 200) 3437600 | |
================================================================= | |
Total params: 3,437,600 | |
Trainable params: 3,437,600 | |
Non-trainable params: 0 | |
_________________________________________________________________ |
上面应用咱们下面介绍的公式手动计算:
num_params = 4 * [(num_units + input_dim + 1) * num_units] | |
num_params = 4*[(200+4096+1) * 200] | |
num_params = 3437600 |
后果是一样的
https://avoid.overfit.cn/post/ed5f0d482d5e486387f2708b7d0d58d8
作者:Maheshmj
正文完