关于人工智能:如何计算LSTM层中的参数数量

长短期记忆网络（通常称为“ LSTM”）是一种非凡的RNN，通过精心设计LSTM可能学习长期的依赖。正如他的名字，它能够学习长期和短期的依赖。

每个LSTM层都有四个门：

1. Forget gate
2. Input gate
3. New cell state gate
4. Output gate

上面计算一个LSTM单元的参数：

每一个lstm的操作都是线性操作，所以只有计算一个而后乘以4就能够了，上面以Forget gate为例：

h(t-1) — Hidden layer unit from previous timestamps
x(t) — n-dimesnional unit vector
b- bias term

因为曾经晓得h(t-1)和X(t) W_f和b_f是未知项。这里咱们应用LSTM来寻找最终的w_f是[h(t-1)， x(t)]的拼接。

W_f:num_units + input_dim: concat [h(t-1), x(t)]
b_f:1

所以来计算参数公式:

num_param = no_of_gate(num_units + input_dim+1)

在整个LSTM层中有四个门，所以最初的方程如下。

num_param = 4(num_units + input_dim+1)

在理论利用时，咱们不只是解决单个LSTM cell。如何计算多个cell的参数?

num_params = 4 * [(num_units + input_dim + 1) * num_units]

num_units =来自以前的工夫戳暗藏的层单元= output_dim

咱们理论计算一个lstm的参数数量

from keras.models import Sequential
from keras.layers import Dense, Dropout, Activation
from keras.layers import Embedding
from keras.layers import LSTM
model = Sequential()
model.add(LSTM(200, input_dim=4096, input_length=16))
model.summary()

keras的计算结果为：

Model: "sequential_2"
_________________________________________________________________
 Layer (type)                Output Shape              Param #   
=================================================================
 lstm_2 (LSTM)               (None, 200)               3437600   
                                                                 
=================================================================
Total params: 3,437,600
Trainable params: 3,437,600
Non-trainable params: 0
_________________________________________________________________

上面应用咱们下面介绍的公式手动计算：

num_params = 4 * [(num_units + input_dim + 1) * num_units]
num_params = 4*[(200+4096+1) * 200]
num_params = 3437600

后果是一样的

https://avoid.overfit.cn/post/ed5f0d482d5e486387f2708b7d0d58d8

作者：Maheshmj