[发明专利]一种基于LSTM网络和Adam算法的天然气管道事件分类方法

权利要求书

1.一种基于LSTM网络和Adam算法的天然气管道事件分类方法，其特征在于包括以下过程：

1)将天然气管道安全监测系统采集的不同事件反射信号经过匹配滤波后作为原始样本，对原始样本进行标签标记，并分成训练集和测试集；

2)构建LSTM网络，包括：输入层、LSTM层、全连接层及输出层；设定网络的各项参数，包括：LSTM层数、LSTM隐含层神经元数、全连接层层数、全连接层激活函数、迭代次数；

3)将原始样本归一化后输入构建完毕的网络进行训练与验证；网络训练过程中，单个LSTM细胞运行过程如下：

(1)将当前时间步t的输入值x^t与上一时间步t-1的激活值a^t-1组合，可表示为：

(2)在时间步t的候选细胞状态为：

(3)求取更新门i^t、遗忘门f^t及输出门o^t：

i^t＝σ(W_ux_con+b_u)   (3)

f^t＝σ(W_fx_con+b_f)   (4)

o^t＝σ(W_ox_con+b_o)   (5)

其中，W为权值矩阵，b为偏置，σ代表更新门、遗忘门和输出门的激活函数；

(4)遗忘门f^t和更新门i^t可被用于确定在时间步t-1的细胞状态C^t-1及候选细胞状态是否被保留；因此，当前细胞状态C^t可被更新为：

其中，符号“×”代表Hadamard乘法；

(5)更新在时间步t的激活值：

a^t＝o^t×tanhC^t   (7)

4)将多个LSTM细胞按时间步串联成一个LSTM层后，通过全连接层转换LSTM层输出向量的维度并转换为概率分布，则输出层的概率分布可表示为：

其中，a为全连接层的输出向量，a_j为该向量中的第j个元素，n为标签状态数；

为了训练网络，引入交叉熵作为单个样本的损失函数，可表示为：

其中，y为样本的真实类别，代表一个标签编码向量；对于N个样本，总交叉熵损失Loss可表示为：

LSTM网络训练的目的是，利用指定的优化算法，通过不断迭代来调整权值W和偏置b，使得交叉熵损失函数最小；

5)采用Adam算法调整网络权值W和偏置b，使得交叉熵损失函数最小；Adam算法执行过程如下：

(1)求解梯度的一阶矩估计V_dW、V_db和二阶矩估计S_dW、S_db：

V_dW：＝β₁V_dW+(1-β₁)dW   (11)

V_db：＝β₁V_db+(1-β₁)db   (12)

S_dW：＝β₂S_dW+(1-β₂)dW²   (13)

S_db：＝β₂S_db+(1-β₂)db²   (14)

其中，β₁和β₂一阶、二阶矩估计的指数衰减率，右侧的矩阵V和S为上一次迭代的矩估计，符号“：＝”代表赋值操作；

(2)修正一阶矩估计和二阶矩估计：

其中，k为迭代次数，和分别为β₁和β₂的k次方；

(3)通过修正的矩估计更新参数W和b，则更新的权值W和偏置b可表示为：

其中，α为学习率，默认为0.0001，ε为10^-8；

6)判断网络精度是否符合要求；若符合，则输出训练完毕的网络模型；否则，重新进行网络训练；

7)将带有标签新样本输入精度符合要求的网络模型进行测试，通过网络输出类别与样本标签进行对比来测试网络模型。