[发明专利]一种小样本条件下融合先验知识的LSTM神经网络预测方法

权利要求书

1.一种小样本条件下融合先验知识的LSTM神经网络预测方法，其特征在于，包括以下步骤：

步骤1、约束优化基本形式：

约束优化问题的基本形式如下：

上式中，X为决策变量，f(x)是目标函数；q表示不等式约束的个数，g_i(x)≤0表示第i个不等式约束条件，h_i(X)＝0(i＝q+1,...m)表示等式约束条件，(m-q)表示等式约束的个数；

步骤2、LSTM反向传播：

所基于的损失函数的表达式为：

步骤3、融合先验知识的LSTM参数更新：

将输入x_t与输出L呈单调递增的约束条件进行数学推导，得：

2.根据权利要求1所述的一种小样本条件下融合先验知识的LSTM神经网络预测方法，其特征在于，步骤2中包括以下两个步骤：

步骤2.1通过梯度下降法迭代更新所有的参数，计算所有参数基于损失函数的偏导数，如公式(4)～(8)所示；

步骤2.2根据LSTM的反向传播算法，进行每个结构参数的更新。

3.根据权利要求1所述的一种小样本条件下融合先验知识的LSTM神经网络预测方法，其特征在于，步骤3中根据公式(3)再次进行参数更新，基于最优化原理中的惩罚函数法，将单调性作为先验条件引入网络，重新定义网络性能函数为：

当d_t＞0时，权值阈值更新公式为(9-22)；当d_t＜＝0时，权值阈值更新公式。

4.根据权利要求1-3所述的一种小样本条件下融合先验知识的LSTM神经网络预测方法，其特征在于，步骤2中LSTM反向传播的具体过程是：

定义两个隐藏状态h_t和C_t，同时定义两个δ，即：

而在最后的索引位置τ的和为：

的梯度有本层的输出梯度误差决定，即：

而的反向梯度误差由前一层的梯度误差和本层的从h_t传回来的梯度误差两部分组成，通过反向推导可得：

5.根据权利要求4所述的一种小样本条件下融合先验知识的LSTM神经网络预测方法，其特征在于，步骤3中进一步对LSTM神经网络的输入门添加约束后的权值阈值求导公式如下：

V和c：