[发明专利]一种基于模块化循环神经网络的电力负荷预测方法

权利要求书

1.一种基于模块化循环神经网络的电力负荷预测方法，其特征在于，包括以下步骤：

步骤S1、构建一个包含输入层、隐藏层和输出层的循环神经网络，并把隐藏层划分为若干个模块；

步骤S2、选择固定策略、随机策略、无序自适应策略和有序自适应策略中的任意一种更新策略用于隐藏层模块的更新；

步骤S3、选择与步骤S2的更新策略相匹配的循环连接剪枝策略，其中固定策略和有序自适应策略选择单方向剪枝策略，随机策略和无序自适应策略选择双方向剪枝策略；

步骤S4、根据选择好的隐藏层模块更新策略和循环连接剪枝策略，利用训练集进行模块化循环神经网络的电力负荷预测模型训练，利用验证集进行参数优化，最后利用测试集评估预测性能，得到最终的模块化循环神经网络的电力负荷预测模型；

步骤S1中，循环神经网络的构建过程如下：

步骤S101、构建一个包含输入层、隐藏层和输出层的循环神经网络，其中输出层在每个时间步都出现或仅出现在最后一个时间步，若输出层放置在最后一个时间步，则构建的循环神经网络用于预测在输入一段时长的信息后的下一个时刻的负荷值；时间步长根据任务设定；输入层神经元的个数n_i根据需要设定；隐藏层神经元的个数n_h利用验证集进行优化；输出层神经元的个数n_o根据预测任务设定；

步骤S102、随机生成输入层到隐藏层的输入连接权重相邻时刻隐藏层之间的循环连接权重隐藏层到输出层的输出连接权重隐藏层偏置向量和输出层偏置向量利用上述参数，得到模块化循环神经网络的计算方程如公式(1)-(3)所示：

h′_t＝f_h(W_ihx_t+(W_hh*M)h_t-1+b_h) (1)；

h_t＝(1-u_t)⊙h_t-1+u_t⊙h′_t (2)；

其中，f_h(.)表示隐藏层的激活函数，f_o(.)表示输出层的激活函数，⊙表示向量间的元素级乘法运算，*表示矩阵间的元素级乘法运算，表示在时间步t隐藏层神经元的更新向量，表示循环连接权重W_hh的剪枝标记矩阵；

步骤S103、将隐藏层划分为k个模块，其中每个模块的神经元个数如公式(4)所示：

步骤S2中，固定策略、随机策略、无序自适应策略和有序自适应策略的具体实现方法如下：

(1)固定策略：

步骤S201、首先为每个隐藏层模块预分配一个工作周期，各个隐藏层模块的工作周期用公式(5)得到：

T_i＝rⁱ⁺¹ i＝1,2,…,k (5)；

式中，r是一个大于1的固定的整数；

步骤S202、根据当前时间步t是否能够整除每一个隐藏层模块的周期T_i来获得每一个隐藏层模块的更新子向量如公式(6)所示：

当是一个全1向量时，意味着相应隐藏层模块内的所有神经元在时间步t参与更新，否则保持和上一个时刻的状态相同；

步骤S203、将所有隐藏层模块的更新向量按模块号从小到大的顺序上下拼接，即得到该时刻的隐藏层更新向量

(2)随机策略：

步骤S201、在每个时间步为每个隐藏层模块随机设置一个更新概率

步骤S202、设定一个更新阈值ε，0ε1，则每一个隐藏层模块的更新子向量的获得方式如公式(7)所示：

步骤S203、将所有隐藏层模块的更新向量按模块号从小到大的顺序上下拼接，即得到该时刻的隐藏层更新向量

(3)无序自适应策略：

步骤S201、对每个时间步的隐藏层候选状态h_t'设计一个新的激活函数来得到每一个隐藏层模块的优先级如公式(8)所示：

式中，sum_i(.)表示将隐藏层模块i中所有神经元对应的softmax(.)的值进行累加；

步骤S202、根据公式(9)获得每一个隐藏层模块在时间步t的更新子向量

步骤S203、将所有隐藏层模块的更新向量按模块号从小到大的顺序上下拼接，即得到该时刻的隐藏层更新向量

(4)有序自适应策略：

步骤S201、对每个时间步的隐藏层候选状态h_t'设计一个新的激活函数来得到每一个隐藏层模块的优先级如公式(8)所示：

步骤S202、根据公式(10)对每一个隐藏层模块的优先级进行模块间的累加，得到每一个隐藏层模块的累加优先级

步骤S203、设定一个更新阈值ε，0ε1，则该时刻的隐藏层更新向量的获得方式如公式(11)所示：

步骤S3中，单方向剪枝策略、双方向剪枝策略的具体实现方法如下：

(1)单方向剪枝策略：

步骤S301、将剪枝标记矩阵划分成k×k个子矩阵，每个子矩阵M_ij∈R^m×m，如公式(12)所示：

步骤S302、单方向剪枝策略规定前一个时刻的隐藏层神经元连接到下一个时刻更新频率与之相等或者更快的神经元；考虑到固定策略和有序自适应策略模块号越小的隐藏层模块更新频率更快，因此根据公式(13)得到每个子矩阵M_ij∈R^m×m的取值：

步骤S303、每个时间步利用上述步骤得到的相同的剪枝标记矩阵M对循环连接权重W_hh进行剪枝操作；

(2)双方向剪枝策略：

步骤S301、将剪枝标记矩阵划分成k×k个子矩阵，每个子矩阵M_ij∈R^m×m，如公式(12)所示：

步骤S302、考虑到随机策略和无序自适应策略的隐藏层模块更新频率没有快慢之分，必须通过概率确定是否剪枝；首先保证每个时间步的是一个全1矩阵；然后在每个时间步为每个隐藏层模块随机设置一个剪枝概率最后设置一个剪枝阈值θ，0θ1，并通过公式(14)得到每个时间步剩余子矩阵的取值：

步骤S303、每个时间步均利用上述步骤得到的不同的剪枝标记矩阵M对循环连接权重W_hh进行剪枝操作。