[发明专利]基于粒子群优化的多分辨率小波神经网络用电量预测方法

摘要

本发明涉及一种基于粒子群优化的多分辨率小波神经网络用电量预测方法，属于神经网络预测研究领域，技术方案包括小波神经网络、粒子群优化的小波神经网络和粒子群优化的多分辨率小波神经网络等内容，它是将小波神经网络、粒子群算法与多分辨率分析相结合，通过对用电量的预测验证这一预测方法的高效性。具体通过仿真实验验证了该预测方法的可行性与高效性对比小波神经网络预测方法、粒子群优化小波神经网络预测方法和粒子群优化多分辨率小波神经网络预测方法。分析得到的目标函数及回归分析图，能清晰看出采用最后一种预测方法目标函数值收敛更快，预测精度更高，有效避免隐含层神经元交叉重叠带来的影响，避免陷入局部极小，预测效果更好。

主权项

一种基于粒子群优化的多分辨率小波神经网络用电量预测方法，其特征在于包括以下内容：1)小波神经网络：小波神经网络既有小波变换的时频域特性与变焦特性，又有神经网络自学习、自适应、容错性与鲁棒性，小波神经网络的框架是基于BP神经网络构建的，用小波激励函数替换sigmoid函数，并通过平移因子和伸缩因子构造小波基，其中平移因子所实现的功能相当于BP神经网络里的阈值，即对加权后的输入数值进行横向微调；伸缩因子的作用是在不同尺度下对其进行调整，也正是由于这两项调整因子的结合，才使得小波神经网络能够更加精准地向目标函数进行逼近，采用紧密型结构对小波神经网络进行构建，构造出来的3层小波神经网络结构；设输入层为I个单元，输入向量: X=[x1,x2,……,xI]，隐含层为J个单元，激励函数为小波函数，伸缩因子向量：A=[a1,a2,……,aJ]，平移因子向量为B=[b1,b2,……,bJ]；输出向量：Y=[y1,y2,……,yk]，预期输出向量：O=[o1,o2,……,ok]，输入层与隐含层权值、隐含层与输出层权值为w，输入层第i个节点和隐含层第j个节点间权值为wi,j，隐含层第j个节点和输出层第k个节点间权值为wj,k；u表示每一层神经元的输入，v来表示经激励函数处理后的输出，在迭代训练过程中，输入为X，yk为输出层第k个神经元的总输出，隐层第j个神经元及输出层第k个神经元的输入输出表达式为：网络的前向传递函数为：预期的输出向量与经训练后的实际输出向量之差为误差向量：ER=[er1,er2,……,erk]，第k个神经元输出误差为：输出层所有神经元输出误差能量总和即全局误差能量E为：将得到的误差反向传播修正权值，依据权值的修正量与误差能量对权值的偏微分成正比来计算各权值与平移伸缩因子的修正值，再根据Delta学习规则，设定学习步长，将修正后的各权值和因子保留进行下一次迭代，网络中隐含层个数可依据经验值选取；学习步长选取过大可导致收敛过程震荡，过小则会减慢收敛速度，可通过多次尝试进行选取；2）粒子群优化的小波神经网络：粒子群优化算法是一种通过模拟鸟群觅食行为来进行协同搜索，从而在解空间中找到最优解的算法，算法过程是在状态空间中对每一个寻优位置进行评估，最终得到最佳位置，再从最佳位置出发进行搜索，直到获得最优目标值，将该算法用于优化小波神经网络，可加快神经网络训练的收敛速度，以全局优化的方式避免小波神经网络在训练过程中陷入局部极小值，提高预测精度；假设目标搜索空间为D维空间，粒子数为S个，于是第i个粒子在D维空间中的位置表示为：Xi=[xi1,xi2,……,xiD];第i个粒子的当前速度为：Vi=[vi1,vi2,......,viD]；第i个粒子自身历史最优位置为：Pi=[pi1,pi2,......,piD]；粒子群整体的最优位置为：Pg=[pg1,pg2,......pgD]，其在第k次迭代中第i个粒子第d维的速度更新公式为：其中，i=1,2,...S，d=1,2,...D，c1、c2为正常数的加速因子，r1、r2服从[0,1]上均匀分布的随机数，w为惯性权重，wmax和wmin分别为惯性权重的最大值和惯性权重的最小值，其计算公式为：其位置更新公式为：用粒子群算法优化小波神经网络，其中，令粒子个数D=60，加速因子c1=c2=2，wmax=0.9，wmin=0.4，以平均绝对百分误差值作为目标函数适应度值；3）粒子群优化的多分辨率小波神经网络：基于小波多分辨率分析和多尺度正交空间思想，以神经网络为框架，再利用粒子群算法对其全局优化，构建基于粒子群优化的多分辨率分析小波神经网络；设J为尺度参数，其在初始状态下值为0；输入层有I个神经元；隐含层有n个神经元，并将Meyer尺度函数作为其激励函数，尺度函数为，并以此构建多尺度正交空间，逼近目标函数；输出层神经元为G个，由此可以得到当尺度参数为0时的输出表达式为：其中，x为输入向量；wi,j为输入层第i个神经元与隐含层第j个神经元之间的连接权值；aj为第j个隐含层神经元阈值；cj,g为隐含层第j个神经元与输出层第g个神经元的连接权值；接着提升分辨率，令尺度参数J为1，增加n个隐含层神经元，输入层有m个神经元，其激励函数为Meyer小波函数，用来逼近目标函数中更加细微的部分，可以得到当尺度参数为1时的输出表达式为：其中，vi,k为输入层第i个神经元和隐含层第k个神经元的连接权值；bk为隐含层神经元阈值；dk,g为隐含层第k个神经元和输出层第g个神经元得到连接权值；然后进一步提升分辨率，令尺度参数J为2，加入2n个隐含层神经元，激励函数为Meyer小波函数，输出表达式为：以此递推下去，便能够从不同分辨率逼近目标函数，并且每提高一次尺度，隐含层便会增加2J‑1n个神经元，e表示从1到J的每一个尺度参数值，直到达到最理想的逼近效果，尺度参数为J时，其对应的传递函数通式为：得到多分辨率小波神经网络的基本框架，再用粒子群算法对其权值进行优化，便得到基于粒子群优化的多分辨率分析的小波神经网络，在多分辨率分析过程中，J的值并不是越大越好，其需要不断进行实验取值，从而得到一个尺度参数使训练误差和预测误差皆为最小。