[发明专利]一种基于极值优化的分数阶深度BP神经网络优化方法

权利要求书

1.一种基于极值优化的分数阶深度BP神经网络优化方法，其特征在于：该方法具体包括以下步骤：

步骤一、建立分数阶深度BP神经网络模型；

建立一个L层的深度BP神经网络模型，第l层的神经元节点数为n^l，l＝1,2,2,L，为神经网络第l层与第(l+1)层之间的权值，i＝1,2,2,n^l,j＝1,2,2,n^l+1；X为神经网络的输入样本，O为输入样本X的理想输出，为第l层神经网络的输入，A^l为第l层神经网络的输出；神经网络的损失函数为其中，||·||为欧几里得范数，Σ为求和符号；

在Caputo定义下的分数阶梯度E为：

其中，δ^l为神经网络第l层的梯度传播项，v为分数，表示分数阶的阶数，E表示在Caputo分数阶导数定义下损失函数E对权值W^l求分数阶导数，Γ(·)为gamma函数；

神经网络各层的权值修正表达式为：

其中，t为自然数，表示神经网络的当前训练代数，μ为学习率；

步骤二、初始化参数；

初始化方法中的各项参数，包括：神经网络训练次数I_max、学习率μ、分数阶的阶数v、种群大小T、群体迭代次数G，计算个体适应度值的神经网络训练次数I_f、变异因子b；

步骤三、产生初始种群；

随机产生初始种群P＝{S₁,S₂,2,S_T}，其中S_p＝{x₁,x₂,...,x_c}，p＝1,2,...,T，表示神经网络包含的权值的总数；

步骤四、计算个体适应度；

将种群的个体S_p解码后代入FODBP神经网络作为初始权值，然后将MNIST手写体数字数据输入神经网络进行训练，根据步骤一对神经网络的权值进行修正，训练次数达到I_f后得到训练精度并将其作为个体的适应度函数值f_p；

步骤五、选择个体；

将T个种群的个体根据其适应度函数值进行排序，使得f_Π1f_Π2...f_ΠT，选择Π1至的个体替换至ΠT的个体，并得到最优个体S_best＝S_Π1以及最优适应度值f_best＝f_Π1；

步骤六、产生新种群；

根据不均匀变异规则对步骤五选择后的种群进行变异操作，产生新种群P_N＝{S_N1,S_N2,…,S_NT}；

步骤七、迭代循环；

重复步骤四～步骤六，得到新的最优个体S_Nbest及适应度值f_Nbest，若f_Nbestf_best，则将新的最优个体与最优适应度值保存，即S_best＝S_Nbest,f_best＝f_Nbest，循环多次直到群体迭代优化次数达到G后，将得到的全局最优解S_best解码后代入FODBP神经网络中作为初始权值，完成分数阶深度BP神经网络的优化；

步骤八、字体识别

向步骤七优化后的分数阶深度BP神经网络输入手写体数字，网络输出识别结果。

2.如权利要求1所述一种基于极值优化的分数阶深度BP神经网络优化方法，其特征在于：第l层神经网络的输出由两部分节点组成，为外部节点，它与上一层的神经元节点不连接；为内部节点，它与上一层的神经元节点全连接；f_l(·)为第l层的激活函数，网络的前向传播过程为：

3.如权利要求1或2所述一种基于极值优化的分数阶深度BP神经网络优化方法，其特征在于：神经网络第l层的激活函数f_l(·)为sigmoid函数。