[发明专利]基于变分数阶随机梯度下降法的BP神经网络优化方法

权利要求书

1.基于变分数阶随机梯度下降法的BP神经网络优化方法，其特征在于：该方法包括以下步骤：

步骤一、初始化神经网络拓扑结构：

定义全连接BP神经网络的层数为L，L包括输入层、隐藏层和输出层的总数，然后分别定义各层的节点数数量，完成神经网络拓扑结构的构造；

步骤二、初始化模型参数：

初始化学习速率η、迭代次数k、最小训练批量n、变阶参数ε和极小正数ξ，使用随机初始化对权重W和偏置B进行赋值；

步骤三、前向传播：

使用W^l、B^l表示第l层到第(l+1)层的权重数组和偏置数组，Z^l表示第l层输入的加权和数组，激活函数使用Sigmoid函数，那么第l层的输出为：

输入要训练的数据，使用公式(1)计算出第一层除外的每一层的加权和Z^l、激活值A^l；

步骤三、前向传播：在一定范围内，当阶数越大时收敛速度就越快，越接近于1时收敛精度就越高，故可设计如下连续变阶公式为：

其中0＜ε＜1，k为训练时的迭代次数，明显分数阶阶次α初始时大于1，很快就能收敛到小于1的值；

步骤五、反向传播：

计算l层的误差函数δ^l，计算公式可以描述为：

其中C为关于权重和偏置的函数，如公式(3)中描述，这里使用的是均方差损失函数；Z^l表示第l层输入的加权和数组，那么第l层的损失函数对权重和偏置的偏导数就可以表示为：

步骤六、变分数阶随机梯度下降

为了消除分数阶微分的长记忆性，得到可以收敛到真实极小值点的算法，将分数阶积分下限进行迭代，然后截断其高阶项，将黎曼刘维尔即Riemann Liouville分数阶微分和卡普托即Caputo分数阶微分统一改写成如下形式：

其中Γ(·)表示Gamma函数，然后将所有权重W^l和偏置B^l用分别用张量W和B表示，那么变阶分数阶梯度下降算法可以描述如下：

其中n为每次输入数据的最小批量长度；

步骤七、判断是否满足结束条件：

判断当前的训练代数是否达到了预设值k，若已达到则结束训练。

2.根据权利要求1所述的基于变分数阶随机梯度下降法的BP神经网络优化方法，其特征在于：所述的ξ是一个的正数，用于防止函数出现奇异性，避免复杂的运算，默认取为0.1。