[发明专利]一种求解提升邻近算子机的神经网络优化方法

权利要求书

1.一种求解提升邻近算子机的神经网络优化方法，其特征是，在前向神经网络的训练中，通过采用块坐标下降方法求解提升邻近算子机LPOM模型，LPOM模型中的每个子问题均具收敛性，可并行更新神经网络每层的权值和网络激活，且不占用额外内存空间；将所述的神经网络优化方法应用于图像识别；

所述提升邻近算子机LPOM模型的目标函数表示为式1：

其中，W^i-1是神经网络的第i-1层网络权值；Xⁱ是第i层网络激活，i＝2,…,n；l(Xⁿ,L)是损失函数，n是神经网络的层数；X¹是训练图像，当i＝2时，X^i-1即为X¹；所述训练图像具体是采用CIFAR-10图像数据集中的数据，并通过减去红、绿和蓝三个通道的均值来归一化图像数据集的彩色图像；L是X¹对应的类标；对于矩阵输入，f(x)和g(x)是逐元素的；φ(x)是激活函数，φ^-1是φ的逆函数；μ_i＞0是第i个惩罚项的参数；1是全1的列向量；||·||_F是Frobenius范数；若l(Xⁿ,L)关于Xⁿ是凸的，并且φ(x)是单增的，则LPOM关于Wⁱ和Xⁱ是块多凸的，即若其余变量保持不变，式1表示的目标函数关于Wⁱ和Xⁱ是凸的；

求解提升邻近算子机的神经网络优化方法包括如下步骤：

1)从神经网络训练图像中随机选取m¹个训练图像X¹和L，其中，m¹是批处理的大小，L是训练图像X¹对应的类标；

2)逐层更新网络激活Xⁱ，i＝1,…,n；执行操作21)～22)：

21)按i＝1,…,n-1顺序依次更新Xⁱ：循环式2直到收敛：

式2中，μ_i+1为第i+1个惩罚项的参数；

22)更新Xⁿ：循环式3直到收敛：

式3中，μ_n为第n个惩罚项的参数；

3)更新网络权值Wⁱ，i＝1,…,n-1：

具体地，假设是β平滑的，即不等式：成立；通过以下过程更新Wⁱ：

进行初始化：W^i,0、W^i,1、θ₀＝0；t＝1；其中，W^i,0和W^i,1是迭代更新Wⁱ的初始值，θ₀是参数θ的初始值，t是迭代次数；

31)计算θ_t：其中，θ_t＞0表示第t次迭代时参数θ的值；

32)计算Y^i,t：其中，Y^i,t表示第t次迭代更新Yⁱ；

33)计算W^i,t+1：其中，W^i,t+1表示第t+1次迭代更新Wⁱ，表示Xⁱ的伪逆；

34)迭代次数加1：t←t+1；

上述步骤21)，22)和3)均具有收敛性保证；

通过上述步骤，即完成采用求解提升邻近算子机的块坐标下降方法实现神经网络优化。

2.如权利要求1所述的神经网络优化方法，其特征是，所述的神经网络优化方法实现并行地更新神经网络每层的权值和网络激活。

3.如权利要求1所述的神经网络优化方法，其特征是，使用最小二乘损失函数：和ReLU激活函数：ReLU(x)＝max(x,0)，未使用任何正则化处理权值。