[发明专利]一种神经网络优化的图像识别方法

摘要

本发明公布了一种神经网络优化方法，称为提升邻近算子机LPOM，涉及深度学习技术领域。本发明方法不需要使用现有的一阶或者二阶导数信息直接优化神经网络，而是将神经网络转化为新的LPOM优化问题，再通过交替极小化方法求解LPOM优化问题。采用本发明方法，求解过程消除了神经网络的层状结构；可通过交替迭代法进行求解；求解方法可在一定程度上转化为随机算法，使得迭代时保持较小的计算量；对于超过20层的神经网络，采用本发明方法仍能够使得训练误差稳定地下降。

主权项

一种神经网络优化方法，称为提升邻近算子机LPOM，将神经网络转化为新的LPOM优化问题，再通过交替极小化方法求解LPOM优化问题；包括如下步骤：1)将神经网络的前向过程转化为LPOM优化问题；执行如下操作：11)将神经网络的前向过程描述成式1：s.t.Xi＝φ(Wi‑1Xi‑1)，i＝2,3,…,n其中，分别为样本的数据和标签；n1为输入训练样本特征的维度；m为训练样本个数；c为类别数；n为神经网络层数；为神经网络参数；Xi(i>1)为神经网络第i层的输出；φ(X)为神经网络激活函数；L(X,T)为目标损失函数；12)将式1中的等式约束转化为一个最小化问题；设φ(x)是单元函数，φ(X)表示对矩阵X的每个元素做φ(·)的映射；同时，设φ(x)为单调可导函数；φ‑1(x)表示φ(x)的反函数；利用一维临近算子将式1表示的优化问题转化为式8表示的LPOM问题：式8中，f(X)、g(X)分别按照式6、式7定义：f(x)＝∫(φ‑1(x)‑x)dx      (式6)g(x)＝∫(φ(x)‑x)dx        (式7)式7中，函数g(x)表示矩阵X的每个元素做g(x)的映射；13)对式8中求导，得到式9：μi(φ‑1(Xi)‑Wi‑1Xi‑1)+μi+1WiT(φ(WiXi)‑Wi+1)＝0，2≤i＜n    (式9)神经网络的前向过程Xi＝φ(Wi‑1Xi‑1)满足式9；2)求解LPOM优化问题：采用交替极小化与求解式8，包括如下操作：21)求解211)首先固定通过引用两个中间变量Zi与Yi(i＝2,3,…,n)，将式8改写成式10：s.t. Xi＝Zi,i＝2,3,…,n,Yi＝Wi‑1Xi‑1,i＝2,3,…,n，式10的增广拉格朗日函数表示为式11：其中，μi(i＝2,3,…,n)为罚因子；和为乘子；212)求解式11：首先考虑优化当i＝n时，得式12：选择L(X，T)为简单的平方损失函数，即得式13：当2≤i≤n‑1时，式11中的极小化问题改写为式14：Xi的解为式15：其中，I为对应大小的单位矩阵；其次，式11中的极小化问题表示为式16：采用梯度下降求解，表示为式17：其中，L1为的利普希茨常数；再者，对于的极小化问题，直接有解表示为式18：最后，更新乘子：通过上述过程，即完成求解22)求解221)首先固定的极小化问题表示为式21：采用梯度下降法求解如式22：Wi＝Wi‑γ(φ(WiXi)‑Xi+1)(Xi)T，i＝2,3,…,n，    (式22)其中，γ为步长；通过上述步骤求解LPOM优化问题，从而完成神经网络优化。