[发明专利]一种神经网络优化的图像识别方法

权利要求书

1.一种神经网络优化的图像识别方法，称为提升邻近算子机LPOM，针对图像数据集进行图像处理，将神经网络转化为新的LPOM优化问题，再通过交替极小化方法求解LPOM优化问题；包括如下步骤：

1)将神经网络的前向过程转化为LPOM优化问题；执行如下操作：

11)将神经网络的前向过程描述成式1：

s.t.Xⁱ＝φ(W^i-1X^i-1)，i＝2，3，…，n

其中，分别为样本的数据和标签；n₁为输入训练样本特征的维度；m为训练样本个数；c为类别数；n为神经网络层数；为神经网络参数；Xⁱ(i＞1)为神经网络第i层的输出；φ(X)为神经网络激活函数；L(X，T)为目标损失函数；所述样本为图像数据集中的图像；

12)将式1中的等式约束转化为一个最小化问题；

设φ(x)是单元函数，φ(X)表示对矩阵X的每个元素做φ(·)的映射；同时，设φ(x)为单调可导函数；φ^-1(x)表示φ(x)的反函数；

利用一维临近算子将式1表示的优化问题转化为式8表示的LPOM问题：

式8中，f(X)、g(X)分别按照式6、式7定义：

f(x)＝∫(φ^-1(x)-x)dx (式6)

g(x)＝∫(φ(x)-x)dx (式7)

式7中，函数g(x)表示矩阵X的每个元素做g(x)的映射；

13)对式8中求导，得到式9：

μ_i(φ^-1(Xⁱ)-W^i-1X^i-1)+μ_i+1W^iT(φ(WⁱXⁱ)-Wⁱ⁺¹)＝0，2≤i＜n (式9)

神经网络的前向过程Xⁱ＝φ(W^i-1X^i-1)满足式9；

2)求解LPOM优化问题：

采用交替极小化与求解式8，包括如下操作：

21)求解

211)首先固定通过引用两个中间变量Zⁱ与Yⁱ(i＝2，3，…，n)，将式8改写成式10：

s.t.Xⁱ＝Zⁱ，i＝2，3，…，n，

Yⁱ＝W^i-1X^i-1，i＝2，3，…，n，

式10的增广拉格朗日函数表示为式11：

其中，μ_i(i＝2，3，…，n)为罚因子；和为乘子；

212)求解式11：

首先考虑优化当i＝n时，得式12：

选择L(X，T)为简单的平方损失函数，即得式13：

当2≤i≤n-1时，式11中的极小化问题改写为式14：

Xⁱ的解为式15：

其中，I为对应大小的单位矩阵；

其次，式11中的极小化问题表示为式16：

采用梯度下降求解，表示为式17：

其中，L₁为的利普希茨常数；

再者，对于的极小化问题，直接有解表示为式18：

最后，更新乘子：

通过上述过程，即完成求解

22)求解

221)首先固定的极小化问题表示为式21：

采用梯度下降法求解如式22：

Wⁱ＝Wⁱ-γ(φ(WⁱXⁱ)-Xⁱ⁺¹)(Xⁱ)^T，i＝1，2，3，…，n-1 (式22)

其中，γ为步长；

通过上述步骤求解LPOM优化问题，从而完成神经网络优化。

2.如权利要求1所述神经网络优化的图像识别方法，其特征是，在优化过程中，首先选择一小批样本求出然后对采用随机梯度下降法进行优化，由此达到减小每步迭代的计算量的目的。