[发明专利]基于隐式欧拉跳跃连接的残差神经网络的图像识别方法

权利要求书

1.一种基于含有隐式欧拉跳跃连接的残差神经网络模型的图像识别方法，将隐式欧拉数值方法与残差网络模型中的跳跃连接相结合，建立具有更强鲁棒性的改进模型：含有隐式欧拉跳跃连接的残差神经网络，该改进模型的输入为图像数据及所对应的标签，输出为图像的预测分类，由此实现更加稳定的图像识别；

包括如下步骤：

1)首先将图像数据分为训练样本与测试样本；

2)对训练样本进行图像增强预处理；

3)构建网络模型进行训练：选择网络模型的宽度、深度和残差模块的具体结构；然后利用隐式欧拉跳跃连接得到含有隐式欧拉跳跃连接结构的残差网络模型；将经过预处理的训练样本输入含有隐式欧拉跳跃连接结构的残差网络模型进行训练，得到训练好的含有隐式欧拉跳跃连接的残差神经网络模型；

包括如下过程：

31)构造含有隐式欧拉跳跃连接的残差神经网络，包括如下操作：

311)构造隐式欧拉跳跃连接结构IE-Skips：将现有残差跳跃连接通过多次梯度下降迭代来近似数值ODE中的隐式欧拉算法，由此得到改进的残差网络中的跳跃连接IE-Skips，并在残差神经网络模型中使用改进的残差网络中的跳跃连接，提高神经网络模型的鲁棒性；

构造隐式欧拉跳跃连接结构IE-Skips，具体包括如下过程：

3111)将残差神经网络的第k个阶段的输出x_k和第k+1个阶段的输出x_k+1的关系表示为式1：

x_k+1＝x_k+f_k+1(x_k) 式1

其中，f_k+1(·)表示第k+1个阶段的残差模块；x_k为第k个阶段的输出；x_k+1为第k+1个阶段的输出；操作“x_k+”为残差网络中的跳跃连接结构，该结构对应于数值ODE的显式欧拉方法；

3112)将含有隐式欧拉跳跃连接结构的残差网络的第k个阶段的输出x_k出和第k+1个阶段的输出x_k+1的关系表示为式2：

x_k+1＝x_k+f_k+1(x_k+1) 式2

其中，f_k+1(·)表示第k+1个阶段的残差模块；x_k为第k个阶段的输出；x_k+1为第k+1个阶段的输出；

3113)在式1表示的残差神经网络的基础上，引入非线性最小二乘优化到神经网络的前馈过程，即优化x_k+1使其最小，由此使得在神经网络中逼近式2所表示的隐式欧拉方法，表示为式3：

其中，f_k+1(·)表示第k+1个阶段的残差块；x_k为第k个阶段的输出；x_k+1为第k+1个阶段的输出；

312)将IE-Skips与其他任意的残差神经网络族中的神经网络模型相结合，构成含有隐式欧拉跳跃连接的残差神经网络，使得所述含有隐式欧拉跳跃连接的残差神经网络达到更好的模型表达和泛化能力，显著提高采用神经网络模型进行图像识别的鲁棒性；

32)将经过预处理的训练样本输入含有隐式欧拉跳跃连接结构的残差网络模型进行训练，包括如下过程：

先将步骤2)预处理的数据输入步骤31)构建的含有隐式欧拉跳跃连接结构的残差网络模型；

然后根据输出结果训练标签和损失函数计算得到损失；

接着根据计算得到的损失计算网络模型中具体参数的梯度并更新参数；

重复迭代上述过程，直到损失收敛或达到迭代次数上限为止，即得到训练好的含有隐式欧拉跳跃连接结构的残差网络模型；

4)利用步骤3)构建并训练好的鲁棒的含有隐式欧拉跳跃连接结构的深度残差网络模型，对待测的测试图像样本进行图像识别，即得到预测的分类标签；由此实现图像的分类识别；其中，所述测试图像样本无需进行复杂预处理，只需将测试图像样本通过中心裁剪成网络模型所要求的大小即可。