[发明专利]基于深度学习优化器的大规模图像分类方法

权利要求书

1.一种基于深度学习优化器的大规模图像分类方法，其特征是，构建新的深度学习优化器，利用图像训练数据和构建的深度学习优化器训练深度神经网络模型，得到训练好的图像分类深度神经网络模型；再将待分类的包含预定义类别的彩色图像输入到训练好的图像分类深度神经网络模型，模型的输出为图像的类别标签，由此实现大规模图像分类；包括如下步骤：

1)进行图像预处理，分别得到训练图像数据和待分类图像数据；

2)构建新的深度学习优化器，深度学习优化器的输入是单张彩色图像或批量彩色图像，输出为图像的类别标签；构建深度学习优化器包括如下过程：

21)对Nesterov加速算法进行改进，设计基于Nesterov加速算法改进的动量估计方法，表示为式1：

其中，k为迭代次数；g_k和g_k-1是第k次和第k-1次迭代的随机的梯度估计；ξ_k是均值为0的随机噪声；m_k是第k次迭代的一阶动量；η＞0是基础学习率；β₁是一阶动量的累积系数，取值为区间0-1；θ是可学习的网络参数；θ_k表示第k次迭代的网络参数；

22)通过新的动量估计方法与深度优化器中的自适应梯度方法，构建得到新的深度学习优化器；

将式1的改进动量估计方法用于深度学习优化器中的自适应梯度更新方法中的一阶动量与二阶动量，并为梯度差分项引入单独的累积系数β₂，进一步建立深度学习优化器，表示为式3：

其中，m_k，n_k分别为第k次迭代的一阶动量和二阶动量；v_k为第k次迭代的彩色图像的随机梯度差分动量；η_k是第k次迭代的广义学习率；最后一行的公式用于参数更新；向量的平方为按维度分别平方；是Hadamard内积；ε＞0是光滑参数；β₁，β₂和β₃分别是一阶动量、梯度差分动量和二阶动量的累积系数，取值为区间0-1；

3)利用训练图像数据和构建的深度学习优化器，训练深度神经网络模型，得到训练好的图像分类深度神经网络模型；将训练图像数据输入深度学习优化器，输出为图像的类别标签；

设置随机深度机制对深度神经网络模型进行训练；训练损失函数设置为交叉熵损失函数；在训练过程中采用余弦学习率衰减法衰减广义学习率的大小；

4)将待分类的包含预定义类别的彩色图像输入到训练好的图像分类深度神经网络模型，即可输出图像的类别标签；

通过上述步骤，实现基于深度学习优化器的大规模图像分类。

2.如权利要求1所述基于深度学习优化器的大规模图像分类方法，其特征是，在步骤22)建立的深度学习优化器之后，进一步地，通过引入权重衰减技术，得到带权重衰减的深度学习优化器；具体是：

对步骤22)建立得到的深度学习优化器引入权重衰减策略，得出带权重衰减的参数更新公式，表示为式6：

得到带权重衰减的Adan优化器，表示为式7：

其中，λ为权重衰减的系数。

3.如权利要求1所述基于深度学习优化器的大规模图像分类方法，其特征是，利用训练图像数据，并使用构建的深度学习优化器或带权重衰减的深度学习优化器训练给定的深度神经网络模型，得到训练好的图像分类深度神经网络模型；深度神经网络模型可包括ResNet-50网络模型和ResNet-101网络模型。

4.如权利要求3所述基于深度学习优化器的大规模图像分类方法，其特征是，采用带权重衰减的Adan进行训练时，选取权重衰减的系数为λ＝0.02，基本学习率η＝1.5e-2；并在训练的过程中采用余弦学习率衰减法去衰减η的大小。

5.如权利要求3所述基于深度学习优化器的大规模图像分类方法，其特征是，模型训练的数量批大小为4096；热启动轮数设置为60。