[发明专利]图像识别模型的训练方法、训练装置和训练网络

说明书

本申请涉及图像识别模型的训练方法、训练装置、训练网络和设备终端，该训练方法通过卷积神经网络对输入的训练图像数据集进行特征提取处理，以得到第一损失函数值，获取卷积神经网络中多个中间层输出的特征图，将各个中间层输出的特征图分别输入到各自对应的预设ViT网络进行特征提取处理，以得到各个预设ViT网络各自对应的第二损失函数值，根据各自对应的第二损失函数值，分别对各个预设ViT网络进行权重和偏置更新，根据第一损失函数值和各个预设ViT网络各自对应的第二损失函数值对卷积神经网络进行权重和偏置更新，循环执行上述步骤以生成对应的图像识别模型。上述训练方法能够将传统的卷积神经网络结构和ViT网络进行融合。

技术领域

本申请涉及图像识别领域，具体涉及一种图像识别模型的训练方法、训练装置、训练网络和设备终端。

背景技术

目前，将ViT网络模型(Vision Transformer，视觉转换器)应用在计算机视觉上以替代CNN(Convolutional Neural Networks，卷积神经网络)是计算机视觉研究的热点，ViT网络模型本质上是利用视觉自注意力网络机制关注图片中各部分的重要信息，从而输出对应的预测结果。

由于上述方法较为新颖，使用到很多在卷积神经网络中不常用或出现频率较低的特殊算子，而此类特殊算子往往不能被移动端设备很好的支持，进而导致现有计算机视觉领域的有效方法往往无法直接与这种采用ViT网络模型的新型视觉方法进行结合。

发明内容

鉴于此，本申请提供一种图像识别模型的训练方法、训练装置、训练网络和设备终端，能够在利用传统的卷积神经网络结构的基础上，进一步结合ViT网络的优点，将传统的卷积神经网络结构和ViT网络进行融合，以克服现有计算机视觉领域的有效方法往往无法直接与这种采用ViT网络的新型视觉方法进行结合的缺点。

一种图像识别模型的训练方法，包括：

通过卷积神经网络对输入的训练图像数据集进行特征提取处理，以得到卷积神经网络对应的第一损失函数值；

获取卷积神经网络中多个中间层输出的特征图；

将各个中间层输出的特征图分别输入到各自对应的预设ViT网络进行特征提取处理，以得到各个预设ViT网络各自对应的第二损失函数值；

根据各自对应的第二损失函数值，分别对各个预设ViT网络进行权重和偏置更新；

根据第一损失函数值和各个预设ViT网络各自对应的第二损失函数值对卷积神经网络进行权重和偏置更新；

循环执行上述步骤，直至卷积神经网络对应的第一预设损失函数收敛以生成对应的图像识别模型。

在一个实施例中，通过卷积神经网络对输入的训练图像数据集进行特征提取处理，以得到卷积神经网络对应的第一损失函数值的步骤包括：

通过卷积神经网络对输入的训练图像数据集进行特征提取处理，以生成对应的预测值；

根据第一预设损失函数、预测值和预设标注值，得到卷积神经网络对应的第一损失函数值。

在一个实施例中，第一预设损失函数采用交叉熵损失函数，通过卷积神经网络对输入的训练图像数据集进行特征提取处理，以生成对应的预测值的步骤之前还包括：

基于交叉熵损失函数，将训练图像数据集输入到初始卷积神经网络进行训练，直至交叉熵损失函数收敛，得到训练收敛后的卷积神经网络。

在一个实施例中，中间层为池化层，将各个中间层输出的特征图分别输入到各自对应的预设ViT网络进行特征提取处理，以得到各个预设ViT网络各自对应的第二损失函数值的步骤包括：

将多个池化层输出的特征图分别输入到各自对应的预设ViT网络进行特征提取处理，以获取各自对应的预测标签值；