[发明专利]图像识别模型的训练方法、装置及图像识别方法、装置

说明书

本申请公开了一种图像识别模型的训练方法、装置及图像识别方法、装置，所述图像识别模型的训练方法包括：对原始图像进行特征提取，得到原始图像特征图；基于原始图像特征图，利用对抗混合网络对原始图像进行区域交换处理，得到交换图像及对应的交换图像权重；利用图像识别模型的共享权重网络，确定原始图像的识别结果及对应的第一损失函数值，以及交换图像的识别结果及对应的第二损失函数值；根据交换图像权重对第一损失函数值和所述第二损失函数值进行融合，根据融合后的损失函数值对图像识别模型的参数进行优化。本申请采用弱监督的方式进行区域混合，引入目标监督信息加快模型收敛，提高了目标区域的定位能力以及模型的识别能力。

技术领域

本申请涉及图像识别技术领域，具体涉及一种图像识别模型的训练方法、装置及图像识别方法、装置。

背景技术

近两年来，随着细粒度图像识别技术的发展，越来越多的识别工作通过在训练过程中构建难样本来进行学习训练，迫使网络自动学习更难以区分的细节特征，并以无监督+对抗混合的脉络优化发展。无监督阶段即将输入神经网络的图片进行随机的区域覆盖，对抗混合阶段即将输入神经网络的图片或者网络中的特征图进行部分区域切分互换。

目前通过构建难样本进行数据增强的方法在细粒度图像识别领域得到广泛应用，其中CutMix:Regularization Strategy to Train Strong Classifiers withLocalizable Features(CutMix数据增强：基于正则化策略训练可定位特征的强分类器)是2019年提出的一篇基于对抗混合进行区域难样本增强的方法，其利用随机Beta分布(贝塔分布)的参数确定裁剪互换区域的宽高，混合后输入网络进行前向预测，计算损失函数时，以该参数叠加类别权重损失，用这种方式迫使网络提升识别能力。

然而，发明人发现，现有的细粒度识别方法会导致识别模型存在波动、收敛效率低，且会增加模型对显著区域进行定位的学习难度。

发明内容

鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的图像识别模型的训练方法、装置及图像识别方法、装置。

依据本申请的第一方面，提供了一种图像识别模型的训练方法，包括：

对原始图像进行特征提取，得到原始图像特征图；

基于所述原始图像特征图，利用对抗混合网络对所述原始图像进行区域交换处理，得到交换图像及对应的交换图像权重；

利用图像识别模型的共享权重网络，确定所述原始图像的识别结果及对应的第一损失函数值，以及所述交换图像的识别结果及对应的第二损失函数值；

根据所述交换图像权重对所述第一损失函数值和所述第二损失函数值进行融合，根据融合后的损失函数值对所述图像识别模型的参数进行优化。

可选地，所述基于所述原始图像特征图，利用对抗混合网络对所述原始图像进行区域交换处理，得到交换图像及对应的交换图像权重包括：

获取图像识别模型的注意力模块对所述原始图像特征图进行处理得到的原始图像的注意力分割图；

基于所述注意力分割图，利用所述对抗混合网络对所述原始图像进行区域交换处理。

可选地，所述原始图像的数量为多个，所述基于所述原始图像特征图，利用对抗混合网络对所述原始图像进行区域交换处理，得到交换图像及对应的交换图像权重包括：

基于所述注意力分割图，对各原始图像进行定位标记，确定各原始图像中的目标区域；

根据各原始图像的目标区域，确定两个目标原始图像之间的交换区域；

将所述两个目标原始图像之间的交换区域进行交换，得到所述交换图像。