[发明专利]图像处理与图像比对模型的训练方法、装置和系统

说明书

本申请涉及一种图像处理与图像比对模型的训练方法、装置、系统、计算机设备和可读存储介质。所述方法包括：获取待比对的目标图像；将目标图像输入预先训练的图像比对模型，输出所述目标图像的图像特征；所述图像比对模型是基于包括自监督损失在内的损失函数训练得到的，所述自监督损失包括训练样本中同一对象的不同模态图像的对象分类数据之间的损失，所述对象分类数据是基于图像特征进行分类处理所得到的；将所述目标图像的图像特征和底库图像组中底库图像的图像特征进行比对，得到比对结果。采用本方法通过引入自监督损失进行训练，不需要任何额外的标注成本，提高了跨模态比对的准确性。

技术领域

本申请涉及图像处理技术领域，特别是涉及一种图像处理与图像比对模型的训练方法、装置、系统、计算机设备和可读存储介质。

背景技术

目前，基于人脸识别技术的应用场景越来越多。一般情况下，人脸识别所采用的底库图为RGB图，而因为暗光环境等条件的限制抓拍图为IR(Infrad，红外)图，因此存在诸如RGB图和IR图的人脸比对这样的跨模态图像比对的需求。

传统的一种方案是通过多模态的图像训练样本的交叉熵损失来训练得到卷积神经网络，基于训练得到的卷积神经网络实现跨模态图像比对。

然而，上述跨模态图像比对方案存在误识率过高的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高准确性的图像处理与图像比对模型的训练方法、装置、系统、计算机设备和可读存储介质。

第一方面，一种图像处理方法，所述方法包括：

获取待比对的目标图像；

将所述目标图像输入预先训练的图像比对模型，输出所述目标图像的图像特征；所述图像比对模型是基于包括自监督损失在内的损失函数训练得到的，所述自监督损失包括训练样本中同一对象的不同模态图像的对象分类数据之间的损失，所述对象分类数据是基于图像特征进行分类处理所得到的；

将所述目标图像的图像特征和底库图像组中底库图像的图像特征进行比对，得到比对结果；其中，所述底库图像组包括至少一个底库图像，所述底库图像和所述目标图像为不同模态的两个图像，所述底库图像的图像特征是所述图像比对模型从所述底库图像中提取的。

在其中一个实施例中，用于训练所述图像比对模型的损失函数还包括：交叉熵损失；所述交叉熵损失包括训练样本中各图像的对象标签数据与对象分类数据之间的损失。

在其中一个实施例中，用于训练所述图像比对模型的损失函数还包括：三元组损失；所述三元组损失包括训练样本中三元图像组中各图像的图像特征之间的损失，所述三元图像组包括：参考图像、正样本图像和负样本图像，所述参考图像和所述正样本图像为同一对象的不同模态的两个图像，所述参考图像和所述负样本图像为不同对象的同一模态的两个图像。

在其中一个实施例中，所述图像比对模型的训练方式包括：

获取训练样本；所述训练样本包括多个对象的不同模态的图像，所述训练样本中各图像标注有对象标签数据和模态标签数据；

将所述训练样本中各图像输入初始的图像比对模型中，输出所述各图像的图像特征，以及基于图像特征进行分类处理所得到的各图像的对象分类数据；

根据所述各图像的图像特征和对象分类数据，计算所述训练样本的自监督损失、三元组损失、交叉熵损失，以及计算所述训练样本的损失函数的值；

根据所述训练样本的损失函数的值，对所述初始的图像比对模型的参数进行调整，得到所述图像比对模型。

在其中一个实施例中，所述根据所述各图像的图像特征和对象分类数据，计算所述训练样本的自监督损失、三元组损失、交叉熵损失，包括：