[发明专利]图像处理与图像比对模型的训练方法、装置和系统

权利要求书

1.一种图像处理方法，其特征在于，所述方法包括：

获取待比对的目标图像；

将所述目标图像输入预先训练的图像比对模型，输出所述目标图像的图像特征；所述图像比对模型是基于包括自监督损失在内的损失函数训练得到的，所述自监督损失包括训练样本中同一对象的不同模态图像的对象分类数据之间的损失，所述对象分类数据是基于图像特征进行分类处理所得到的；

将所述目标图像的图像特征和底库图像组中底库图像的图像特征进行比对，得到比对结果；其中，所述底库图像组包括至少一个底库图像，所述底库图像和所述目标图像为不同模态的两个图像，所述底库图像的图像特征是所述图像比对模型从所述底库图像中提取的。

2.根据权利要求1所述的方法，其特征在于，用于训练所述图像比对模型的损失函数还包括：交叉熵损失；所述交叉熵损失包括训练样本中各图像的对象标签数据与对象分类数据之间的损失。

3.根据权利要求2所述的方法，其特征在于，用于训练所述图像比对模型的损失函数还包括：三元组损失；所述三元组损失包括训练样本中三元图像组中各图像的图像特征之间的损失，所述三元图像组包括：参考图像、正样本图像和负样本图像，所述参考图像和所述正样本图像为同一对象的不同模态的两个图像，所述参考图像和所述负样本图像为不同对象的同一模态的两个图像。

4.根据权利要求3所述的方法，其特征在于，所述图像比对模型的训练方式包括：

获取训练样本；所述训练样本包括多个对象的不同模态的图像，所述训练样本中各图像标注有对象标签数据和模态标签数据；

将所述训练样本中各图像输入初始的图像比对模型中，输出所述各图像的图像特征，以及基于图像特征进行分类处理所得到的各图像的对象分类数据；

根据所述各图像的图像特征和对象分类数据，计算所述训练样本的自监督损失、三元组损失、交叉熵损失，以及计算所述训练样本的损失函数的值；

根据所述训练样本的损失函数的值，对所述初始的图像比对模型的参数进行调整，得到所述图像比对模型。

5.根据权利要求4所述的方法，其特征在于，所述根据所述各图像的图像特征和对象分类数据，计算所述训练样本的自监督损失、三元组损失、交叉熵损失，包括：

根据所述各图像的对象标签数据和模态标签数据，对所述各图像进行分组；

根据分组的各图像的图像特征和对象分类数据，计算所述训练样本的自监督损失、三元组损失、交叉熵损失。

6.根据权利要求4所述的方法，其特征在于，所述训练样本包括多个图像集合，每个图像集合包括：至少四个图像，所述四个图像分属两个不同对象，分属于同一对象的两个图像为不同模态的两个图像。

7.根据权利要求6所述的方法，其特征在于，所述根据所述各图像的图像特征和对象分类数据，计算所述训练样本的自监督损失、三元组损失、交叉熵损失，以及计算所述训练样本的损失函数的值，包括：

针对所述多个图像集合，根据所述图像集合中四个图像的图像特征和对象分类数据，计算所述图像集合中两个不同对象各自的自监督损失、两个不同对象各自的三元组损失、以及四个图像各自的交叉熵损失；

根据所述各图像集合中两个不同对象各自的自监督损失、两个不同对象各自的三元组损失、以及四个图像各自的交叉熵损失，计算所述训练样本的损失函数的值。

8.根据权利要求4所述的方法，其特征在于，所述图像比对模型包括：特征提取子模型和对象分类子模型；

所述将所述训练样本中各图像输入初始的图像比对模型中，输出所述各图像的图像特征，以及基于图像特征进行分类处理所得到的各图像的对象分类数据，包括：

将所述训练样本中各图像输入所述特征提取子模型中，输出所述各图像的图像特征；

将所述各图像的图像特征输入所述对象分类子模型中，输出所述各图像的对象分类数据。

9.根据权利要求8所述的方法，其特征在于，所述特征提取子模型和对象分类子模型均为神经网络模型。