[发明专利]一种图像分类方法、系统、介质及电子设备

权利要求书

1.一种图像分类方法，其特征在于：包括以下过程：

获取待分类的图像对；

对获取的图像对进行预处理；

对预处理后的图像对进行特征提取；

根据提取到的特征和预设神经网络模型，得到最终的分类结果；

其中，预设神经网络模型包括模板图像特征图，将待分类图像特征图与模板图像特征图串联，计算待分类图像特征图与模板图像特征图的相似度得分，以得分最高的类别为最终的分类结果；

模板图像特征图的获取，包括：

从多个类别中任取两类，每类有一个图片对，图片对为图片的两个模态；

利用预设卷积神经网络对图像 对进行特征提取，得到第一特征图与第二特征图；

使用余弦函数计算第一特征图与第二特征图之间的相关性得分，得到第一分数和第二分数；

第一分数与第一特征图点乘，第二分数与第二特征图点乘，经过一个卷积后，再分别与第一特征图与第二特征图像 加，得到融合后的特征图，以融合后的特征图为模板图像特征图；

使用余弦函数计算第一特征图与第二特征图之间的相关性得分，包括：

对提取到图片对的第一图片特征和第二图片特征进行归一化，得到f1_norm与f2_norm，将f1_norm进行通道重排得到f1_norm_1，f1_norm_1与f2_norm点乘的结果为第一得分；将f2_norm进行通道重排得到f2_norm_1，则f2_norm_1与f1_norm点乘的结果记为第二得分；

计算待分类图像特征图与模板图像特征图的相似度得分，包括：

使用一个多层的全连接网络进行特征学习，然后再通过softmax模块计算待测图像与模板图像的相似度，最终产生0到1范围内的标量，根据得到的标量判断待分类图像特征图与模板图像特征图的相似性。

2.如权利要求1所述的图像分类方法，其特征在于：

利用resnet34网络对预处理后的图像进行特征提取。

3.如权利要求1所述的图像分类方法，其特征在于：

预设神经网络模型的训练过程中，对数据集中的数据进行处理，包括：

利用Pytorch中transforms类对现有数据集进行尺度变换，将其变换为统一大小，再进行统一的归一化处理；

对原始数据集中的图像对进行相同的数据增强，不同图像对进行不同的数据增强；

增强后有标签数据集和无标签数据集的标签不变，且增强后有标签数据的每类数据的数据量一致或差异在预设范围内。