[发明专利]一种图像分类方法、系统、介质及电子设备

说明书

本公开提供了一种图像分类方法、系统、介质及电子设备，获取待分类的图像对；对获取的图像对进行预处理；对预处理后的图像对进行特征提取；根据提取到的特征和预设神经网络模型，得到最终的分类结果；其中，预设神经网络模型包括模板图像特征图，将待分类图像特征图与模板图像特征图串联，计算待分类图像特征图与模板图像特征图的相似度得分，以得分最高的类别为最终的分类结果；本公开引入孪生网络结构解决了小数据问题，引入模态相关性学习模块来充分挖掘多个模态之间的相关性特征，引入注意力融合模块来学习两个模态特征的注意力，并对相关性特征赋予较高的注意力，极大的提高了图像分类结果的准确性。

技术领域

本公开涉及图像处理技术领域，特别涉及一种图像分类方法、系统、介质及电子设备。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术，并不必然构成现有技术。

图像分类是计算机视觉的重要研究方向，在图像分析、身份认证、疾病诊断等众多任务中具有广泛的应用。虽然现有的方法在图像分类任务中取得了较好的性能，然而对于某些任务，只是用单一模态的图像进行分类难以达到令人满意的效果。例如，在乳腺癌辅助诊断任务中，钼靶图像和超声图像各有优势和缺陷，只使用单一模态的图像难以获得精准的诊断结果。因此，融合多模态图像的信息可以克服单模态图像的信息表达有效的局限性，有助于进一步提升分类性能。

深度学习由于其强大的特征学习能力，已被广泛应用到图像识别任务中。然而相比较单模态图像，多模态图像数据较少(例如，在医学图像处理任务中，很难收集到大量的多模态图像)，且现有的深度学习方法并未考虑到多模态图像之间的信息交互，限制了分类性能的提升。

发明内容

为了解决现有技术的不足，本公开提供了一种图像分类方法、系统、介质及电子设备，引入孪生网络结构解决了小数据问题，引入模态相关性学习模块来充分挖掘多个模态之间的相关性特征，引入注意力融合模块来学习两个模态特征的注意力，并对相关性特征赋予较高的注意力，极大的提高了图像分类结果的准确性。

为了实现上述目的，本公开采用如下技术方案：

本公开第一方面提供了一种图像分类方法。

一种图像分类方法，包括以下过程：

获取待分类的图像对；

对获取的图像对进行预处理；

对预处理后的图像对进行特征提取；

根据提取到的特征和预设神经网络模型，得到最终的分类结果；

其中，预设神经网络模型包括模板图像特征图，将待分类图像特征图与模板图像特征图串联，计算待分类图像特征图与模板图像特征图的相似度得分，以得分最高的类别为最终的分类结果。

进一步的，模板图像特征图的获取，包括：

从多个类别中任取两类，每类有一个图片对，图片对为图片的两个模态；

利用预设卷积神经网络对图像 对进行特征提取，得到第一特征图与第二特征图；

使用余弦函数计算第一特征图与第二特征图之间的相关性得分，得到第一分数和第二分数；

第一分数与第一特征图点乘，第二分数与第二特征图点乘，经过一个卷积后，再分别与第一特征图与第二特征图像 加，得到融合后的特征图，以融合后的特征图为模板图像特征图。

更进一步的，使用余弦函数计算第一特征图与第二特征图之间的相关性得分，包括：