[发明专利]一种基于注意力机制和双模态图像的分类方法

说明书

本发明公开了一种基于注意力机制和双模态图像的分类方法，属于图像分类领域，对待分类项目的双模态图像数据进行预处理，将预处理后的双模态图像数据分为训练数据和测试数据；构建基于注意力机制的深度学习模型，将训练数据输入所述深度学习模型进行训练；利用反向传播及随机梯度下降算法对深度学习模型的网络参数进行优化，得到测试模型；将所述测试数据输入测试模型，通过前向传播得到该测试数据的分类结果；本发明通过模型的学习提取出了样本各自比较重要的特征，实现了更优的特征提取，最终可以得到更好的分类结果，分类准确率高；且本发明提出的方法是端到端的模型，而不需要分开训练两个模态的网络。

技术领域

本发明涉及图像分类领域，具体涉及一种基于注意力机制和双模态图像的分类方法。

背景技术

利用不同的成像原理、不同的传感器(设备)对于同一场景所采集到的不同图像即为多模态图像。随着计算机、电子信息等技术的迅速发展，传感器技术也得到飞速发展，图像的模态也越来越多样性，例如，医学图像中的MRI(Magnetic Resonance Imaging)图像、PET(Positron Emission Tomography)图像以及CT(Computed Tomography)图像等。

面对图像模态的多样性，多模态图像融合应运而生。多模态图像融合的目的是最大限度地提取各模态的图像信息，同时减少冗余信息。图像融合一般分为三个等级：像素级、特征级和决策级。像素级的处理对象是像素，最简单直接；特征级建立在抽取输入图像特征的基础上；决策级是对图像信息更高要求的抽象处理。常用的图像融合算法有加权平均法、IHS变换法、金字塔图像融合法等。

对于分类任务来说，显然，相比于单模态图像，多模态图像具有更多的信息，理应获得更好的分类效果。而目前利用双模态图像来进行分类的分类任务(例如医学图像分类)，存在双模态图像信息融合困难、分类精度低等问题；以及双模态图像往往不能使用端到端的模型的问题。

发明内容

本发明的目的在于：提供一种基于注意力机制和双模态图像的分类方法，解决了现有技术中双模态图像信息融合困难、分类精度低的技术问题。

本发明采用的技术方案如下：

一种基于注意力机制和双模态图像的分类方法，包括以下步骤：

步骤1：对待分类项目的双模态图像数据进行预处理，将预处理后的双模态图像数据分为训练数据和测试数据；

步骤2：构建基于注意力机制的深度学习模型，将训练数据输入所述深度学习模型进行训练；

步骤3：利用反向传播及随机梯度下降算法对深度学习模型的网络参数进行优化，得到测试模型；

步骤4：将所述测试数据输入测试模型，通过前向传播得到该测试数据的分类结果。

进一步的，所述步骤1中，双模态图像数据包括A模态图像数据和B模态图像数据，所述预处理使A模态图像数据和B模态图像数据的尺寸相同。

进一步的，所述步骤2中，基于注意力机制的深度学习模型包括主干网络和Attention支干网络，所述Attention支干网络用于输入B模态图像数据，输出主干网络特定层特征图的权重；

所述主干网络用于输入A模态图像数据并结合所述权重，输出最终的分类结果。

进一步的，所述主干网络包括若干个卷积层、若干个池化层、若干个ReLu单元、若干个全连接层、一个Attention module和一个softmax分类层；

所述Attention支干网络包括若干个卷积层、若干个池化层、若干个ReLu单元和一个归一化处理单元；

所述Attention支干网络归一化处理单元的输出输入至所述主干网络的Attention module。