[发明专利]基于注意力的多交互网络的多模态图像分类系统及方法

说明书

本发明属于图像处理技术领域，提供了基于注意力的多交互网络的多模态图像分类系统及方法，本发明利用U‑net网络结构，将低级视觉特征与高级语义特征进行融合。引入注意力网络来解决特征区分性弱的问题，并对区分性特征赋予较高的注意力，使得起其在最后分类过程中起重要的作用。引入充分的多模态交互机制，使多个模态之间获得更有效的相关性信息以及判别性信息，完成多个模态之间的充分交互，解决了多模态图像分类任务中特征区分性弱以及模态间交互不充分的问题。

技术领域

本发明属于图像处理技术领域，尤其涉及基于注意力的多交互网络的多模态图像分类系统及方法。

背景技术

图像分类是计算机视觉任务的重要组成部分，也是视觉方向被广泛研究的核心任务。深度学习技术的发展，使得图像分类任务有了质的突破，但是对于某些特定的任务仍存在一些弊端。在基于深度学习的图像处理任务中，如果仅使用单模态的数据进行图像分类，分类性能难以达到令人满意的效果。例如，在乳腺癌辅助诊断中，钼靶图像模态和超声图像模态的对分类性能各有利弊，仅使用单一模态的图像，会导致分类性能差，不利于临床的辅助诊断。

深度学习由于其优秀的特征表达能力，已被广泛的应用到涉及图像、视频、语音等多媒体数据的分类和识别等任务中。然而现有的大多数深度学习方法忽略了多个模态图像融合中模态之间充分的交互，限制了图像分类性能的提升。

发明内容

为了解决上述背景技术中存在的至少一项技术问题，本发明提供基于注意力的多交互网络的多模态图像分类系统及方法，其引入充分的多模态交互机制，使多个模态之间获得更有效的相关性信息以及判别性信息，完成多个模态之间的充分交互。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供基于注意力的多交互网络的多模态图像分类系统，包括：

特征向量提取模块用于从多模态图像提取关键特征信息；

先验模块用于接收关键特征信息，利用多个模态的先验知识，计算模态间的相关性，得到第一特征图集合；

通道交互模块用于接收第一特征图集合，将第一特征图集合在信道维度上对多个特征进行模态融合，得到第二特征图集合；

模态融合模块用于接收第二特征图集合，对具有相关性和融合模态的特征图进行建模，得到各自模态关注区域的特征，基于各自模态关注区域的特征进行相似度计算得到对应的第三特征图集合；

图像分类模块用于基于训练好的分类网络模型对第三特征图集合进行分类，计算对应的类别得分，类别得分的最大值所对应的类别即为最终的分类结果。

本发明的第二个方面提供基于注意力的多交互网络的多模态图像分类方法，包括如下步骤：

从多模态图像提取关键特征信息；

基于关键特征信息，利用多个模态的先验知识，计算模态间的相关性，得到第一特征图集合；

基于第一特征图集合，将第一特征图集合在信道维度上对多个特征进行模态融合，得到第二特征图集合；

基于第二特征图集合，对具有相关性和融合模态的特征图进行建模，得到各自模态关注区域的特征，基于各自模态关注区域的特征进行相似度计算得到对应的第三特征图集合；

基于训练好的分类网络模型对第三特征图集合进行分类，计算对应的类别得分，类别得分的最大值所对应的类别即为最终的分类结果。

与现有技术相比，本发明的有益效果是：

本发明通过引入充分的多模态交互机制，使多个模态之间获得更有效的相关性信息以及判别性信息，完成多个模态之间的充分交互。与之前传统多模态分类方法聚焦于模态的融合，模态之间的交互不充分相对比，此方法在图像数据分类方面表现出了优异性。