[发明专利]红外与可见光图像融合方法、装置及计算机存储介质

说明书

本发明提供一种红外与可见光图像融合方法，所述图像融合方法包括步骤：S1、获取红外与可见光图像的源图像数据集，并进行数据集扩增；S2、设计联合注意力机制，通过所述联合注意力机制提取扩增后的源图像数据集中的特征，并抑制噪声信息；S3、构建网络模型，所述网络模型至少包括图像输入模块、联合注意力机制编码模块以及卷积解码模块；S4、对所述网络模型进行训练与测试，将源图像输入训练后的网络模型，得到融合图像。通过本发明的图像融合方法获得的融合图像纹理细节丰富、红外目标显著，具有更好的视觉效果。

技术领域

本发明属于图像融合技术领域，具体涉及一种红外与可见光图像融合方法、装置及计算机存储介质，更具体的涉及一种基于深度学习和联合注意力机制的红外与可见光图像融合方法、装置及计算机存储介质。

背景技术

随着计算机科学、集成电路系统以及传感器技术的发展，图像的获取方式不再局限于单一的传感器。不同传感器获得的不同模态图像可反映同一场景或物体的不同特征。将不同模态图像融合可对特征进行针对性互补，构建信息量丰富且可靠的融合图像。红外图像反映场景中不同物体的热辐射强度，不易受天气条件、环境因素等影响，但是图像的分辨率较低。可见光传感器根据物体反射率成像，图像中环境细节丰富，具有较高的解析度。但是可见光成像受光照条件等影响较大，存在探测距离较短、环境适应性差等缺点。将红外与可见光图像融合可获得目标显著和环境细节丰富的融合图像，有利于实现全天候隐藏目标探查、识别等军事任务，也可为公共安全、工业生产、天文图像分析等提供支持，具有重要研究意义。

目前，依据特征提取方式及融合实现过程的不同，图像融合方法主要分为传统融合方法和基于深度学习的融合方法两大类。传统方法发展较早，主要以多尺度变换、稀疏表示及其他空间域方法为主。由于其需要人为手动设计复杂的活动水平测量方法及融合规则，融合模型的灵活性和拓展性较差。为提高融合效果，大量的变换和分解计算严重影响融合效率，瓶颈问题逐渐显现。近年来，人工智能领域中深度学习方法在图像处理中优势逐步显现。基于卷积神经网络的融合方法具有较强的特征提取和表征能力，通过训练深层神经网络模型可自动实现对源图像特征的深度提取与融合，模型适应性强，计算效率较高，但同样面临多个问题。首先，由于无法获得融合图像标签，部分方法需要在其他数据集上采用有监督方式进行预训练，预训练结果对融合网络影响较大；其次，网络模型设计时，针对不同模态源图像的显著特征关注较少，融合图像视觉效果一般；此外，目前的融合网络损失函数设计无法实现更多的源图像信息保留至融合图像中。

发明内容

本发明为解决上述问题，提供一种基于深度学习和联合注意力机制的新型红外与可见光图像融合方法。

为实现上述目的，本发明采用以下具体技术方案：

本发明提供一种红外与可见光图像融合方法，所述图像融合方法包括步骤：

S1、获取红外与可见光图像的源图像数据集，并进行数据集扩增；

S2、设计联合注意力机制，通过所述联合注意力机制提取扩增后的源图像数据集中的特征，并抑制噪声信息；

S3、构建网络模型，所述网络模型至少包括图像输入模块、联合注意力机制编码模块以及卷积解码模块；

S4、对所述网络模型进行训练与测试，将源图像输入训练后的网络模型，得到融合图像。

优选地，所述源图像数据集包括源图像对，所述数据集扩增包括通过移动裁剪的方式将源图像对扩增为尺寸为128*128像素的图像对。

优选地，设计的联合注意力机制中注意力子网络包括三个不同分支，每个分支均由通道注意力子网络和空间注意力子网络串联组成。

优选地，所述每个分支中的空间注意力子网络分别采用不同的感受野进行卷积计算。

优选地，所述不同的感受野分别包括3*3的卷积核、5*5的卷积核和7*7的卷积核。