[发明专利]红外图像和可见光图像的融合方法、装置及可读存储介质

说明书

本申请公开了一种红外图像和可见光图像的融合方法、装置及计算机可读存储介质。其中，方法包括基于深度学习方法训练卷积神经网络模型得到包含编码模块和解码模块的编码‑解码模型；编码模块的每一个卷积网络层输出的特征图分辨率保持不变、且每一卷积网络层的输出都与其之前的每一个网络卷积层前向连接。获取航天靶场光学设备于同一时刻拍摄同一目标的可见光图像和红外图像，响应图像特征提取指令调用编码模块对这两幅图像进行图像特征提取得到红外图像特征和可见光特征；将红外图像特征和可见光特征进行融合得到融合图像特征；调用解码模块对融合图像特征进行解码重建以响应图像融合指令，从而得到包含图像特征信息更多的高质量融合图像。

技术领域

本申请涉及图像处理技术领域，特别是涉及一种红外图像和可见光图像的融合方法、装置及计算机可读存储介质。

背景技术

随着红外技术的快速发展，同时配备可见光相机和红外相机的光学设备越来越多，例如航天靶场光学设备，该设备用于对火箭飞行实况景象进行记录。可以理解的是，不同成像类型的相机的成像特点不同，可见光相机分辨率高，细节信息丰富，红外相机不受背景照度影响，可用性较高。因此，通过融合红外图像与可见光图像将两者的优势进行互补，可以获得质量更高的图像。

传统红外与可见光图像融合方法一般基于多尺度分解方法，这种方法需要手工设计特征提取方法和特征融合策略，适用性较差。为了解决传统图像融合方法的缺陷，相关技术基于神经网络且采用降采样方法进行特征提取，然后基于提取后的特征直接进行图像融合。而基于降采样的特征提取方法往往都伴随着特征位置信息的丢失，基于提取特征直接进行图像融合会导致较多的图像信息丢失，最终得到的融合图像不满足用户的高质量需求。

鉴于此，如何得到包含图像特征信息更多的高质量融合图像，是所属领域技术人员需要解决的技术问题。

发明内容

本申请提供了一种红外图像和可见光图像的融合方法、装置及计算机可读存储介质，获取得到了包含图像特征信息更多的高质量融合图像。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例一方面提供了一种红外图像和可见光图像的融合方法，包括：

预先训练包含编码模块和解码模块的编码-解码模型；所述编码模块和所述解码模块均为基于深度学习方法训练卷积神经网络模型所得，所述编码模块的每一个卷积网络层输出的特征图分辨率保持不变、且每一卷积网络层的输出都与其之前的每一个网络卷积层前向连接；

调用所述编码模块对航天靶场光学设备于同一时刻拍摄同一目标的待融合可见光图像和待融合红外图像进行图像特征提取以响应图像特征提取指令，得到红外图像特征和可见光特征；

将所述红外图像特征和所述可见光特征进行融合以响应特征融合指令，得到融合图像特征；

调用所述解码模块对所述融合图像特征进行解码重建以响应图像融合指令，得到融合图像。

可选的，所述解码模块采用对称U型结构，所述调用所述解码模块对所述融合图像特征进行解码重建以响应图像融合指令，得到融合图像包括：

将所述融合图像特征发送至所述编码-解码模型的解码模块中，以使所述解码模块采用所述对称U型结构将当前网络层的特征图与所述编码模块输出的特征图不断进行叠加直至重建得到所述融合图像。

可选的，所述编码模块包括第一卷积网络层、第二卷积网络层、第三卷积网络层和第四卷积网络层，且各卷积网络层输入的特征图数量逐渐增加；

其中，所述第一卷积网络层、所述第二卷积网络层、所述第三卷积网络层和所述第四卷积网络层的卷积核尺寸均为[3，3]，卷积步长均为[1，1]，输出的特征图的分辨率均为[256，320]。

可选的，所述将所述红外图像特征和所述可见光特征进行融合以响应特征融合指令，得到融合图像特征包括：