[发明专利]红外图像和可见光图像的融合方法、装置及可读存储介质

权利要求书

1.一种红外图像和可见光图像的融合方法，其特征在于，包括：

预先训练包含编码模块和解码模块的编码-解码模型；所述编码模块和所述解码模块均为基于深度学习方法训练卷积神经网络模型所得，所述编码模块的每一个卷积网络层输出的特征图分辨率保持不变、且每一卷积网络层的输出都与其之后的每一个网络卷积层前向密集连接；所述解码模块采用对称U型结构，其用于图像重建；

调用所述编码模块对航天靶场光学设备于同一时刻拍摄同一目标的待融合可见光图像和待融合红外图像进行图像特征提取以响应图像特征提取指令，得到红外图像特征和可见光特征；

将所述红外图像特征和所述可见光特征进行融合以响应特征融合指令，得到融合图像特征；

调用所述解码模块对所述融合图像特征进行解码重建以响应图像融合指令，得到融合图像；其中，所述调用所述解码模块对所述融合图像特征进行解码重建以响应图像融合指令，得到融合图像的过程包括：

将所述融合图像特征发送至所述编码-解码模型的解码模块中，以使所述解码模块采用所述对称U型结构将当前网络层的特征图与所述编码模块输出的特征图不断进行叠加直至重建得到所述融合图像。

2.根据权利要求1所述的红外图像和可见光图像的融合方法，其特征在于，所述编码模块包括第一卷积网络层、第二卷积网络层、第三卷积网络层和第四卷积网络层；所述编码模块采用密集连接的思想，每一卷积网络层的输出都前向密集连接至后面的每一卷积网络层，且各卷积网络层输入的特征图数量逐渐增加；随着卷积网络层的增加，各卷积网络层输出的特征图可依次增加为16，32，48，64；

其中，所述第一卷积网络层、所述第二卷积网络层、所述第三卷积网络层和所述第四卷积网络层的卷积核尺寸均为[3，3]，卷积步长均为[1，1]，输出的特征图的分辨率均为[256，320]。

3.根据权利要求1或2所述的红外图像和可见光图像的融合方法，其特征在于，所述将所述红外图像特征和所述可见光特征进行融合以响应特征融合指令，得到融合图像特征包括：

将所述红外图像特征和所述可见光特征进行特征相加，得到融合图像特征。

4.根据权利要求3所述的红外图像和可见光图像的融合方法，其特征在于，所述解码模块包括第五卷积网络层、第六卷积网络层、第七卷积网络层和第八卷积网络层；重建的过程中，逐渐减少各卷积网络层输出的特征图数量，随着卷积网络层的减少，各卷积网络层输出的特征图可依次减少为64，48，32，1；同时利用所述对称U型结构将本卷积网络层的特征图与前面的特征提取网络层的特征图叠加，以得到最终的融合输出图像；

其中，所述第五卷积网络层、所述第六卷积网络层、所述第七卷积网络层和所述第八卷积网络层的卷积核尺寸均为[3，3]，卷积步长均为[1，1]，输出的特征图数量相同且分辨率均为[256，320]。

5.一种红外图像和可见光图像的融合装置，其特征在于，包括：

模型训练模块，用于预先训练包含编码模块和解码模块的编码-解码模型；所述编码模块和所述解码模块均为基于深度学习方法训练卷积神经网络模型所得，所述编码模块的每一个卷积网络层输出的特征图分辨率保持不变、且每一卷积网络层的输出都与其之后的每一个网络卷积层前向密集连接；所述解码模块采用对称U型结构，其用于图像重建；

特征提取模块，用于调用所述编码模块对航天靶场光学设备于同一时刻拍摄同一目标的待融合可见光图像和待融合红外图像进行图像特征提取以响应图像特征提取指令，得到红外图像特征和可见光特征；

特征融合模块，用于将所述红外图像特征和所述可见光特征进行融合以响应特征融合指令，得到融合图像特征；

图像融合模块，用于调用所述解码模块对所述融合图像特征进行解码重建以响应图像融合指令，得到融合图像；

其中，所述图像融合模块为将所述融合图像特征发送至所述编码-解码模型的解码模块中，以使所述解码模块采用所述对称U型结构将当前网络层的特征图与所述编码模块输出的特征图不断进行叠加直至重建得到所述融合图像的模块。