[发明专利]一种红外图像与可见光图像融合方法、系统、设备及终端

说明书

本发明属于图像融合技术领域，公开了一种红外图像与可见光图像融合方法、系统、设备及终端，所述红外图像与可见光图像融合方法包括：获取红外图像和可见光图像；对获取的红外图像和可见光图像进行配准和灰度化处理，得到配准后的灰度化红外图像和可见光图像；利用Canny算子对可见光图像进行边缘提取，得到可见光图像的边缘信息与纹理信息；利用深度学习算法对灰度化红外图像与可见光图像进行融合，得到初步融合结果；将可见光图像的边缘信息与纹理信息和融合图像进行叠加，得到最终融合结果。本发明能有效提取出红外图像可见光图像的浅层特征和深层特征，并对融合图像进行细节增强，这使得不论在任何场景下均可获得质量很好的融合图像。

技术领域

本发明属于图像融合技术领域，尤其涉及一种红外图像与可见光图像融合方法、系统、设备及终端。

背景技术

近年来随着各类传感器的普及与发展，相关人员对于同一场景的信息搜集能力快速提升，然而每一类传感器由于自身的物理特性，都有各自的长处也都存在各自的不足。由普通相机所拍摄的图像色彩丰富且包含有大量细节信息、纹理信息，但图像质量容易受到外界环境干扰，当在强光、黑暗、雨雪天气环境下，所获得的图像质量大幅下降。由红外相机所拍摄的图像目标突出，不易受到外界环境影响，但是红外图像分辨率较低，且所包含的细节信息、纹理信息较少。因此将同一场景的红外图像和可见光图像融合起来产生既不受外界环境影响又具有丰富的细节纹理信息的融合图像，对于无人驾驶、智慧安防、战场监测等领域具有重要意义。

当前用于红外图像和可见光图像融合的深度学习算法在编码层设计的过于简单，这导致神经网络无法提取出足够的深度特征，从而影响生成的融合图像质量。同时，由于红外图像中细节纹理信息较少，将红外图像与可见光图像融合后会导致可见光图像中的细节纹理信息在融合图像中被淡化。

近年来随着深度学习技术的发展，大量的可用于训练的图像数据的涌现以及研究人员提出的效果优异的边缘提取算法，这使得设计一种用于红外图像与可见光图像融合任务的深度神经网络成为可能，同时可利用现有优异的边缘提取算法实现对融合图像的边缘细节增强。

通过上述分析，现有技术存在的问题及缺陷为：

(1)当前用于红外图像和可见光图像融合的深度学习算法在编码层设计的过于简单，这导致神经网络无法提取出足够的深度特征，从而影响生成的融合图像质量。

(2)由于红外图像中细节纹理信息较少，将红外图像与可见光图像融合后会导致可见光图像中的细节纹理信息在融合图像中被淡化。

(3)现有的红外图像与可见光图像融合方法中所存在的融合图像亮度不自然、细节纹理信息缺失等技术问题。

解决以上问题及缺陷的难度为：深层神经网络能够提取到输入图像中更多的语意结构特征，但网络深度的加深可能会导致网络在训练时出现梯度消失或梯度爆炸的情况，这会导致网络无法收敛或性能不稳定。由于红外图像中缺乏细节纹理信息，因此将红外图像与可见光图像融合后，会淡化可见光图像中的细节纹理信息从而影响图像质量。为了增强融合图像的细节纹理信息，若是在网络中设计更多的卷积层以增强融合结果中的细节纹理，则会导致网络计算量过大，处理时间过长。

因此设计一个性能稳定，能有效提取输入图像的浅层和深层特征的深层神经网络，且能高效增强融合图像中的细节纹理信息是一个巨大的挑战。

解决以上问题及缺陷的意义为：利用神经网络处理图像时，网络的深度至关重要，然而简单叠加深度可能会导致网络在训练时出现梯度消失或梯度爆炸的情况，从而影响网络性能。在本发明中，通过合理设计网络架构，引入多残差连接，使得网络深度大幅提升，且未引发梯度消失或梯度爆炸的情况。由此融合网络能够获取到红外图像和可见光图像中更多的语义结构信息，提升融合图像质量。