[发明专利]基于深度无监督密集卷积网络的红外和可见光图像融合方法

说明书

本发明涉及一种基于深度无监督密集卷积网络的红外和可见光图像融合方法，属于图像处理领域。首先，输入待融合的红外图像A与可见光图像B；接着，通过密集卷积操作提取输入图像的特征；然后，通过特征融合层来融合图像特征获得融合特征；最后，经过重构融合特征输出得到融合图像。本发明通过构建密集卷积网络，生成从源图像到最终融合图的直接映射，避免了人工手动操作，模型中算法利用无参考图像质量评价指标设计损失函数和优化网络模型，最终获得高质量的融合图像。

技术领域

本发明属于图像处理技术领域，具体涉及一种红外与可见光图像的图像融合方法，可以应用于各种图像处理系统。

背景技术

图像融合是指利用一定的技术将两幅或者多幅多源图像的重要信息进行合并的过程，目的是使所获得的融合图像能够充分利用不同源图像特有信息，以便更准确全面描述场景信息。作为图像融合技术中一个重要组成部分，红外与可见光图像融合后的图像清晰度更高、信息量更大、获取目标和场景的信息更全面且更适合人类视觉感知，已经在工业和民用等领域得到应用。在民用领域中，将红外与可见光融合技术应用在汽车夜视系统中，可以提高汽车在浓雾、大雨等恶劣天气条件下行车的安全性。

近年来，由于深度学习在计算机视觉与图像处理领域中取得的相关成果，使得许多学者开始研究将深度学习应用到图像融合方面。文献“李红，刘芳，杨淑媛，等.基于深度支撑值学习网络的遥感图像融合[J].计算机学报，2016.”将深度学习用于遥感图像融合中，提出了一种基于深度支撑值学习网络的融合方法。本方法利用在训练深度网络时加入结构风险最小化的损失函数，使得融合图像较好地保持了图像的光谱信息和空间信息。文献“Liu Y，Chen X，Ward R，et al.Image Fusion With Convolutional SparseRepresentation.IEEE Signal Processing Letters，2016.”提出基于卷积稀疏表示的图像融合算法。算法通过高斯滤波将图像分解为基础层和细节，利用基于卷积稀疏表示的方法对上述两尺度图像进行融合得到加权平均的融合图像。本方法克服了传统的基于稀疏表示的方法细节保留能力低的问题，所提出的方法用于图像融合可以得到一定的效果，但算法存在实现复杂、实现效率不高以及融合效果不理想的问题。文献“Tang H，Xiao B，Li W，et al.Pixel Convolutional Neural Network for Multi-Focus ImageFusion.Information Sciences，2017.”提出基于逐像素的卷积神经网络的多聚焦图像融合方法，利用数据驱动的焦点检测方法来克服手动焦点检测的低效率，但要取得更好的融合效果需要依赖后续的优化处理。针对上述文献存在问题，本发明提出一种基于密集卷积网络(Dense Convolutional Networks，DCN)的红外和可见光图像融合算法。

发明内容

要解决的技术问题

针对传统的红外与可见光图像融合算法过度依赖人工设计、算法复杂度高、效率低问题，以及基于深度学习的图像融合存在的需要标准参考图像的问题，本发明提出一种基于密集卷积网络的红外与可见光图像融合的新方法。通过构建密集卷积网络，生成从源图像到最终融合图的直接映射，避免了人工手动操作，模型中算法利用无参考图像质量评价指标设计损失函数和优化网络模型，最终获得高质量的融合图像。

技术方案

一种基于深度无监督密集卷积网络的红外和可见光图像融合方法，其特征在于步骤如下：

步骤1：输入待融合的红外图像A与可见光图像B；

步骤2：将红外图像A依次输入四个卷积层C1、DC1、DC2、DC3进行特征提取，将可见光图像B依次输入四个卷积层C1、DC1、DC2、DC3进行特征提取，每个卷积层的卷积核的大小均为3×3，步长为1，卷积层的特征图输出通道为16，每个卷积层的输入都为前面所有卷积层输出的级联；