[发明专利]一种基于深度学习的图像融合方法

说明书

本发明涉及图像融合方法，具体为一种基于深度学习的图像融合方法，本方法按如下步骤进行：基于自动编码器利用卷积层构建基本单元；将多个基本单元堆叠起来训练得到深度堆叠神经网络，并采用端对端的方式调整堆叠网络；利用该堆叠网络分解输入图像，得到各自的高频和低频特征映射图，分别利用局部方差取大和区域匹配度合并高频和低频特征映射图；并将高频融合特征映射图和低频融合特征映射图放回最后一层网络，得到最终的融合图像。本方法可以对图像进行自适应分解和重构，融合时只需高频和低频特征映射图各一幅，不需要人工定义滤波器个数和类型，也不需要选择图像的分解层数和滤波方向数，可以极大改善融合算法对先验知识的依赖性。

技术领域

本发明涉及图像融合方法，具体为一种基于深度学习的图像融合方法。

背景技术

图像融合是复杂探测系统的关键技术之一，其目的是将同一场景的多幅图像或序列探测图像合成一幅信息更完整、全面的图像，以便后续的图像分析、目标识别和跟踪。多尺度变换域融合是当前采用的主要方法，但往往需要依据先验知识选择合适的多尺度变换方法和融合规则，不利于工程化应用。

新近，深度学习在图像分类、目标跟踪等许多领域均已成功突破了固定状态模型的约束，在图像融合领域也有少些探索性的研究，如首先利用深度支撑值学习网络将遥感图像分解为高低频图像，再分别融合；将多尺度变换和低频自动编码相结合融合多聚焦图像，均获得了较好的融合结果。前者仅实现了支撑值滤波器自适应，对不适用于支持度变换的融合无法做到滤波器自适应，后者虽实现了融合规则自适应，但滤波器需要人工定义。总的来说，这些研究证实深度人工神经网络学习得到的参数更多、更全，可以以全应变做到自适应，降低方法对先验知识的依赖性，但未解决图像融合中各类多尺度变换均须依据先验知识选择滤波器类型、分解层数、方向数等问题。而在实际探测中，以上这些先验知识的获取往往极其困难。

为此，需要有一种新的方法来解决多尺度变换等方法融合图像时依赖先验知识难以工程化的问题。

发明内容

本发明为了解决多尺度变换融合图像时须依据先验知识选择滤波器类型、分解层数、方向数等问题，提出了一种基于深度学习的图像融合方法。

本发明是采用如下的技术方案实现的：一种基于深度学习的图像融合方法，包括以下步骤：

构建深度堆叠卷积神经网络基本单元:基本单元由高频子网、低频子网和融合卷积层构成，高频子网、低频子网又分别由三层卷积层构成，其中，第一层卷积层对输入信息进行限制，第二层卷积层对信息进行组合，第三层卷积层再将这些信息合并为映射图；

先对基本单元进行训练，再将多个基本单元堆叠起来采用端对端的方式训练得到深度堆叠神经网络；

利用该堆叠神经网络分别分解输入图像，在最后一个基本单元的第三层卷积层分别得到各自的高频和低频特征映射图，利用局部方差取大得到融合后的高频特征映射图，利用区域匹配度得到融合后的低频特征映射图；

将高频特征映射图和低频特征映射图放回最后一个基本单元的融合卷积层，得到最终的融合图像。

上述的一种基于深度学习的图像融合方法，高频子网和低频子网第一层卷积层的卷积核分别初始化为高斯拉普拉斯滤波器和高斯滤波器，其余层卷积核用初始化。

上述的一种基于深度学习的图像融合方法，深度堆叠神经网络的训练集和测试集由各类型的图像等比例混合组成，所述图像包括可见光图像、红外图像和医学图像，mini-batch取值在22-32之间。mini-batch大小决定误差收敛的稳定性，其值越大越稳定，但占用的内存更多，故取值在22-32之间，学习率决定误差收敛的速度，其值越大收敛速度越快，但越不稳定，取值通常在0.001-0.01之间。