[发明专利]一种基于深度学习的图像融合方法

权利要求书

1.一种基于深度学习的图像融合方法，其特征在于包括以下步骤：

构建深度堆叠卷积神经网络基本单元:基本单元由高频子网、低频子网和融合卷积层构成，高频子网、低频子网又分别由三层卷积层构成，其中，第一层卷积层对输入信息进行限制，第二层卷积层对信息进行组合，第三层卷积层再将这些信息合并为映射图，具体如下：

(1)输入源图像x，经卷积操作得高频子网第一个卷积层H1的特征映射图I_H1：式中，表示卷积操作，f为激活函数，ω为卷积核，θ表示偏置，j表示第j个输出，j＝{1,2,…,n₁},n₁为H1层特征映射图的个数；高频子网和低频子网的网络结构相同，差别在于将高频子网H1层卷积核初始化为高斯拉普拉斯滤波器，低频子网L1层卷积核初始化为高斯滤波器；

(2)I_H1再经卷积可得高频子网第二个卷积层H2的特征映射图I_H2：式中，卷积核其中G为高斯分布，n为输入神经元的个数，i为第i个输入，j为第j(j＝{1,2,…,n₂})个输出，n₂为H2层特征映射图的个数；将输入I_H1换为I_L1，可得低频子网第二个卷积层L2层特征映射图I_L2；

(3)I_H2再经卷积可得高频子网第三个卷积层H3的特征映射图I_H3：卷积核将I_H2替换为I_L2可得低频子网第三个卷积层L3层特征映射图I_L3；

(4)高频特征映射图I_H3和低频特征映射图I_L3再经过融合卷积层卷积得到重构图像卷积核

先对基本单元进行训练，再将多个基本单元堆叠起来采用端对端的方式训练得到深度堆叠神经网络；

利用该堆叠神经网络分别分解输入图像，在最后一个基本单元的第三层卷积层分别得到各自的高频和低频特征映射图，利用局部方差取大得到融合后的高频特征映射图，利用区域匹配度得到融合后的低频特征映射图；

将高频特征映射图和低频特征映射图放回最后一个基本单元的融合卷积层，得到最终的融合图像。

2.根据权利要求1所述的一种基于深度学习的图像融合方法，其特征在于深度堆叠神经网络的训练集和测试集由各类型的图像等比例混合组成，所述图像包括可见光图像、红外图像和医学图像。

3.根据权利要求1或2所述的一种基于深度学习的图像融合方法，其特征在于基本单元第一层卷积层和第二层卷积层的卷积核个数相等且取值范围为4-16，基本单元堆叠个数取值范围为3-6。

4.根据权利要求1或2所述的一种基于深度学习的图像融合方法，其特征在于卷积层的激活函数选或y＝max(0,x)。