[发明专利]基于反卷积神经网络的图像融合方法

权利要求书

1.一种基于反卷积神经网络的图像融合方法，其特征在于，包括如下步骤：

(1)设置反卷积神经网络：

设置反卷积神经网络中的特征图个数和滤波器个数均为K，并将K个滤波器标记为{f₁,f₂,...,f_K}，K≥1；

(2)获取训练样本集：

选择与待融合图像类型和大小相同的M幅图像作为训练样本集，M≥2；

(3)对反卷积神经网络进行训练：

设置反卷积神经网络的训练总循环轮数为E，并通过训练样本集对反卷积神经网络进行E轮训练，得到训练好的反卷积神经网络；

(4)推断待融合图像的特征图：

将待融合图像A和待融合图像B分别输入到训练好的反卷积神经网络，并采用ISTA方法，分别推断待融合图像A和待融合图像B的特征图，得到待融合图像A的K个特征图{A₁,A₂,...,A_K}和待融合图像B的K个特征图{B₁,B₂,...,B_K}；

(5)对特征图{A₁,A₂,...,A_K}和特征图{B₁,B₂,...,B_K}进行融合：

对特征图{A₁,A₂,...,A_K}中的特征图A_k与特征图{B₁,B₂,...,B_K}中对应标号的特征图B_k进行融合，得到K个融合特征图{F₁,F₂,...,F_K}，其中，k＝1,2,...,K；

(6)获取融合图像：

将融合特征图{F₁,F₂,...,F_K}中的特征图F_t与反卷积神经网络的滤波器{f₁,f₂,...,f_K}中对应标号的滤波器f_t进行卷积，并对K个卷积结果进行相加，得到融合图像F，其中t＝1,2,...,K。

2.根据权利要求1所述的基于反卷积神经网络的图像融合方法，其特征在于，步骤(3)所述的对反卷积神经网络进行训练，实现步骤如下：

(3a)设置训练反卷积神经网络的训练总循环轮数为E；

(3b)对反卷积神经网络的K个滤波器的每个像素赋一个随机值，实现对反卷积神经网络的初始化；

(3c)从训练样本集中每次随机选取一幅图像，输入反卷积神经网络中，并采用ISTA方法推断选取的各图像对应的K个特征图，得到M个训练样本对应的M×K个特征图；

(3d)采用梯度下降法对反卷积神经网络中的K个滤波器进行更新，并循环重复步骤(3c)～(3d),直到循环轮数达到步骤(3a)中设置的总循环轮数E，得到训练好的包含K个滤波器的反卷积神经网络。

3.根据权利要求1所述的基于反卷积神经网络的图像融合方法，其特征在于，步骤(5)所述的对特征图{A₁,A₂,...,A_K}中的特征图A_k与特征图{B₁,B₂,...,B_K}中对应标号的特征图B_k进行融合，实现步骤如下：

(5a)求取特征图A_k中每个点(i,j)处的像素值A_k(i,j)的绝对值|A_k(i,j)|，并求取特征图B_k中与特征图A_k对应位置处像素值B_k(i,j)的绝对值|B_k(i,j)|，其中i和j分别是特征图A_k的行坐标和列坐标；

(5b)计算融合特征图F_k在每个点(i,j)处的像素值F_k(i,j)，得到融合特征图F_k，其中，像素值F_k(i,j)的计算公式为：