[发明专利]滤波器预置深度学习神经网络的图像融合方法

权利要求书

1.一种滤波器预置深度学习神经网络的图像融合方法，其特征在于，包括如下：

(1)设置单层反卷积网络的滤波器个数为K，并将其中的1个滤波器预置为p×p大小的四阶低通巴特沃斯滤波器，另外K-1个滤波器预置为p×p大小的四阶高通巴特沃斯滤波器，将这K个滤波器标记为{f₁,...,f_n,...,f_K}，K≥1，p≥3，1≤n≤K；

(2)选取M幅大小相同的多聚焦图像作为样本图像，M≥2；

(3)设置反卷积网络的总循环轮数为E，将样本图像输入到反卷积网络，采用ISTA方法和共轭梯度下降法对K个滤波器进行E轮训练，得到滤波器训练好的反卷积网络；

(4)分别将两个待融合图像A和B输入到滤波器训练好的反卷积网络中，分别推断出第一个待融合图像A的K个特征图{A₁,...,A_n,...,A_K}和第二个待融合图像B的K个特征图{B₁,...,B_n,...,B_K}；

(5)对第一个待融合图像A的K个特征图{A₁,...,A_n,...,A_K}和第二个待融合图像B的K个特征图{B₁,...,B_n,...,B_K}的相同下标特征图分别进行融合，得到K个融合特征图{F₁,...,F_n,...,F_K}；

(6)对K个融合特征图{F₁,...,F_n,...,F_K}和K个反卷积网络的滤波器{f₁,...,f_n,...,f_K}执行相同下标的卷积，并对这K个卷积结果求和，生成融合图像F。

2.根据权利要求1所述的方法，其特征在于，(1)的四阶低通巴特沃斯滤波器，预置步骤如下：

首先，在频域中设计p×p大小的四阶低通巴特沃斯滤波器，表示如下：

其中，u和v分别为频域坐标系中的行和列坐标，D₀是以坐标距离为单位的截止频率，D(u,v)是当前坐标到滤波器中心的距离；

然后，对频域中所设计的p×p大小的四阶低通巴特沃斯滤波器H(u,v)做二维傅里叶逆变换，得到反卷积网络中预置的1个p×p大小的四阶低通巴特沃斯滤波器。

3.根据权利要求1所述的方法，其特征在于，(1)的四阶高通巴特沃斯滤波器，预置步骤如下：

首先，在频域中设计p×p大小的四阶高通巴特沃斯滤波器，表示如下：

其中，u和v分别为频域坐标系中的行和列坐标，D₀是以坐标距离为单位的截止频率，D(u,v)是当前坐标到滤波器中心的距离；

然后，对频域中所设计的p×p大小的四阶高通巴特沃斯滤波器G(u,v)做二维傅里叶逆变换，得到反卷积网络预置的p×p大小的四阶高通巴特沃斯滤波器。

4.根据权利要求1所述的方法，其特征在于(3)中采用ISTA方法和共轭梯度下降法对K个滤波器进行E轮训练，实现步骤如下：

(3a)将M个样本图像输入反卷积网络中，先保持滤波器不变，采用ISTA方法推断出每个样本图像的K个特征图；

(3b)保持特征图不变，采用共轭梯度下降法对反卷积网络中的K个滤波器进行训练；

(3c)循环重复步骤(3a)～(3b)，直到循环轮数达到总循环轮数E，得到滤波器训练好的反卷积网络。

5.根据权利要求1所述的方法，其特征在于(5)的对两幅待融合图像的特征图进行融合，实现步骤如下：

(5a)设第一幅待融合图像A的第n个特征图A_n在坐标(i,j)处的特征值为A_n(i,j)，并求取以坐标(i,j)为中心的q×q大小邻域的能量EA_n(i,j)：

其中，q≥1，1≤n≤K；

(5b)设第二幅待融合图像B的第n个特征图B_n在坐标(i,j)处的特征值为B_n(i,j)，并求取以坐标(i,j)为中心的q×q大小邻域的能量EB_n(i,j)：

其中，q≥1，1≤n≤K；

(5c)比较第一幅待融合图像A的第n个特征图A_n在坐标(i,j)处的q×q大小邻域的能量EA_n(i,j)和第二幅待融合图像B的第n个特征图B_n在坐标(i,j)处的q×q大小邻域的能量EB_n(i,j)的大小，取坐标(i,j)处的q×q大小邻域的能量较大的特征值作为第n个融合特征图F_n在坐标(i,j)处的特征值F_n(i,j)：

其中，1≤n≤K。