[发明专利]一种基于参考图像的深度特征排序去模糊方法

权利要求书

1.一种基于参考图像的深度特征排序去模糊方法，特征是，参考图像中含有清晰的结构信息和丰富的细节信息，通过计算参考图像与输入模糊图像的相关性，即参考图像每个元素与输入模糊图像得到相似性特征图，根据浅层神经网络和最大池化分别对该特征图的重要性进行排序并选取重要的特征图作为特征重建的依据，最后，通过特征重建模块得到潜在清晰图像；

为了计算参考图像特征中每一个元素与整个模糊图像特征相关性，首先，将参考图像特征大小改变为保持输入模糊图像特征F_I大小不变，然后计算参考图像特征每一个元素与输入模糊图像特征F_I的相关性：

Corr_j＝Q_j*F_I (1)

其中，表示参考图像特征中的一个元素与输入图像特征的相关性特征图；将该相关性计算过程应用于参考图像特征中的每一个元素，得到H_r×W_r个相关性特征图Corr，每一个相关性特征图的大小为H×W；

为了选择重要性的相关性特征图，需要对相关性特征图的排序，采用了两种方式即：

浅层神经网络学习输出重要性向量和特征图的最大池化；

其一：

对于神经网络学习的方式，将该H_r×W_r个相关性特征图输入浅层的神经网络中,通过神经网络学习H_r×W_r个特征图的重要性向量S_N，且该向量的大小为1×1，即排序后的大小为H_r×W_r×1×1，该过程表示为：

S_N＝N_rank(Corr) (2)

其中，N_rank表示神经网络排序，Corr表示所有的相关性特征图；

其二：

为了加强重要性排序，另一种采用相关性特征图最大池化maxpool，同样地，将H_r×W_r个相关性特征图使用核大小为H×W的最大池化，得到排序后的重要性向量S_M，且该向量的大小为1×1，即排序后重要性向量维度为H_r×W_r×1×1，该过程表示为：

S_M＝M_rank(Corr) (3)

其中，M_rank表示最大池化排序相关性特征图，表示所有的相关性特征图；

将以上两种排序后的特征图向量相加，加强重要性向量信息，该过程表示为；

S＝S_N+S_M (4)

其中，表示合并后的重要性向量。

2.如权利要求1所述的一种基于参考图像的深度特征排序去模糊方法，特征是，包括：

步骤1，构建去模糊神经网络模型

该模型主要包括特征提取模块和特征重建模块，特征提取模块用于提取输入模糊图像特征和参考图像特征，并且用于这两个特征提取模块共享参数；特征重建模块用于将选择后的图像特征重建为潜在清晰图像；其中，特征提取模块有四层，每一层中包括三个Resblock，同理，特征重建模块也包括四层，每一层中也包括三个Resblock；

步骤2，构造神经网络模型训练数据集和测试数据集

该方法为监督学习下的图像去模糊算法，对去模糊神经网络模型监督训练；

对于去模糊神经网络模型的训练集，采用模糊图像与对应的真实清晰图像组成的图像对作为训练集，在模糊图像中随机裁剪模糊图像块256×256作为训练模糊图像块，在真实清晰图像中随机裁剪同样大小的清晰图像做为参考图像块，并且参考图像块与模糊图像块的坐标位置不对应，即两个图像块中内容不一样，每次训练迭代时，使用同样的方式随机裁剪模糊图像块和清晰图像块输入模型进行训练；

对模型的测试，测试集中的每一张模糊图像，随机的在该数据集中选一张与其结构相似的清晰的图像作为参考图像，形成模糊图像-参考图像对用于模型测试；

步骤3，特征提取

利用步骤1中构建的特征提取模块分别将模糊图像与参考图像从图像空间转化为特征空间，将输入模糊图像I和参考图像R通过特征提取模块分别提取模糊图像特征和参考图像特征，该特征图用于计算模糊图像与参考图像的相关性，即模糊图像特征和参考图像特征的相关性，其中，参考图像特征提取步骤与模糊图像特征提取步骤共享参数；

步骤4，计算模糊图像特征与参考图像特征的相关性

步骤5，对步骤4计算得到的相关性特征图进行排序

步骤6，特征图选择

已知重要性向量和所有相关性特征图基于重要性向量，选择固定数量的特征图Corr_s，该过程表示为；

Corr_s＝CH(Corr|S) (5)

其中，CH表示选择操作，Corr_s表示根据重要性向量选择后的特征图；

步骤7，特征重建

将选择后的特征图进行特征重建，根据参考图像R选择重要性特征图Corr_s后，该特征图用于重建潜在清晰图像，将选择后的特征图输入特征重建，得到最终的潜在清晰图像I_D；

步骤8，计算损失函数并计算梯度更新模型参数

计算重建后潜在清晰图像I_D与真实清晰图像I的内容损失l1 loss和对抗损失，反向传播训练网络模型，模糊图像经过神经网络输出潜在清晰图像后，将潜在清晰图像与真实清晰图像计算内容损失和对抗损失，基于该损失计算模型梯度，更新模型参数，重新输入模糊图像与参考图像对模型重新训练；其中，

内容损失函数表示为：

L_con＝|I_D-I| (6)

其中，L_con表示内容损失，I_D，I分别表示去模糊图像与真实清晰图像；

对抗损失中，生成器损失L_G和判别器损失L_D分别表示为：

其中，P_g和P_r分别表示去模糊图像与模糊图像分布；x_f和x_r分别表示去模糊图像实例与模糊图像实例；其中，和分别表示为：

其中，C(·)表示判别器的logit输出。