[发明专利]一种基于融合注意力机制的半监督图像去模糊方法

权利要求书

1.一种基于融合注意力机制的半监督图像去模糊方法，其特征在于，包括以下步骤：

步骤Step1:获取图像训练数据集，并将所述图像训练数据集划分为两个训练子集，所述两个训练子集中一个子集包括多个图像对，每个图像对由模糊图像及其对应的清晰图像组成，另一子集包括多个模糊图像；

步骤Step2:构建基于全监督和无监督的图像模糊还原模型，所述图像模糊还原模型包括全监督网络和无监督网络；

步骤Step3:将所述一个子集输入待训练的全监督网络进行学习，根据全监督网络生成器的输出结果及对应的Ground-truth清晰图像，由判别器鉴定图像为真或假的概率，将所述另一子集输入待训练的无监督网络，根据无监督网络的输出结果生成去模糊后图像；

步骤Step4:利用上述网络中的注意力机制筛选图像特征，对网络提取的特征信息分配相应的权重，获取重要的图像信息，并对所述重要的图像信息进行特征融合，得到最终的清晰图像。

2.如权利要求1所述的基于融合注意力机制的半监督图像去模糊方法，其特征在于，所述全监督网络包括第一生成器和判别器，所述第一生成器包括第一编码器-解码器网络，所述判别器包括二分类器，将所述一个子集中的模糊图像输入所述第一生成器生成去模糊图像，并将所述去模糊图像与对应清晰图像输入所述判别器，判断图像为真或图像为假的概率。

3.如权利要求2所述的基于融合注意力机制的半监督图像去模糊方法，其特征在于，所述无监督网络包括第二生成器，所述第二生成器包括第二编码器-解码器网络，所述第二编码器-解码器网络与所述第一编码器-解码器网络结构相同，将所述另一子集中的模糊图像输入所述第二生成器生成去模糊后的图像，根据损失函数计算损失，并利用反向传播更新网络参数，优化网络。

4.如权利要求3所述的基于融合注意力机制的半监督图像去模糊方法，其特征在于，图像去模糊过程包括：a.将模糊输入图像X_in分割成四个不重叠的图像块，将所述四个不重叠的图像块通过编码器层得到的四个特征映射进行两两特征连接，记为X_{encoder_1}，将X_{encoder_1}输入解码器层得到两个特征映射X_{decoder_1}，将X_{decoder_1}进行特征连接生成图像X_{out_1}；b.然后将模糊输入图像X_in分割成两个不重叠的图像块，并将所述两个不重叠的图像块和所述图像X_{out_1}进行相加后输入编码器层，得到两个特征映射，将所述两个特征映射和所述特征X_{encoder_1}进行特征相加和特征连接，获得特征映射X_{encoder_2}，将X_{encoder_2}输入解码器层生成去模糊图X_{out_2}；c.将模糊输入图像X_in和所述去模糊图像X_{out_2}进行相加后输入编码器层后，将编码器层的输出结果和所述特征映射X_{encoder_2}相加后输入解码器层，最终生成清晰图像X_{out_3}。

5.如权利要求4所述的基于融合注意力机制的半监督图像去模糊方法，其特征在于，所述第一编码器-解码器网络包括编码器层和对应的解码器层；

所述编码器层包括卷积层和残差块，输入图像的大小经过裁剪之后，长和宽分别是8的倍数，编码器层首先由步长为1，填充为3的7×7卷积处理，获取更多的图像全局特征，并且利用残差块提取更精细的模糊图像细节；然后设置一个5×5的卷积处理，进行下采样后通过残差块处理特征；最后进行一个3×3卷积操作和残差块，得到图像的不同图像块之间的特征，进行连接处理后，进入解码器层；

所述解码器层有三个尺度与编码器一一对应，前两个尺度是由残差块和转置卷积层组成，最后一个是由残差块和卷积层组成，前两个转置卷积层后添加一个非线性ReLU层作为激活函数，最后一个卷积层跟着Tanh函数作为激活函数，其中，利用残差块提取图像特征进行恢复，两次步长为2、卷积核4×4为的转置卷积进行上采样操作，恢复图像尺寸。