[发明专利]一种基于深度先验的盲图像超分辨率方法

权利要求书

1.一种基于深度先验的盲图像超分辨率方法，其特征在于，包含以下5个步骤：

步骤1.构建图像生成网络模型

使用DIP-Net作为图像生成网络实现随机向量z到高分辨率图像x的映射x＝f(z；θ)，利用网络本身抑制噪声，隐式地建模平滑性约束先验项；DIP-Net网络输入z为区间(0，1)上均匀分布的随机向量，即z～U(0，1)；随机初始化一组网络参数，以降质图像作为自监督信号，利用梯度下降法更新参数使损失函数收敛；

将非局部约束引入DIP-Net中，通过相似图像块间的相互约束显式地获取相似图像块蕴含的附加信息；非局部运算定义为如下所示形式：

式中，x_i为待处理的特征，为输出特征，x_j为x_i的邻域特征，ρ(x_i，x_j)为相似度函数，用于度量x_i和x_j之间的相关性，g(·)为特征提取函数，C(x)为归一化参数；其中，相似度函数通常具有高斯函数、嵌入式高斯函数、内积与级联四种形式；

在非局部运算的基础上非局部注意力模块定义为如下形式：

非局部注意力模块使用残差连接“x_i+”，使其可以嵌入到任何预训练的网络中，且不会影响网络的任务，即当W_z＝0时，网络保持原有结构；

使用的图像生成网络DIP-Net具有U型编解码结构，包含五组下采样和上采样卷积结构，其中网络的第三、四、五组下采样层特征加入非局部注意力模块；每一组卷积操作均通过跨层连接将下采样层的特征与对应相同维数的上采样层特征进行融合，跨层连接的通道数固定为16；网络输入z为服从均匀分布的随机向量，其尺寸与高分辨率图像一致，通道数一般设置为8或16，设置为8；

步骤2.初始化网络参数

随机初始化图像生成网络的参数θ₀，即可得高分辨率图像的初始估计x₀＝f(z；θ₀)；设置学习率η、降采样因子a、模糊核尺寸s、网络输入随机向量z、模糊核正则化参数λ_h、最大迭代次数K；由于盲超分辨率方法不知道模糊核的真实尺寸，在重建高分辨率图像时需要估计模糊核尺寸，或者预先设定模糊核尺寸；

步骤3.估计模糊核

固定网络参数θ_k-1，用下式估计模糊核h_k：

式中，表示傅里叶变换，表示傅里叶逆变换，表示傅里叶变换的复共轭，⊙_a表示对a×a个图像块进行元素点乘运算，是对a×a个图像块进行平均处理操作，↑_a表示利用零填充的方式进行a倍上采样；

步骤4.估计高分辨率图像

步骤4.1计算损失函数：

固定当前模糊核的估计h_k，给定θ_k-1，更新θ_k；利用更新的模糊核h_k与估计的高分辨率图像x_k-1通过可变步长的卷积操作生成降采样图像，根据低分辨率图像与降采样图像计算损失函数：

上式为均方误差损失函数，此外也能够使用其他连续可导的函数作为网络的损失函数；

步骤4.2更新图像生成网络参数：

计算损失函数关于网络参数的梯度，利用下式所示的梯度下降法更新θ_k，

式中η表示学习率；使用Adam梯度下降算法更新参数；

步骤4.3生成高分辨率图像：利用更新参数后的图像生成网络生成高分辨率图像x_k＝f(z；θ_k)；

步骤5.判断收敛，输出模糊核与高分辨率图像的估计

通过步骤3和步骤4，进行对目标函数的一次迭代求解，获得模糊核的估计h_k，并将高分辨率图像的估计x_k-1更新为x_k；如果此时达到最大迭代次数或者迭代收敛，则停止迭代，输出最终的模糊核与高分辨率图像估计；否则，令k＝k+1，然后重复步骤3和步骤4。