[发明专利]一种基于隐式边缘先验的尺度渐进的图像补全方法

权利要求书

1.一种基于隐式边缘先验的尺度渐进的图像补全方法，其特征在于，所述图像补全方法包括以下步骤：

S1、获取多尺度的边缘先验信息，首先，将破损图像输入到第一边缘生成器，第一边缘生成器输出一系列不同尺度的边缘先验信息，然后，将真实图像输入到第二边缘生成器，第二边缘生成器输出一系列不同尺度的完整边缘图像集；其中，所述第一边缘生成器和第二边缘生成器是基于预训练的整体嵌套边缘检测模型，整体嵌套边缘检测模型简称HED模型，所述完整边缘图像集用于计算渐进结构损失函数；

S2、将边缘先验信息与破损图像输入先验输入模块，得到整合后的复合信息，所述先验输入模块包括输入融合块和压缩激发块，压缩激发块简称SE-Block，首先，通过输入融合块并联地在各个尺度上融合对应尺度的边缘先验信息与破损图像中采集到的特征，然后，通过SE-Block自适应地调整各尺度特征维度权重；

S3、将整合后的复合信息输入到图像补全网络，所述图像补全网络包括级联的编码器、多尺度特征融合模块和解码器，输出中间输出集，首先，通过编码器提取复合信息的语义特征，然后，通过多尺度特征融合模块在语义特征上进一步扩展采样尺度得到融合特征，最后，通过解码器解码融合特征，得到一组中间输出集；

其中，所述多尺度特征融合模块包括级联的门控、空间注意力层、金字塔结构融合块，首先，通过门控筛除语义特征在缺失区域的无意义噪声，然后，通过空间注意力层促进语义特征空间权重自适应地内部融合，最后，通过金字塔结构融合模块实现相近尺度的特征融合，得到融合特征；

S4、使用包括渐进结构损失函数的复合损失函数集训练图像补全网络，使图像补全网络沿着尺度渐进的方向补全，通过所述渐进结构损失函数约束中间输出集与真实图像对应的完整边缘图像集之间的差异性最小得到经过训练的图像补全网络；

S5、将破损图像与边缘先验信息输入经过训练的图像补全网络，得到中间输出集，以中间输出集中最低尺度输出作为补全图像；

其中，所述第一边缘生成器通过输入破损图像到用破损图像训练集预训练的HED模型，得到破损图像的一组多尺度的边缘输出，计算公式如下:

其中I_in为破损图像，HED₁(·)表示第一边缘生成器，分别表示第一边缘生成器对于破损图像的前三个尺度的边缘输出，前三个尺度的边缘输出用作边缘先验信息E_in；

其中，所述第二边缘生成器通过输入真实图像到用真实图像训练集预训练的HED模型，得到真实图像的一组多尺度的边缘输出，计算公式如下:

其中I_gt为真实图像，HED₂(·)表示第二边缘生成器，分别表示第二边缘生成器对于真实图像的前三个尺度的边缘输出，前三个尺度的边缘输出用作真实图像的完整边缘图像集E_gt；

其中，所述第二边缘生成器通过输入中间训练集到用真实图像训练集预训练的HED模型，得到中间训练集的一组多尺度的边缘输出，计算公式如下:

其中l＝1,2,3，为尺度l上图像补全网络的中间输出集，对HED₂(·)仅输出对应的尺度分别表示第二边缘生成器对于中间输出集的对应尺度的三个边缘输出，三个边缘输出用作中间输出集的完整边缘图像集E_out；

其中，所述渐进结构损失函数通过L1损失函数计算真实图像和中间输出集对应的完整边缘图像集之间的差异性，计算公式表示为：

其中l＝1,2,3，L_GSL为渐进损失函数，||·||₁为1阶范数的计算。