[发明专利]一种基于隐式边缘先验的尺度渐进的图像补全方法

说明书

本发明公开了一种基于隐式边缘先验的尺度渐进的图像补全方法，包括以下步骤：S1、获取多尺度的边缘先验信息；S2、将边缘先验信息与破损图像输入到先验输入模块，得到整合后的复合信息；S3、将整合后的复合信息输入到图像补全网络，该网络包括级联的编码器、多尺度特征融合模块和解码器，输出中间输出集；S4、使用包括渐进结构损失函数的复合损失函数集训练图像补全网络；S5、将破损图像与边缘先验信息输入经过训练的图像补全网络，得到中间输出集，以中间输出集中最低尺度输出作为补全图像。本发明引入边缘先验信息，并通过渐进结构损失函数约束补全过程，同时采用多尺度特征融合模块强化约束作用；通过本发明的方法，可以得到更合理的补全图像。

技术领域

本发明涉及基于深度学习的图像补全技术领域，具体涉及一种基于隐式边缘先验的尺度渐进的图像补全方法。

背景技术

图像补全是指如何利用周围的信息恢复出图像被遮盖部分的内容，涉及对存留信息的有效提取及对丢失信息的合理估计。图像补全除了能恢复部分缺失的图像外，还能实现真实图像的快速编辑。用户可以涂抹掉不需要的物体，由算法实现自动地补全。

近年来，深度学习的发展推动了对图像补全领域的研究。与传统方法相比，学习方法注重获取更高层次的语义信息，这些信息能帮助缺失部分恢复出更相关的结构，得到更真实的结果。但是，先验信息的缺乏带来结构和纹理恢复的平衡性的挑战。这意味着网络难以同时恢复出合理的结构和清晰的细节，通常表现为产生的结果图像存在模糊、伪影现象。

为应对结构和纹理难以同时有效恢复的问题，级联子网络结构被广泛应用，如将模型分解为结构补全网络和纹理补全网络。结构补全网络恢复对象是结构图像,即边缘保持的平滑图像，注重恢复出合理真实的结构。细节补全网络在恢复出的结构图像基础上补充纹理等低频细节。

为了更充分地提取图像存留部分的信息，一些近期的工作使用了canny算子提取的边缘图像作为网络的先验信息。边缘信息能指导图像更好地恢复出图像的结构，提高恢复出的结构的合理性。级联子网络结构能有效地将复杂的任务分解成多个较为简单的子任务。但它的显著缺陷是不合理的中间输出会严重影响后续网络的恢复。此外，由于边缘图像信息比较稀疏，仅作为图像补全网络的输入可能会因为网络过深而影响有限。级联子网络结构还会导致参数倍增的问题。

发明内容

本发明的目的是为了解决现有技术中大多数利用边缘先验作为指导信息的图像补全算法需要使用先验补全子网络显式地补全出完整的预估先验，从而导致对后续的图像补全可能因不合理的预估出现负面影响的问题，同时降低通过尺度渐进分散，同时恢复出良好的图像结构与细节的并行任务难度，提出一种基于隐式边缘先验的尺度渐进的图像补全方法，该方法引入的边缘先验信息为补全过程提供结构信息，并通过渐进结构损失函数约束补全过程；同时多尺度特征融合模块强化了边缘先验信息的指导作用，本发明可以补全出结构更真实、细节更合理的图像。

本发明的目的可以通过采取如下技术方案达到：

一种基于隐式边缘先验的尺度渐进的图像补全方法，所述图像补全方法包括以下步骤：

S1、获取多尺度的边缘先验信息，首先，将破损图像输入到第一边缘生成器，第一边缘生成器输出一系列不同尺度的边缘先验信息，然后，将真实图像输入到第二边缘生成器，第二边缘生成器输出一系列不同尺度的完整边缘图像集；其中，所述第一边缘生成器和第二边缘生成器是基于预训练的整体嵌套边缘检测模型，整体嵌套边缘检测模型简称HED(Holistically-Nested Edge Detection)模型，所述完整边缘图像集用于计算渐进结构损失函数；

S2、将边缘先验信息与破损图像输入先验输入模块，得到整合后的复合信息，所述先验输入模块包括输入融合块和压缩激发块，压缩激发块简称SE-Block(Sequeze andExcitation-Block)，首先，通过输入融合块并联地在各个尺度上融合对应尺度的边缘先验信息与破损图像中采集到的特征，然后，通过SE-Block自适应地调整各尺度特征维度权重；