[发明专利]一种深度学习的图像修复方法

说明书

本发明涉及图像视觉处理技术领域，提出一种深度学习的图像修复方法，包括以下步骤：使用边缘生成器预测原始图像上遮盖区域的边缘映射；验证边缘生成器预测出的边缘映射是否真实；图像补全网络对真实的边缘映射进行图像修复和合成，剔除不真实的边缘映射；验证图像补全网络修复和合成的图像是否真实；生成真实的图像，剔除不真实的图像。本发明通过结合图片上下文内容，边缘生成器对图像缺失区域(规则和不规则)的边缘产生“幻想”，图像补全网络利用“幻想”边缘填充缺失区域，这样可以利用利用启发式的生成模型得到了缺失部分的边缘信息，随后将边缘信息作为图像缺失的先验部分和图像一起送入修复网络进行图像重建，再现更加精细细节的填充。

技术领域

本发明涉及图像视觉处理技术领域，特别涉及一种深度学习的图像修复方法。

背景技术

传统的图形学和视觉的研究方法，主要还是基于数学和屋里的方法，然而随着近几年深度学习在视觉领域取得的卓越的效果，视觉领域研究的前沿已经基本被深度学习占领，在这样的形势之下，越来越多的图形学研究者也开始将目光投向深度学习。传统的图像修复可以使用基于扩散方法来处理，这种方法将局部结构传播到位置部分，或者基于示例的方法，每一次构建缺失部分的一个像素点，同时保持和周围像素点的一致。当缺失的部分很大时，这些方法就会失效，因此需要一个额外的部件提供合理的想象。

发明内容

本发明的目的在于改善现有技术中所存在的不足，提供一种深度学习的图像修复方法。

为了实现上述发明目的，本发明实施例提供了以下技术方案：

一种深度学习的图像修复方法，包括以下步骤：

步骤S1：使用边缘生成器预测原始图像上遮盖区域的边缘映射；

步骤S2：验证边缘生成器预测出的边缘映射是否真实；

步骤S3：图像补全网络对真实的边缘映射进行图像修复和合成，剔除不真实的边缘映射；

步骤S4：验证图像补全网络修复和合成的图像是否真实；

步骤S5：生成真实的图像，剔除不真实的图像。

更进一步地，为了更好的实现本发明，所述使用边缘生成器预测原始图像上遮盖区域的边缘映射的步骤，包括：

边缘生成器预测的原始图像的幻想边缘为：

S_pred＝G(I_gray,S_gt)

其中，S_pred表示图像的幻想边缘；

I_gray表示原始图像的灰度值矩阵；

S_gt表示原始图像的边缘映射。

更进一步地，为了更好的实现本发明，所述验证边缘生成器预测出的边缘映射是否真实的步骤，包括：使用第一网络训练目标对边缘生成器预测出的边缘映射进行验证：

其中，λ_adv和λ_FM为正则化参数；

所述第一网络训练目标的方式包括对抗网络损失函数和特征匹配损失函数。

更进一步地，为了更好的实现本发明，所述对抗网络损失函数为：

所述特征匹配损失函数为：

其中，L表示卷积层数，N_i表示第i层的元素个数，D_i表示第i层的第一网络训练目标的鉴别器。