[发明专利]基于递进学习策略的图像修复方法、系统、介质及设备

说明书

本发明公开了一种基于递进学习策略的图像修复方法、系统、存储介质及终端设备，包括：将待修复图像输入粗生成模型，以得到粗生成结果；提取所述粗生成结果的特征图，以得到前景特征图；将所述前景特征图与背景特征图进行匹配，并将得到的与所述前景特征图匹配度最高的背景样本块对所述前景特征图进行重构。本发明能够在对图像中大面积破损区域进行生成时，保持图像语义完整并生成较为清晰的细节，对结构性强的图片有较好的修复效果，从而提升了用户图像修复体验。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于递进学习策略的图像修复方法、系统、计算机可读存储介质及终端设备。

背景技术

图像修复是图像复原的一个重要组成部分，是指对图像上信息缺损区域进行信息填充，并在最大程度上进行真实的还原，使得被修复后的图像在视觉上与语义上具有真实性。其目的是利用图像现有的信息来修复丢失的信息。然而，现有的图像修复方法多数从数学和物理的角度对图像进行生成，而没有考虑到图像的语义信息，因此只能够对破损面积较小的图像进行修复；对大面积破损的图像进行修复时，存在修复效果较差、修复过程中可能造成语义信息的丢失，且难以对不规则区域及高频图像的细节进行修复的问题。

发明内容

本发明实施例所要解决的技术问题在于，提供一种基于递进学习策略的图像修复方法、系统、计算机可读存储介质及终端设备，能够在对图像中大面积破损区域进行生成时，保持图像语义完整并生成较为清晰的细节，对结构性强的图片有较好的修复效果。

为了解决上述技术问题，本发明实施例提供了一种基于递进学习策略的图像修复方法，所述方法包括：

将待修复图像输入粗生成模型，以得到粗生成结果；

提取所述粗生成结果的特征图，以得到前景特征图；

将所述前景特征图与背景特征图进行匹配，并将得到的与所述前景特征图匹配度最高的背景样本块对所述前景特征图进行重构。

进一步地，在将待修复图像输入粗生成模型以得到粗生成结果之前，所述方法还包括：

获取训练样本图像；

向所述训练样本图像中心区域附加一破损区域大小的掩模，以作为粗生成网络的输入。

进一步地，所述粗生成网络的生成训练方法，具体为：

将粗生成从内到外划分为四个阶段，将每个阶段通过编解码架构生成外层区域内容，并使用生成对抗网络对生成结果进行鉴别；

通过单层LSTM网络建立各个阶段之间的任务连接，以形成粗生成网络；

将训练样本图像输入粗生成网络中进行训练，以得到粗生成模型。

进一步地，所述粗生成模型包括重建损失函数、全变分损失函数以及光谱标准化的PatchGAN：

所述重建损失函数为，

其中，x₁为初始输入图像，M_i为掩模；

所述全变分损失函数为，

其中，m、n为像素的坐标；

所述光谱标准化的PatchGAN为，

其中，D^sn为光谱标准化的鉴别器，G为图像修复的粗生成网络，z为待修复的图像，x为真实图像。

进一步地，提取所述粗生成结果的特征图，以得到前景特征图，具体为：