[发明专利]一种基于条件生成对抗网络的图像修复方法及系统

说明书

本发明提供了一种基于条件生成对抗网络的图像修复方法及系统，其方法包括：首先在CelebA数据集上训练条件生成对抗网络CGAN，然后将待修复图像输入CGAN生成一系列与之相似的伪造图像，且定义了一个由语境损失和感知损失组成的损失函数。语境损失保证待修复图像与修复后图像内容的相似性，感知损失保证视觉上输出完整逼真的图像最后利用该损失函数的反向传播算法，把待修补图像映射到较小的潜在空间，将映射后的矢量输入CGAN中生成待修补图像的最佳伪造图像。本发明的有益效果是：提出了基于条件生成对抗网络的图像修复方法，从本质上彻底解决了生成对抗网络训练不稳定以及崩溃问题；结合语境损失和感知损失函数获取最佳伪造图像，完成图像缺失区域修复。

技术领域

本发明涉及计算机视觉图像修复领域，尤其涉及一种基于条件生成对抗网络的图像修复方法及系统。

背景技术

图像修复起源于文艺复兴时期人们对艺术品的修复，重建优美的艺术品传承国家文化供人们欣赏学习，利用图像缺失区域的邻域信息，按照一定的修复规则实现缺失区域的修复，使得观察者在视觉上无法感知图像曾经破损或己被修复。20世纪80年代以来，随着计算机人工智能和数字媒体技术的飞速发展，艺术作品的修复己经由传统的纯手工修复，转为计算机自动检测破损区域并完成修复。数字图像修复技术也不再局限于数字博物馆中艺术品的修复，也延伸到了公安刑侦面部修复、影视特技制作、图像缩放、冗余目标剔除、视频通信的错误隐匿、图像有损压缩和生物医学图像应用等众多领域，在图像修复的过程中，由于破损区域邻域和背景信息复杂，修复过程毫无规律可循，数学模型建立困难等一系列问题，导致图像修复技术成为当前计算机视觉和计算机图形学领域的一个研究热点，具有非常重大的研究价值和应用价值。

目前，数字图像修复算法主要包括三个方向:基于结构的图像修复算法、基于纹理的图像修复算法和基于深度学习的图像修复算法。基于结构的图像修复算法利用信息扩散原理实现图像修复，对视觉信息中的结构性原则有着很好的体现，但是该方法应用范围过于局部，主要用于小尺度缺失区域的修复当缺损区域较大时往往导致修复后的图像模糊不清，修复效果不佳。基于纹理的图像修复技术主要用于修复面积较大的缺损区域，通过仿真生成局部纹理信息进行填充。目前基于结构和纹理的图像修复算法均可以修复褶皱等小块区域缺失，随着缺失巨域的扩大，修复效果逐渐恶化，修复结果中存在语义信息不完整，图像模糊等问题，无法达到修复的要求。近年来，深度学习在图像语义修复、情景感知等领域展现着令人振奋的前景，基于深度学习的图像修复算法相对于传统的基于结构和纹理的修复算法能够捕获更多图像的高级特征，所以经常被用来进行纹理合成和图像风格化。然而，目前存在的基于深度学习的图像修复算法均停留在监督学习的基础之上，为图像修复带来很多限制性因素。在非监督学习领域中，2014年由Goodfellow提出的生成式对抗式网络(GAN)取得了开创性进展，在图像修补的过程中，生成式对抗网络相对于编码一解码器而言能够更好地拟合数据，拟合速度较快且生成的样本更加锐利，但是该方法也存在许多弊端，例如数据训练不稳定、模型自由不可控、训练崩溃等问题。CGAN解决了训练崩溃的问题，因此，将条件生成式对抗网络应用到图像修复领域成为研究热点。

发明内容

为了解决上述问题，本发明提供了一种基于条件生成对抗网络的图像修复方法及系统；一种基于条件生成对抗网络的图像修复方法，主要包括以下步骤：

S101：获取训练数据集，并对所述训练数据集中的数据进行预处理，得到预处理后的训练数据集；

S102：将所述预处理后的训练数据集作为CGAN网络的训练数据集，以对所述CGAN网络进行训练，得到训练好的CGAN网络；

S103：将待修复图像输入至所述训练好的CGAN网络，得到修复后的图像。

进一步地，步骤S101中，所述训练数据集采用CelebA数据集；通过Openface平台对所述训练数据集中的数据进行预处理，包括：首先采用人脸检测算法检测所述训练数据集中的各图像中的人脸区域，然后将检测出来的人脸区域统一裁剪为64×64大小且对齐，得到预处理后的训练数据集。