[发明专利]一种基于生成式对抗神经网络的图像修复方法

说明书

本发明公开了一种基于生成式对抗神经网络的图像修复方法，该方法使用了四个部分，分别是生成网络、全局判别网络、局部判别网络和LSTM神经网络。两个判别器主要用于保证缺失区域修复后能够和周围保持一致性。LSTM神经网络主要用于分阶段修复破损图像。算法包括数据预处理模块、模型训练模块和图像修复模块，主要用于对大面积缺失的图像进行语义修复任务,以重建出符合人眼感官的完整逼真图像。

技术领域

本发明涉及一种基于生成式对抗神经网络的图像修复方法，属于图像语义修复领域。

背景技术

图像作为客观世界重要的信息载体，是人类获取和辨识外界信息的主要来源和手段。高质量的图像可以给人们带来更加丰富的信息和内容，甚至能给人以美的观赏感。然而，在实际生活中，并不能保证所有获取到的图像都具有较高的质量，在图像的采集、传输、存储等过程中，在经过某些图像处理操作后，常常会导致图像信息丢失，质量下降。比如在图像传输过程中，由于信道带宽限制或者信道收到损坏，就可能导致传输的图像丢失信息。为了提高图像质量，保证信息传递的有效性，对图像受损区域进行修复是非常有必要的。

图像修复是指利用图像缺失部分邻域的信息和图像整体的结构信息等，按照一定的修复规则对图像的缺失区域进行填充，使观察者无法察觉出图像曾经受损。图像修复并非是一个最近兴起的研究课题，早在中国古代，就已经有对破损文物如壁画等进行修复。由于时间久远和技术落后的原因，很多珍贵的照片、纸质文档和画作等文物都出现了不同程度的破损，比如，老旧照片出现折痕、污点，纸质文档出现破损等。进入现代社会后，随着科技的进步和互联网的发展，图像的存储方式发生了巨大的变化，不再是以前的纸张，而是使用胶卷、手机和相机等设备来采集和存储图像。然而胶卷在长时间放置或者受到意外曝光后，存储在其上的图像信息可能会受到损失，手机拍摄的照片中也可能会出现我们不想要的物体等，这些都会影响图像的质量和使用价值。早期一般采取手工填补的方式对文物等艺术品修复，一旦修复者因为各种原因出现失误都会导致不可挽回的损失，手工修复的效果严重依赖于修复者的能力水平和修复经验，修复质量的好坏和耗费的时间都无法得到保证，并且这种修复方式缺乏科学理论依据。随着计算机的出现和发展，无需手动操作便可完成图像修复成为可能。使用计算机进行图像修复，不仅能够极大地提高修复效率，而且不会对文物等珍贵物品产生本质上的损坏，避免因为意外带来的损失。数字图像以矩阵的方式存储在计算机中，其本质是一个二维的离散函数，函数值是图像对应位置的灰度值。图像这种数学化的表示方法，使得我们可以从数学上对图像进行建模和操作，达到修复图像的目的。然而，一方面，在修复图像时，由于缺失区域和背景具有复杂的纹理结构和不确定的噪声，通常难以找到通用的修复规律，因此，直接搭建数学模型进行修复十分困难。另一方面，由于图像修复是一个病态逆问题，其根据获取到的部分图像信息，通过对图像感知过程的学习、理解和推断，重建出缺失区域的信息，然而重建的结果并不唯一，如何找到最优的修复结果也是一个富有挑战的问题。随着人工智能的发展，基于深度学习的图像修复也成为了图像处理领域中的一个研究热点，具有重大的学术和应用价值。

发明内容

本发明要解决的技术问题是如何修复缺失大面积语义区域的数字图像。

为了解决上述技术问题，本发明的技术方案是提供了一种基于生成式对抗神经网络的图像修复方法，其特征在于，包括以下步骤，

步骤一、对数据进行预处理，以满足神经网络对输入数据的要求，首先将图像的像素值放缩到(0,1)之间，然后将数据图像分辨率调整为128×128，对裁剪后的128×128的图像，分别制作四个掩膜矩阵来对图像进行人为损失，制作缺损图像，四个掩膜矩阵分别对应于修复图像的四个阶段；

步骤二、在获得步骤一处理的缺损图像后，使用生成网络的编码器中的生成卷积神经网络的卷积和池化操作对经过步骤一处理后的缺损程度最大图像进行特征提取得到深度特征图，再将特征图输入生成网络的解码器中进行上采样，进而得到伪造图像；