[发明专利]一种基于深度卷积对抗式网络的数字壁画图像修复方法

权利要求书

1.一种基于深度卷积对抗式网络的数字壁画图像修复方法，其特征在于，包括以下步骤：

步骤1，收集壁画图像，进行裁切和筛选，构建实验所需训练集；人为构建掩膜，模拟破损壁画图像，构建实验所需测试集；

步骤2，构建基于DCGAN的数字壁画修复模型，使用训练集对该模型进行训练，直至模型生成较为真实且清晰的壁画图像，保存模型参数；

所述基于DCGAN的数字壁画修复模型包括结构基本对称的生成器和判别器，其中生成器包括多个微步卷积，判别器包括多个跨步卷积和一个sigmoid层；

所述基于DCGAN的数字壁画修复模型的输入为噪声向量，生成器的输出为壁画图像；

步骤3，利用步骤2中保存的模型参数，使用测试集中模拟的破损壁画图像，通过计算损失函数，更新模型参数，迭代多次直到完成图像修复，其中损失函数包括先验损失和上下文损失。

2.根据权利要求1所述的一种基于深度卷积对抗式网络的数字壁画图像修复方法，其特征在于：步骤1中壁画图像数据集，为了使数据集中图像风格统一，对收集到的壁画图像进行了以下预处理：

步骤1：图像裁切

因为DCGAN网络生成的图像均为相同大小，其判别器的输入也均为相同尺寸图像，因此将唐代壁画图像裁切为K*K的图像块，该过程采用重叠切割的方式，从而增加图像块数量，扩充数据集；

步骤2：数据筛选

裁切之后为了统一风格，进一步进行筛选，仅选取人物衣物部分，得到唐朝人物衣物壁画图像，将其作为训练集；

步骤3：破损壁画模拟

人为构建掩膜，并将掩膜和完好的壁画图像叠加，模拟壁画破损。

3.根据权利要求1所述的一种基于深度卷积对抗式网络的数字壁画图像修复方法，其特征在于：所述基于DCGAN的数字壁画修复模型中，判别器的第一个跨步卷积层和生成器的最后一个微步卷积层后面没有使用BN层，其他层后面均使用了BN层。

4.根据权利要求1所述的一种基于深度卷积对抗式网络的数字壁画图像修复方法，其特征在于：所述基于DCGAN的数字壁画修复模型中生成器的最后一个微步卷积层使用tanh函数，生成器中其他层使用ReLU函数，判别器中每一层均使用Leaky ReLU函数。

5.根据权利要求1所述的一种基于深度卷积对抗式网络的数字壁画图像修复方法，其特征在于：所述基于DCGAN的数字壁画修复模型的训练过程如下；

使用训练集中完好无损的壁画图像对DCGAN网络模型进行训练，网络的输入为100噪声向量，为从标准正态分布中抽取的一组随机数，输出为64*64大小的壁画图像；

首先初始化判别器和生成器的网络参数，从训练机抽取n个样本，生成器利用噪声向量生成n个样本；固定生成器参数，训练判别器，使其尽可能区分真假；固定判别器，训练生成器，使判别器无法区分真假；多次迭代后，判别器无法判别图像是来自生成器还是来自真实数据集，生成器能够生成较为真实的壁画图像，最终保存模型参数。

6.根据权利要求1所述的一种基于深度卷积对抗式网络的数字壁画图像修复方法，其特征在于：所述基于DCGAN的数字壁画修复模型中先验损失的作用是使修复后的结果尽量接近真实的壁画图像，其计算公式如下：

Loss_p＝ln(1-D(G(z))) (1)

其中，z为输入的噪声向量，D表示判别器，G表示生成器，G(z)表示生成图像，修复前判别器和生成器使用完好无损的壁画图像训练得到的模型参数；

上下文损失的作用是使修复结果向破损图像靠近，而不是生成虽然真实，但是与原图毫不相关的修复图像；将修复图像与破损图像做差再乘上权重矩阵即可得上下文损失，其计算公式如下：

Loss_c＝||W⊙(G(z)-y)|| (2)

其中W为权重矩阵，其尺寸与输入图像相同，y表示破损图像，即掩膜之后得到的待修复图像；权重矩阵W由掩膜图像M计算得到：对于破损区域，掩膜位置即为破损区域，破损区域像素值为0，生成图像与破损图像的差值不计入损失函数，即权重为0；对于其余像素，以该像素点为中心，取3*3大小的窗口，窗口中破损的像素越多，即掩膜像素为0越多，则权重值越大；除破损区域像素外，所有权重值低于a的像素点均赋a权重值；其计算公式如下：

其中M_ij是掩膜在第i行j列处的像素值，若该像素为破损像素，则M_ij为0，否则为1；权重矩阵的作用是使修复网络的注意力更集中于破损区域，窗口中破损像素越多，权重越高，在损失函数中占比越大；a为常数，取值为0-0.5。