[发明专利]一种基于迭代式网络的唐卡图像修复方法

权利要求书

1.一种基于迭代式网络的唐卡图像修复系统，其特征在于，包括图像输入模块、图像修复网络模块、总损失计算模块、和图像输出模块；

图像输入模块，用于将破损唐卡图像输入到图像修复网络模块中；

图像修复网络模块包括由编码器单元、区域识别单元、纹理修复单元与结构修复单元、特征自适应融合单元和解码器单元，连接形成神经网络；

总损失计算模块，用于对图像修复网络模块进行训练，以迭代优化图像修复网络模块的参数；总损失计算模块的构建过程为：首先，建立训练集，训练集中每个训练样本包括：原唐卡图像、表示缺损区域的掩码图以及将原唐卡图像和表示缺损区域的掩码图进行融合得到破损唐卡图像；每个训练样本对应输出的训练结果为：利用图像修复网络模块修复得到的修复唐卡图像；然后利用VGG16模型构建总损失计算模块：其中，总损失计算模块的总损失函数由像素重建损失函数、内容损失函数和风格损失函数叠加构成：

所述像素重建损失的表达式为：

公式(1)中，X_i与X′_i分别为原唐卡图像与对应修复唐卡图像上的像素，m为该样本图像所有像素的个数，c是用于稳定计算过程的极小常数；

所述内容损失的表达式为：

公式(2)中，Φ_i(·)代表用来将图像转换到特征空间的函数；i是该函数中某输出层；

所述风格损失表达式为：

公式(3)中，G(·)为对特征图进行Gram矩阵计算操作；

所述总损失函数为：

公式(4)中，为像素重建损失，为内容损失，为风格损失，λ_Char、λ_content和λ_style为平衡各部分损失函数权重的参数；

图像输出模块，用于输出经总损失计算模块训练后图像修复网络模块生成的修复唐卡图像。

2.根据权利要求1所述的基于迭代式网络的唐卡图像修复系统，其特征在于，所述图像修复网络模块中的编码器单元和解码器单元均为多层卷积层结构；编码器单元的卷积层均使用部分卷积，解码器单元的卷积层使用转置卷积和部分卷积，每个卷积层的下层使用BatchNorm构建归一化层。

3.根据权利要求2所述的基于迭代式网络的唐卡图像修复系统，其特征在于，所述图像修复网络模块中的区域识别单元为部分卷积级联组成，部分卷积利用破损唐卡图像的二值掩码图区分出了破损唐卡图像的有效区域和空洞区域，使对破损唐卡图像的卷积仅依赖于有效区域；通过部分卷积生成新的特征点x′的公式表示为：

公式(5)中，W为普通卷积的卷积核参数，b为偏差，X为当前卷积核在输入特征图上对应的滑动窗口，M为该滑动窗口对应的二值遮挡图，⊙代表矩阵元素点乘操作；

若当前卷积核对应的滑动窗口全部来自于空洞区域，那么该窗口生成的特征点会被直接置为0。

4.根据权利要求3所述的基于迭代式网络的唐卡图像修复系统，其特征在于，所述图像修复网络模块中的纹理修复单元与结构修复单元由下采样层、特征修复层和上采样层组成；

纹理修复单元中，下采样层由三层卷积组成，此三层卷积自上而下为一层步长为2，卷积核大小为3*3的卷积以及两层步长为1，卷积核大小为3*3的卷积；特征修复层由三层扩张卷积组成，此三层卷积为三层卷积核大小为3*3，步长为1的卷积，其扩张率分别为2、4、8；上采样层由三层转置卷积组成，此三层卷积为三层卷积核大小为4*4，步长为2的转置卷积；

结构修复单元中，下采样层由三层卷积组成，此三层卷积为三层卷积核大小为3*3，步长为2的卷积；特征修复层由三层扩张卷积组成，此三层卷积为三层卷积核大小为3*3，步长为1的卷积，其扩张率均为2，上采样层由三层转置卷积组成，此三层卷积为三层卷积核大小为4*4，步长为2的转置卷积。

5.根据权利要求4所述的基于迭代式网络的唐卡图像修复系统，其特征在于，所述纹理修复单元与结构修复单元中的特征修复层的扩张卷积公式如下：

设输入特征图为x，其中每个像素坐标为i，卷积核为w，扩张率为r，输出特征图为y。