[发明专利]一种唐卡图像综合修复方法

说明书

本发明涉及非物质文化遗产数字化技术领域，具体地说，涉及一种唐卡图像综合修复方法，其包括以下步骤：一、收集获取唐卡图像，并建立唐卡图像资源库；二、建立不规则掩码数据集和唐卡图像数据集；三、构建预训练模型；四、通过冻结编码网络的批量归一化层对预训练模型进行进一步的改进训练，构建适合修复唐卡不规则破损的唐卡图像修复模型；五、使用唐卡图像修复模型修复破损唐卡图像，若唐卡图像弱纹理区域修复时出现明显痕迹，则使用PatchMatch修复方法对其局部二次修复；六、搭建基于Web的可视化唐卡图像修复系统。本发明能够实现对唐卡图像不规则破损的整体修复，修复效果贴近唐卡图像特点且修复速度快，而且能够二次修复。

技术领域

本发明涉及非物质文化遗产数字化技术领域，具体地说，涉及一种唐卡图像综合修复方法。

背景技术

虽然基于深度学习的图像修复技术在近几年成为了研究热点并获得了良好的成绩，但是针对唐卡的研究与保护，主要还是以建立唐卡图像资源库和文化方向的研究为主，以深度学习前沿技术对唐卡图像进行修复的案例依然很少。唐卡图像的实际破损区域一般具有不确定性和复杂性，而唐卡图像又具有独特的特征，所以使用传统的数字图像修复技术难以实现唐卡图像在整体上的有效修复，这也是当前研究人员在研究唐卡图像修复时往往会根据细化的唐卡图像破损区来采用不同数字图像修复技术进行组合修复的原因。

在实际应用中，细化唐卡图像破损区并挑选适当的数字图像修复技术是一个比较繁杂的过程，而实现唐卡图像的整体修复又是这一过程的多次重复，而且传统数字图像修复技术一般修复耗时较长。

发明内容

本发明的内容是提供一种唐卡图像综合修复方法，其能够克服现有技术的某种或某些缺陷。

根据本发明的一种唐卡图像综合修复方法，其包括以下步骤：

一、收集获取唐卡图像，并建立唐卡图像资源库；

二、根据唐卡破损特性和唐卡资源库的唐卡图像建立面向唐卡破损特点的不规则掩码数据集和面向深度学习的唐卡图像数据集；

三、使用Places2数据集和不规则掩码数据集对基于部分卷积的图像修复网络进行预训练，构建预训练模型；

四、在唐卡图像数据集和掩码图像数据集的基础上，通过冻结编码网络的批量归一化层对预训练模型进行进一步的改进训练，构建适合修复唐卡不规则破损的唐卡图像修复模型；

五、使用唐卡图像修复模型修复破损唐卡图像，若唐卡图像弱纹理区域修复时出现明显痕迹，则使用PatchMatch修复方法对其局部二次修复；

六、基于唐卡图像修复模型和PatchMatch修复方法搭建基于Web的可视化唐卡图像修复系统。

作为优选，步骤二中，不规则掩码数据集的建立方法为：分析唐卡破损特性，获得唐卡破损类型，通过分析唐卡破损特性，构建一种面向唐卡破损特点的唐卡图像不规则掩码数据集。

作为优选，唐卡破损类型为折痕破损、颜色脱落、油烟污染和画布缺损。

作为优选，步骤二中，唐卡图像数据集的建立方法为：筛选唐卡图像资源库中的唐卡图像进行预处理，构建一种面向深度学习的统一规范格式的唐卡图像数据集。

作为优选，步骤三中，搭建基于部分卷积的U-Net网络架构，使用编码网络提取图像特征，使用解码网络上采样恢复图像。

作为优选，步骤四中，使用建立的面向深度学习的唐卡图像数据集和面向唐卡破损特性的不规则掩码数据集对冻结后的深度神经网络进行迁移学习，构建适合修复唐卡不规则破损的唐卡图像修复模型。

作为优选，步骤五中，唐卡图像弱纹理区域提前进行标注，然后以掩码图像定位。