[发明专利]一种针对壁画的破损图像补全方法

说明书

本发明涉及一种针对壁画的破损图像补全方法，包括以下步骤：建立并训练一个颜色补全模型，通过模型对训练数据集的特征学习，完成颜色补全模型的建立，得到可以正确预测缺失区域颜色块的初步修复的图像记作Isubgt;1/subgt;；建立纹理补全模型，充分利用在生成对抗网络的输出图Isubgt;1/subgt;的基础上，对Isubgt;1/subgt;进行基于纹理的自适应图像修补方法，完成纹理模型的建立，得到可以正确预测缺失区域纹理的修复图像Isubgt;2/subgt;；将前两步得到的分别具有缺失区域颜色和纹理的壁画进行融合，使得补全结果更加完备。

技术领域

本发明涉及计算机视觉领域，尤其涉及图像补全领域。其中，根据古代壁画的颜色和结构特征，设计了基于神经网络的全局与局部特征的古代壁画修补方法，可以实现对于壁画损坏的补全。

背景技术

壁画作为人类历史上最早的绘画形式之一，是人类历史文明的见证，是古今文化传承的载体。随着年代的推演，大型的壁画由于各种自然以及人为因素有着不同的损坏，由此对壁画的保护一直是人们探索的领域，正确按照壁画风格修补壁画的缺失区域是其关键。传统手工补全破损壁画需要补全人员具有专业的专家知识和绘画功底，这导致了传统手工补全壁画效率低下且不易存储以及更新，怎样更好、更高效的修补壁画的缺失区域对壁画保护有着重要的意义。从图像角度上说，每幅图像都具有不同特征的纹理和颜色特征。壁画同样也是，由于壁画的特殊的颜色特征和纹理特征，从技术上讲，壁画修补的技术的修补效果与主要的两个因素有关：一是壁画的颜色，本方法中使用生成对抗神经网络对壁画颜色进行颜色特征的提取，在保证完好部分颜色符合原始图像的基础上，使得破损区域的颜色得到一定程度的补全。另一个是壁画的纹理特征，在得到壁画缺失区域的颜色之后对壁画(修补后)进行纹理提取，再通过算法对缺失区域的纹理进行进一步的搜索，并预测缺失区域的纹理走向，生成纹理。

特征提取是计算机视觉和图像处理中的一个概念。它指的是使用计算机提取图像信息，决定每个图像的点是否属于一个图像特征。特征提取的结果是把图像上的点分为不同的子集，这些子集往往属于孤立的点、连续的曲线或者连续的区域。特征的精确定义往往由问题或者应用类型决定。特征是一个数字图像中“有趣”的部分，它是许多计算机图像分析算法的起点。因此一个算法是否成功往往由它使用和定义的特征决定。因此特征提取最重要的一个特性是“可重复性”同一场景的不同图像所提取的特征应该是相同的。常用的图像特征有颜色特征、纹理特征、形状特征、空间关系特征。卷积神经网络的发展为特征提取提供了很好地工具。卷积特征提取利用了自然图像的统计平稳性，这一部分学习的特征也能用在另一部分上，所以对于这个图像上的所有位置，我们都能使用同样的学习特征。当卷积神经网络中有多个过滤器时，我们就可以学到多个特征，例如：颜色、纹理等，使用卷积神经网络提取的特征会组成一个完整的特征图。

颜色特征是一种全局特征，描述了图像或图像区域所对应的景物的表面性质。一般颜色特征是基于像素点的特征，此时所有属于图像或图像区域的像素都有各自的贡献。由于颜色对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好地捕捉图像中对象的局部特征。另外，仅使用颜色特征查询时，如果数据库很大，常会将许多不需要的图像也检索出来。颜色直方图是最常用的表达颜色特征的方法，其优点是不受图像旋转和平移变化的影响，进一步借助归一化还可不受图像尺度变化的影响，基缺点是没有表达出颜色空间分布的信息。

纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性质。与颜色特征不同，纹理特征不是基于像素点的特征，它需要在包含多个像素点的区域中进行统计计算。在模式匹配中，这种区域性的特征具有较大的优越性，不会由于局部的偏差而无法匹配成功。常见的模式识别方法对图像特征提取方法，一种为像素级别，即对图像中每点像素提取特征，优点在于匹配准确度高，但速度慢另一种为将图像划分为形状规则的子图，对每一个子图提取特征，子图越大速度越快，但与此同时准确度越低。显然这两种方法不能同时保证准确度与速度，因此需要提出一种更加合理的同时保证准确度和速度的特征提取方法，以助于提高分割的效率和精度。