[发明专利]一种基于多特征生成网络先验信息引导的图像填充方法

说明书

本发明提供了一种基于多特征生成网络先验信息引导的图像填充方法，包括以下步骤：步骤A：将图像数据集分为训练数据集、验证数据集和测试数据集三部分；步骤B：设计一种可以提取彩色图像先验信息的多特征可逆1×1卷积流形生成网络结构，使用图像数据集对该网络进行训练，得到训练好的网络模型；步骤C：设计一种可以提取已训练网络模型内的先验信息的迭代求解算法；步骤D：采用迭代求解算法应用于已训练网络模型对图像测试数据集进行测试，输出得到最终的修复图像。本发明首先从具有RGB通道的图像中利用该网络学习多特征图像先验信息，然后采用可变增强技术将获取的多特征图像先验信息嵌入到迭代重建过程中去迭代优化修复结果。

技术领域

本发明属于图像处理研究领域，尤其涉及图像填充技术应用，具体为一种基于多特征生成网络先验信息引导的图像填充方法。

背景技术

在图像生成、记录、传输、存储等过程中，难免会因人为操作、拍摄环境、硬件设备等因素造成图像缺失，尤其是一张照片会随着长时间的存放而导致发黄以及破损，使得图像视觉质量降低、图像关键信息丢失，这即是图像退化。图像填充就是对退化图像进行处理，通过背景填充、替换的方法，改善视觉效果，还原出真实图像的过程。图像填充技术近年来得到了广泛研究，应用于如天文观测、生物科学、医学影像、空间探索、军事科学、遥感预测、案件侦破及视觉科学等诸多领域，充分说明该技术的现实意义与社会价值。在数字时代，图像填充作为图像复原技术的一个分支，一直是一个具有挑战性和吸引力的问题，具有重大的研究价值与社会意义。

图像填充最初是一个传统图形学的问题。问题本身很直观：假设图像上存在缺失块，如何利用其它的信息将缺失块补全，通过对人眼在视觉上进行欺骗因此无法辨别出补全的部分。这个问题对人而言似乎很容易，人可以很合理的通过缺失部分周边区域以及整张图片描述的部分信息去对缺失部分进行补全，从而可以得到一个合理的图像填充修复结果。但是这个任务对于计算机而言却显得格外困难，首先这个问题没有唯一确定的解，其次如何利用其它的信息且判断补全结果是否足够真实都很难在计算机上实现，因为计算机并不具备人类思维能力以及视觉洞察能力。

从数学本质角度上讲，图像填充是将缺失图像进行填充修复的过程，而缺失图像通常理解为原始的清晰图像与随机缺失矩阵在图像域进行点乘，造成图像存在随机缺失块，其中随机缺失矩阵与原始清晰图像大小相同，矩阵内部元素由0,1组成，缺失率是矩阵内为0的总元素与矩阵总元素之比。在现有的条件下，我们无法通过求解计算去得到原始的清晰图像，因为缺失点的值存在无穷个解空间。如今，以深度学习为代表的机器学习正在逐渐席卷整个图形学研究领域。研究者们发现，当传统的用于处理图像问题的物理模型发展遇到瓶颈的时候，机器学习的方法也许能够帮助我们解释这些复杂的数理模型。目前最好的图像填充的方法主要分为两类：一类是经典的纹理合成方法，核心是从图像的未受损区域采样相似像素块填充待补全区域。另一类是基于神经网络的生成模型，该方法将图像编码成高维隐空间的特征，再从这个特征解码成一张修复后的全图。然而，这两种方法在保证语义合理和纹理清晰的要求上都有其局限性。

现有的这些方法存在三个缺点：填充修复区域与周边内容不协调、细节纹理较模糊以及高计算成本。为了减轻这些困难，一些研究人员重新考虑简单和传统的Patch-based方法。具体的讲在缺失区域不断选取缺失区域周边的patch块放入缺失区域进行填充，判断patch的合理性和协调性采用了：

其中公式(1)中，N₁、N₂是将未缺失区域按照同等大小划分的的patch块的序号，p、q指的是patch，R、G、B是彩色图像的三个通道，根据贪婪算法去求解最相似的patch，相似度度量指标d最小时即填充上去然后不断地进行patch块填充实现缺失区域地填充修复。Alec等人提出地生成模型DCGAN可以通过随机序列产生以假乱真地图片充分地证明了生成模型的优异性，采用生成模型去提取训练模型的先验信息，通过图像未缺失区域对生成模型产生的结果增加约束后得到初步结果，再将未缺失区域对初步结果进行覆盖得到最终的重建结果。

发明内容