[发明专利]基于特征图最近邻替换的卷积神经网络的图像填充系统

说明书

基于特征图最近邻替换的卷积神经网络的图像填充系统，属于图像填充技术领域，解决了现有图像填充方法无法快速地获得整体语义一致且具有良好清晰度的填充图像的问题。所述系统：生成网络对待填充图像先编码后解码，得到已填充图像。生成网络的解码器包括N个反卷积层，对于第一反卷积层～第N‑1反卷积层中的任意M个反卷积层，生成网络基于每个反卷积层的输出结果和该反卷积层对应的卷积层的输出结果，并采用特征图最近邻替换的方式得到附加特征图，并将每个反卷积层的输出结果、该反卷积层对应的卷积层的输出结果和附加特征图共同作为下一反卷积层的输入对象。判别网络用于判断已填充图像是否为待填充图像对应的真实图像。

技术领域

本发明涉及一种图像填充系统，属于图像填充技术领域。

背景技术

图像填充是计算机视觉和图像处理领域中的一项基本问题，其主要用于对受到损坏的图像进行修复重建或者去除图像中的多余物体。

现有的图像填充方法主要包括基于扩散的图像填充方法、基于样本的图像填充方法和基于深度学习的图像填充方法。

基于扩散的图像填充方法的基本思想为：以像素点为单位，将待填充区域边缘的图像信息扩散到待填充区域内部。当待填充区域面积较小且结构简单、纹理单一时，该图像填充方法能够较好地完成图像填充任务。然而，当待填充区域面积较大时，采用该图像填充方法获得的填充图像的清晰度较差。

基于样本的图像填充方法的基本思想为：以图像块为单位，由图像已知区域向待填充区域逐渐填充。每次填充图像块时，用图像已知区域中与待填充区域边缘图像块最相似的图像块来填充待填充区域。与基于扩散的图像填充方法相比，采用基于样本的图像填充方法获得的填充图像的纹理更好，清晰度更高。然而，由于基于样本的图像填充方法是采用图像已知区域中的相似图像块来逐步替换待填充区域中的未知图像块，因此，采用该图像填充方法无法获得整体语义一致的填充图像。

基于深度学习的图像填充方法主要是指将深度神经网络应用到图像填充领域中。目前，有学者提出采用编码器-解码器网络来对中间区域缺失的图像进行图像填充。然而，这种图像填充方法只适用于128*128的RGB图像。采用该图像填充方法获得的填充图像虽然能够满足整体语义一致的要求，但是，其填充图像的清晰度较差。针对这一问题，有学者尝试采用多尺度迭代更新的方式进行大图的清晰填充。然而，虽然这种图像填充方法所获得的填充图像具有整体语义一致性和良好的清晰度，但是，其速度极慢。在Titan X显卡运行环境下，对一张256*256的RGB图像进行填充，需要耗时数十秒至几分钟。

发明内容

本发明为解决现有的图像填充方法无法快速地获得整体语义一致且具有良好清晰度的填充图像的问题，提出了一种基于特征图最近邻替换的卷积神经网络的图像填充系统。

本发明所述的基于特征图最近邻替换的卷积神经网络的图像填充系统包括生成网络和判别网络；

生成网络包括编码器和解码器，编码器包括N个卷积层，解码器包括N个反卷积层，N≥2；

生成网络通过对待填充图像先编码后解码的方式，得到已填充图像；

对于第一反卷积层～第N-1反卷积层中的任意M个反卷积层，生成网络基于每个反卷积层的输出结果和该反卷积层对应的卷积层的输出结果，并采用特征图最近邻替换的方式得到附加特征图，并将每个反卷积层的输出结果、该反卷积层对应的卷积层的输出结果和得到的附加特征图共同作为下一反卷积层的输入对象；

1≤M≤N-1；

判别网络用于判断已填充图像是否为待填充图像对应的真实图像，进而对生成网络的权重学习进行约束。

作为优选的是，编码器包括卷积层E₁～卷积层E₈，解码器包括反卷积层D₁～反卷积层D₈；