[发明专利]图像修复方法、装置及电子设备

说明书

本申请公开了一种图像修复方法及装置，涉及计算机领域，尤其涉及图像修复技术。具体实现方案为：将待修复图像输入第一卷积神经网络进行编码，获得第一高维隐层向量；将所述第一高维隐层向量和所述待修复图像的内容类别输入所述第一卷积神经网络进行解码，获得修复图像。本申请实施例能够提高图像修复的准确性。

技术领域

本申请涉及计算机领域，尤其涉及图像修复领域，提供一种图像修复方法、装置及电子设备。

背景技术

图像修复是一种在缺块的图片中合成语义正确、看起来真实的内容的技术。图像修复技术应用广泛，常常可用于去除图片中不需要的物体、修复图像中受损的部分。

随着计算机技术的发展，图像修复在各个领域的需求也越来越多，然而目前的图像修复技术，修复效果有限，常常难以满足用户对图像修复效果的需求。

发明内容

为了解决现有技术中的至少一个问题，本申请实施例提供一种图像修复方法及装置。

第一方面，本申请实施例提供一种图像修复方法，包括：

将待修复图像输入第一卷积神经网络进行编码，获得第一高维隐层向量；

将所述第一高维隐层向量和所述待修复图像的内容类别输入所述第一卷积神经网络进行解码，获得修复图像。

在本申请实施例中，在第一神经网络进行解码时，添加待修复图像的内容类别信息，从而第一神经网络能够结合待修复图像的内容类别对第一高维隐层向量进行解码，改善图像修复效果。尤其在处理待修复图像的缺损部分较大的情况时，根据图像类别对图像进行修复，能够提高图像修复效果。

在一种实施方式中，将待修复图像输入第一卷积神经网络进行编码，获得第一高维隐层向量之前，还包括：

将用于训练的样本图像输入第二卷积神经网络进行编码，获得第二高维隐层向量；

将所述第二高维隐层向量和所述样本图像的内容类别输入所述第二卷积神经网络进行解码，获得修复样本图像；

将修复样本图像和所述样本图像的内容类别输入判别器网络，获得损失值；

根据所述损失值对所述第二卷积神经网络进行优化，获得所述第一卷积神经网络。

在本申请实施例中，对第二卷积神经网络进行训练时，采用待修复图像的内容类别和编码生成的高维隐层向量进行解码，使得解码过程能够参考内容类别执行，从而训练后得到的第一卷积神经网络能够根据对待修复图像编码生成的高维隐层向量和内容类别进行解码，生成修复后的图像，在图像缺损程度较大时，尤其能够提高图像修复效果。

在一种实施方式中，将待修复图像输入第一卷积神经网络进行编码，获得第一高维隐层向量，包括：

在目标编码层对目标图像掩模进行部分卷积操作，得到第一结果；

在所述目标编码层对所述第一结果进行批量归一化操作，得到第二结果；

其中，当所述目标编码层为所述第一卷积神经网络的第一个编码层时，所述目标图像掩膜为所述待修复图像的图像掩膜；当所述目标编码层为所述第一卷积神经网络的第一个编码层之后的编码层时，所述目标图像掩膜为上一个编码层作为目标编码层时的第二结果；所述第一高维隐层向量包括所述第一结果和所述第二结果。

在本申请实施例中，通过对待修复图像进行部分卷积操作和批量归一化操作，能够得到待修复图像的高维隐层向量，进而能够在操作过程中减少缺损像素的个数，最终达到图像修复的目的。

在一种实施方式中，将所述第一高维隐层向量和所述待修复图像的图像内容类别输入所述第一卷积神经网络进行解码，获得修复图像，包括：