[发明专利]图像修复方法、装置及电子设备

权利要求书

1.一种图像修复方法，其特征在于，包括：

将待修复图像输入第一卷积神经网络进行编码，获得第一高维隐层向量；

将所述第一高维隐层向量和所述待修复图像的内容类别输入所述第一卷积神经网络进行解码，获得修复图像；

将待修复图像输入第一卷积神经网络进行编码，获得第一高维隐层向量，包括：

在目标编码层对目标图像掩模进行部分卷积操作，得到第一结果；

在所述目标编码层对所述第一结果进行批量归一化操作，得到第二结果；

其中，当所述目标编码层为所述第一卷积神经网络的第一个编码层时，所述目标图像掩膜为所述待修复图像的图像掩膜；当所述目标编码层为所述第一卷积神经网络的第一个编码层之后的编码层时，所述目标图像掩膜为上一个编码层作为目标编码层时的第二结果；所述第一高维隐层向量包括所述第一结果和所述第二结果。

2.根据权利要求1所述的方法，其特征在于，将待修复图像输入第一卷积神经网络进行编码，获得第一高维隐层向量之前，还包括：

将用于训练的样本图像输入第二卷积神经网络进行编码，获得第二高维隐层向量；

将所述第二高维隐层向量和所述样本图像的内容类别输入所述第二卷积神经网络进行解码，获得修复样本图像；

将所述修复样本图像和所述样本图像的内容类别输入判别器网络，获得损失值；

根据所述损失值对所述第二卷积神经网络进行优化，获得所述第一卷积神经网络。

3.根据权利要求1所述的方法，其特征在于，将所述第一高维隐层向量和所述待修复图像的图像内容类别输入所述第一卷积神经网络进行解码，获得修复图像，包括：

对目标解码层上一解码层的第三结果、所述目标解码层对应的编码层的第一结果、所述待修复图像的内容类型进行批量归一化操作，得到第四结果；

对所述第四结果进行上采样和部分卷积操作，得到所述目标解码层的第三结果；

其中，所述目标解码层为所述第一卷积神经网络的第n个解码层，n大于0，所述与目标解码层对应的编码层为第m-n+1个编码层，所述m为解码层的层数。

4.根据权利要求1-3中任意一项所述的方法，其特征在于，所述第一卷积神经网络为U-Net卷积神经网络。

5.一种图像修复装置，其特征在于，包括：

编码模块：用于将待修复图像输入第一卷积神经网络进行编码，获得第一高维隐层向量；

解码模块：用于将所述第一高维隐层向量和所述待修复图像的内容类别输入所述第一卷积神经网络进行解码，获得修复图像；

所述编码模块包括：

第一操作单元：用于在目标编码层对目标图像掩模进行部分卷积操作，得到第一结果；

第二操作单元：用于在所述目标编码层对所述第一结果进行批量归一化操作，得到第二结果；

其中，当所述目标编码层为所述第一卷积神经网络的第一个编码层时，所述目标图像掩膜为所述待修复图像的图像掩膜；当所述目标编码层为所述第一卷积神经网络的第一个编码层之后的编码层时，所述目标图像掩膜为上一个编码层作为目标编码层时的第二结果；所述第一高维隐层向量包括所述第一结果和所述第二结果。

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

编码训练模块：用于将用于训练的样本图像输入第二卷积神经网络进行编码，获得第二高维隐层向量；

解码训练模块：用于将所述第二高维隐层向量和所述样本图像的内容类别输入所述第二卷积神经网络进行解码，获得修复样本图像；

损失值模块：用于将修复样本图像和所述样本图像的内容类别输入判别器网络，获得损失值；

优化模块：用于根据所述损失值对所述第二卷积神经网络进行优化，获得所述第一卷积神经网络。