[发明专利]图像修复方法、装置及电子设备

说明书

本申请公开了图像修复方法及装置，涉及计算机技术领域，尤其涉及图像处理。具体实现方案为：采用第一卷积神经网络的编码层对待修复图像进行编码，获得第一高维隐层向量；采用所述第一卷积神经网络的解码层对所述第一高维隐层向量进行解码，获得第二高维隐层向量；将所述第二高维隐层向量加入第三高维隐层向量中，采用第二卷积神经网络的解码层对所述第三高维隐层向量进行解码，获得第四高维隐层向量；所述第三高维隐层向量为所述第二卷积神经网络的编码层对所述待修复图像进行编码获得的；根据所述第四高维隐层向量，获得修复的图像。本申请实施例能够提高图像修复的准确性。

技术领域

本申请涉及一种计算机技术领域，尤其涉及一种图像处理领域，提供一种图像修复方法、装置及电子设备。

背景技术

图像修复是一种在缺块的图片中合成语义正确、看起来真实的内容的技术。图像修复技术应用广泛，常常可用于去除图片中不需要的物体、修复图像中受损的部分。

随着计算机技术的发展，图像修复在各个领域的需求也越来越多，然而目前的图像修复技术，修复效果有限，常常难以满足用户对图像修复效果的需求。

发明内容

为了解决现有技术中的至少一个问题，本申请提供一种图像修复方法及装置。

第一方面，本申请实施例提供一种图像修复方法，包括：

采用第一卷积神经网络的编码层对待修复图像进行编码，获得第一高维隐层向量；

采用第一卷积神经网络的解码层对第一高维隐层向量进行解码，获得第二高维隐层向量；

将第二高维隐层向量加入第三高维隐层向量中，采用第二卷积神经网络的解码层对第三高维隐层向量进行解码，获得第四高维隐层向量；第三高维隐层向量为第二卷积神经网络的编码层对待修复图像进行编码获得的；

根据第四高维隐层向量，获得修复的图像。

本申请实施例中，采用两个卷积神经网络对待修复图像进行修复，采用其中一个卷积神经网络解码图像时输出的高维隐层向量，指导另一个卷积神经网络的图像掩膜解码，能够在多个阶段、基于多个尺度进行图像的修复，改善图像修复效果。

在一种实施方式中，采用第一卷积神经网络的编码层对待修复图像进行编码，获得第一高维隐层向量之前，还包括：

采用第一卷积神经网络的编码层对样本图像进行编码，获得第五高维隐层向量；

采用第一卷积神经网络的解码层对第五高维隐层向量进行解码，获得第六高维隐层向量；

将第六高维隐层向量加入第七高维隐层向量中，采用第二卷积神经网络的解码层对第七高维隐层向量进行解码，获得第八高维隐层向量；第七高维隐层向量为卷积神经网络的编码层对样本图像进行编码获得的；

根据第一训练图像、第二训练图像和参考图像优化第一卷积神经网络和第二卷积神经网络；第一训练图像根据第六高维隐层向量获得，第二训练图像根据第八高维隐层向量获得。

在本申请实施例中，训练阶段对第一卷积神经网络和第二卷积神经网络同时进行训练，能够同时提高第一卷积神经网络的参考信息的有效性和第二卷积神经网络的修复图像的修复效果。

在一种实施方式中，根据第一训练图像、第二训练图像和参考图像优化第一卷积神经网络和第二卷积神经网络，包括：

根据第一训练图像和参考图像获得第一损失值；根据第二训练图像和参考图像获得第二损失值；

将第一损失值和第二损失值相加，获得第三损失值；

根据第三损失值优化第一卷积神经网络和第二卷积神经网络。