[发明专利]一种修复图像的方法、装置以及存储介质

说明书

本申请实施例公开了一种修复图像的方法、装置以及存储介质。其中，该方法包括：根据待修复图像预测目标掩膜图像，所述目标掩膜图像包括与所述待修复图像的像素一一对应的权重，任一所述权重大于或者等于0且小于或者等于1，根据所述目标掩膜图像对所述待修复图像进行编码，得到所述待修复图像的编码特征图，所述编码特征图的每个特征值均是所述待修复图像的相应特征值与所述目标掩膜图像中对应的权重相乘得到，对所述编码特征图解码得到所述待修复图像对应的修复图像，解决了提取的待修复图像的特征准确性的问题，即提取的待修复图像的特征准确性较好。

技术领域

本申请涉及图像处理领域，具体涉及一种修复图像的方法、装置以及存储介质。

背景技术

纸质照片不易保存，致使其表面会留下很多折痕或划痕，从而严重影响照片的观赏。为了解决该问题，目前提供了多种图像修复技术。

其中，一种常规的图像修复方法是将待修复图像与二值掩膜图像作为输入数据。其中，二值掩膜图像是通过0和1标记待修复图像中的受损区域和未受损区域的图像，使得修复模型能够根据所标记的受损区域和未受损区域修复该待修复图像。

通常，二值掩膜图像借助人工标注出受损区域之后得到，而这样不但浪费人力，并且导致该种图像修复方法无法推广。目前还有一些自动估计掩膜图像的方法，这些方法通常设定一个阈值得到二值掩码，若阈值设置过低，则可能将受损像素归类为未受损像素；反之，若阈值设置过高，则可能将未受损像素误认为受损像素，而这样准确性相对较差，导致所提取的待修复图像的特征准确性也较差。

发明内容

针对现上述技术问题，本申请实施例提出了一种修复图像的方法、装置以及存储介质，以解决提取的待修复图像的特征准确性较差的问题。

本申请实施例的第一方面提供了一种修复图像的方法，所述方法包括：

根据待修复图像预测目标掩膜图像，所述目标掩膜图像包括与所述待修复图像的像素一一对应的权重，任一所述权重大于或者等于0且小于或者等于1，每个所述权重表征所述待修复图像中相应像素的未受损程度；

根据所述目标掩膜图像对所述待修复图像进行编码，得到所述待修复图像的编码特征图，所述编码特征图的每个特征值均是所述待修复图像的相应特征值与所述目标掩膜图像中对应的权重相乘得到；

对所述编码特征图解码得到所述待修复图像对应的修复图像。

可选地，所述根据所述目标掩膜图像对所述待修复图像进行编码，得到所述待修复图像的编码特征图，包括：

对所述待修复图像和所述目标掩膜图像进行多级编码，得到所述编码特征图。

可选地，其中，任一级编码操作包括：

从所述待修复图像的输入数据中提取所述待修复图像的第一初始特征图，所述待修复图像的输入数据是所述待修复图像数据或者上一级编码输出的特征图；

使用本级编码过程对应的降维规则对所述第一初始特征图降维得到第二初始特征图，以及对第一初始掩膜图像降维得到第二初始掩膜图像，所述第二初始特征图的特征值与所述第二初始掩膜图像的权重值一一对应，所述第一初始掩膜图像是所述目标掩膜图像或者所述上一级编码输出的掩膜图像；

将所述第二特征图的每个特征值与所述第二初始掩膜图像的权重值对应相乘，得到所述本级编码对应的特征图。

可选地，所述根据待修复图像预测目标掩膜图像，包括：

提取所述待修复图像的特征图，所述特征图表征所述待修复图像中每个像素的特征值；

根据所述特征图获得所述每个像素是否是未受损像素的概率分布；

根据所述每个像素对应的概率分布得到所述每个像素对应的权重，各个像素的权重组成所述目标掩膜图像。

可选地，其特征在于，

根据待修复图像预测目标掩膜图像包括：使用预训练的掩膜预测模型预测所述目标掩膜图像；