[发明专利]图像消除修复方法及其装置、设备、介质、产品

权利要求书

1.一种图像消除修复方法，其特征在于，包括如下步骤：

获取待修复图片和指示待修复图片中目标区域图像的目标图像标签；

采用已训练至收敛的目标检测模型针对所述待修复图片进行目标检测以获得匹配所述目标图像标签而指示所述目标区域图像位置的边界框，根据所述边界框从待修复图片中截取所述的目标区域图像；

采用已训练至收敛的图像分割模型提取所述目标区域图像中目标轮廓区域的掩膜数据,扩展该掩膜数据使其成为所述待修复图片的掩膜数据；

采用已训练至收敛的图像修复模型根据所述待修复图片及其掩膜数据进行图像修复，获得修复图像。

2.根据权利要求1所述的图像消除修复方法，其特征在于，获取待修复图片和指示待修复图片中目标区域图像的目标图像标签，包括如下步骤：

响应用户触发的广告发布请求，获取其相对应提交的广告发布信息中的待修复图片；

响应用户触发的图像修复请求，获取指示所述待修复图片中目标区域图像的目标图像标签。

3.根据权利要求1所述的图像消除修复方法，其特征在于，采用已训练至收敛的目标检测模型针对所述待修复图片进行目标检测以获得匹配所述目标图像标签而指示所述目标区域图像位置的边界框，根据所述边界框从待修复图片中截取所述的目标区域图像，包括如下步骤：

采用所述目标检测模型中的主干网络块针对所述待修复图片提取多个不同尺度的特征图；

采用所述目标检测模型中的颈部块针对所述不同尺度特征图进行强语义信息和强定位信息融合，获得多个不同尺度的预测特征图；

采用所述目标检测模型中的预测块针对所述不同尺度预测特征图预测相应的边界框及其标签数据；

根据预测出的标签数据确定出与所述目标图像标签相匹配的所述边界框，从待修复图片中截取该边界框所指示的目标区域图像。

4.根据权利要求3所述的图像消除修复方法，其特征在于，所述目标检测模型的训练过程，包括以下步骤：

确定带有待处理信息及其边界框标注数据与标签数据的相关图片作为所述目标检测模型的训练集中的训练样本；

针对所述训练集中的训练样本中的图片进行图像数据增强处理；

根据部分训练样本确定每次训练的最佳锚框参数，在此基础上采用目标检测模型确定每次训练时训练样本的图片的边界框及其标签；

根据每个训练样本的边界框及其标签与该训练样本的边界框标注数据与标签数据计算损失值，根据该损失值对目标检测模型进行梯度更新；

重复上述两个更新步骤，直至所述目标检测模型训练至收敛。

5.根据权利要求1所述的图像消除修复方法，其特征在于，采用已训练至收敛的图像分割模型提取所述目标区域图像中目标轮廓区域的掩膜数据,扩展该掩膜数据使其成为所述待修复图片的掩膜数据，包括如下步骤：

针对所述目标区域图像进行多级编码，并相应产出相对应尺度的中间特征信息，所述中间特征信息为所述目标区域图像中待处理信息的特征表示；

在解码路径上相应进行多级解码，以最小尺度的中间特征信息产出第一图像特征信息，之外逐级以上一级图像特征信息及其同级编码产出的中间特征信息为参考，对应解码出更高尺度的图像特征信息，所述图像特征信息用于以掩膜形式表示所述目标区域图像中待处理信息的轮廓特征；

融合所有所述图像特征信息，生成所述目标区域图像中目标轮廓区域的掩膜数据，扩展该掩膜数据使其成为所述待修复图片的掩膜数据。

6.根据权利要求1所述的图像消除修复方法，其特征在于，采用已训练至收敛的图像修复模型根据所述待修复图片及其掩膜数据进行图像修复，获得修复图像，包括如下步骤：

将所述待修复图片及其掩膜数据馈入基于部分卷积的U-Net架构构建的所述图像修复模型中进行局部特征提取，获得中间特征图；

针对中间特征图进行多级解码，获得中间修复图像，根据待修复图片的掩膜数据融合待修复图片及所述中间修复图像而生成修复图像。