[发明专利]一种联合语义可解释信息的图像修复方法及系统

权利要求书

1.一种联合语义可解释信息的图像修复方法，包括：

获取待修复图像；

在预设数据集中选取标有图像属性信息的数据和标有图像分割信息的数据，构建辅助数据集；

将所述待修复图像输入预先训练的图像修复模型，由所述图像修复模型利用所述辅助数据集对所述待修复图像进行图像修复。

2.根据权利要求1所述的方法，其特征在于，所述图像修复模型包括修复网络和判别网络；

所述将所述待修复图像输入预先训练的图像修复模型，由所述图像修复模型利用所述辅助数据集对所述待修复图像进行图像修复，包括：

将所述待修复图像输入所述修复网络，结合所述辅助数据集生成所述待修复图像的修复图像；

将所述修复图像输入所述判别网络，基于所述判断网络对所述修复图像进行判别。

3.根据权利要求2所述的方法，其特征在于，

所述修复网络包括三个子网络，分别为生成器网络、图像属性嵌入网络和图像分割嵌入网络；所述生成器网络包括编码器网络和解码器网络；

所述图像属性嵌入网络和图像分割嵌入网络分别由所述辅助数据集中的标有图像属性信息和标有图像分割信息预训练得到；

所述判别网络包括全局鉴别器、图像属性鉴别器和图像分割鉴别器。

4.根据权利要求3所述的方法，其特征在于，所述将所述待修复图像输入所述修复网络，结合所述辅助数据集生成所述待修复图像的修复图像，包括：

将所述待修复图像输入所述图像属性嵌入网络和图像分割嵌入网络，提取所述待修复图像的属性向量和分割图向量；

将所述待修复图像、以及所述待修复图像的属性向量和分割图向量一同传送到所述生成器网络，对所述待修复图像进行修复，得到修复图像。

5.根据权利要求3所述的方法，其特征在于，所述将所述修复图像输入所述判别网络，基于所述判断网络对所述修复图像进行判别之前，还包括：

获取对应于所述待修复图像的真实图像；

通过所述图像属性嵌入网络预测并生成所述真实图像的第一属性向量，以及所述修复图像的第二属性向量；

通过所述图像分割嵌入网络生成所述真实图像的第一分割图和所述修复图像的第二分割图。

6.根据权利要求5所述的方法，其特征在于，所述将所述修复图像输入所述判别网络，基于所述判断网络对所述修复图像进行判别，包括：

将所述真实图像和所述修复图像输入所述全局鉴别器，基于所述真实图像测试所述修复图像的真实性；

将所述第一属性向量和所述第二属性向量分别作为真判别对象和假判别对象输入所述图像属性鉴别器进行比对判别；

将所述第一分割图和所述第二分割图输入所述图像分割鉴别器进行比对判别。

7.一种联合语义可解释信息的图像修复系统，包括：

待修复图像获取模块，其配置成获取待修复图像；

辅助数据集构建模块，其配置成在预设数据集中选取标有图像属性信息的数据和标有图像分割信息的数据，构建辅助数据集；

图像修复模块，其配置成将所述待修复图像输入预先训练的图像修复模型，由所述图像修复模型利用所述辅助数据集对所述待修复图像进行图像修复。

8.根据权利要求7所述的系统，其特征在于，

所述图像修复模型包括修复网络和判别网络；

所述图像修复模块，还配置成：

将所述待修复图像输入所述修复网络，结合所述辅助数据集生成所述待修复图像的修复图像；

将所述修复图像输入所述判别网络，基于所述判断网络对所述修复图像进行判别。