[发明专利]一种自监督的图像翻译方法和系统

权利要求书

1.一种自监督的图像翻译方法，其特征在于，包括以下步骤：

1)将源图像x与目标翻译图像y作为一对训练数据(x，y)，构建由若干对训练数据组成的训练集；

2)构建PCGAN网络模型，包括生成器、判别器和分类器；

将训练集中的源图像x作为生成器的输入，获得生成图像G(x)；将生成图像G(x)分割成n*m个大小相同的块，随机抽取若干块进行特定操作处理，并记录真实的随机特定操作矩阵，得到处理后的生成图像G*(x)；将特定操作处理后的生成图像G*(x)与原始生成图像G(x)在通道维度上进行级联，作为第一级联图像；

将生成图像G(x)与训练集中的目标翻译图像y作为判别器的输入，获得生成器损失以及判别器损失；

将训练集中的目标翻译图像y分割成n*m个大小相同的块，随机抽取若干块进行特定操作处理，并记录真实的随机特定操作矩阵，得到处理后的目标翻译图像y*；将特定操作处理后的目标翻译图像y*与原始的目标翻译图像y*在通道维度上进行级联，作为第二级联图像；

将第一级联图像和第二级联图像作为分类器的输入，得到预测的随机特定操作矩阵，结合所述的真实的随机特定操作矩阵，获得分类器损失；

3)将生成器损失、判别器损失和分类器损失之和作为总损失，对步骤2)构建的PCGAN网络模型进行训练，得到训练好的PCGAN网络模型；

4)将待翻译的源图像作为训练好的PCGAN网络模型中的生成器的输入，将生成图像作为图像翻译结果。

2.根据权利要求1所述的自监督的图像翻译方法，其特征在于，所述的特定操作处理为旋转、添加噪音、镜像反转中的任一一种。

3.根据权利要求1所述的自监督的图像翻译方法，其特征在于，所述的随机特定操作矩阵是由0和1组成的二维矩阵，图像中的每一个分割好的块对应一个数值0或1，当数值为0时，表示不进行特定操作处理，当数值为1时，表示进行特定操作处理。

4.根据权利要求1所述的自监督的图像翻译方法，其特征在于，所述的判别器损失为：

L_Dgan＝log(D_Y(y))+log(1-D_Y(G_XY(x)))

所述的生成器损失为：

L_Ggan＝log(D_Y(G_XY(x)))

所述的分类器损失为：

L_cls＝||C_y(cat(y，PO(y)))-l_PO||₁+||C_y(cat(x，PO(G_XY(x))))-l_PO||₁

其中，L_Dgan表示判别器的损失值，L_Ggan表示生成器的损失值，L_cls表示分类器的损失值，D_Y(·)表示判别器的输出结果，G_XY(·)表示生成器的输出结果，C_y(·)表示分类器的输出结果，PO(·)表示经过特定操作处理后的输出结果，x为源图像，y为目标翻译图像，X为源图像集合，Y为目标翻译图像集合，l_PO表示真实的随机特定操作矩阵，cat(·)表示级联操作。

5.根据权利要求1所述的自监督的图像翻译方法，其特征在于，所述的图像翻译包括图像上色、图像风格化任务，所述的目标翻译图像是将源图像经过上色或风格化后的目标图像。

6.根据权利要求1所述的自监督的图像翻译方法，其特征在于，所述的生成器采用编码-解码结构，依次包括两个卷积层、两个残差块和两个转置卷积层；所述的判别器和分类器采用FCN-8神经网络结构。

7.一种自监督的图像翻译系统，其特征在于，用于实现权利要求1所述的图像翻译方法；所述的图像翻译系统包括：

数据获取模块：用于获取训练数据集和待翻译的源图像；所述的训练数据集由若干对训练数据组成，每对训练数据包括源图像x与目标翻译图像y；

PCGAN网络模型模块：包括生成-对抗网络模块、分类网络模块和特定操作处理模块；

所述的生成-对抗网络模块用于获取源图像x的生成图像G(x)，对生成图像G(x)进行判别；

所述的特定操作处理模块用于对生成图像G(x)和目标翻译图像y分割成n*m个大小相同的块，随机抽取若干块进行特定操作处理，并记录真实的随机特定操作矩阵；以及用于对特定操作处理后的生成图像G*(x)与原始生成图像G(x)在通道维度上进行级联，作为第一级联图像，对特定操作处理后的目标翻译图像y*与原始的目标翻译图像y*在通道维度上进行级联，作为第二级联图像；

所述的分类网络模块用于预测第一级联图像和第二级联图像的随机特定操作矩阵；

训练模块：用于对PCGAN网络模型模块中的生成-对抗网络模块、分类网络模块进行训练。