[发明专利]一种自监督的图像翻译方法和系统

说明书

本发明公开了一种自监督的图像翻译方法和系统，本发明的主体结构为一个生成对抗网络，使用自监督训练的方式对该网络进行训练。在训练过程中，会先将训练用的图像进行特定操作，并利用分类器来预测该图像经过哪种特定操作，从而完成自监督的过程。此外，本发明还同时将该图像输入判别器进行生成‑判别的过程。为了使网络能够学习到细微部分的内容，本发明还将图像分割成多块，分别进行特定操作，这时分类会对每个块上进行的操作进行预测，这有助于模型学习到图像细微部分的内容。

技术领域

本发明涉及计算机视觉、图像翻译、卷积神经网络技术领域，尤其涉及一种自监督的图像翻译模型方法和系统，可用于图像上色、风格化等图像翻译的子任务。

背景技术

目前有很多图像翻译的算法能够取得较为良好的效果，在各个子领域中取得不错的实际应用，如风格迁移、图像分割等。风格迁移是一个更变图像风格的任务，通过模型将输入图像的风格转变为指定风格，如将一副莫奈风格的图像转变为毕加索风格的图像而不改变其表达的内容。图像分割则试图将图像中的各个部分进行分割，用特定的像素值标注该像素值对应物体的类别，如车、人、树等类别。

但图像翻译中存在图像数据量较少，生成图像部分区域不够精细等问题，这些问题会导致图像翻译模型难以达到预期的效果。针对上述问题，本发明提出了一个新的图像翻译模型，该模型采用了自监督训练的方式进行训练，自监督通过自我构建标注来弥补训练数据不足的问题，同时将图像分割成多个块，对每个块分别进行分类，这样可以激励网络提升细微部位的生成效果。

发明内容

本发明的目的为了提升图像翻译的性能，本发明将自监督训练应用到模型之上，提出了一种自监督的图像翻译模型方法和系统，应用于图像上色、风格化等图像翻译任务上。

本发明采用的技术方案如下：

本发明的其中一个目的在于提供一种自监督的图像翻译方法，包括以下步骤：

1)将源图像x与目标翻译图像y作为一对训练数据(x,y)，构建由若干对训练数据组成的训练集；

2)构建PCGAN网络模型，包括生成器、判别器和分类器；

将训练集中的源图像x作为生成器的输入，获得生成图像G(x)；将生成图像G(x)分割成n*m个大小相同的块，随机抽取若干块进行特定操作处理，并记录真实的随机特定操作矩阵，得到处理后的生成图像G*(x)；将特定操作处理后的生成图像G*(x)与原始生成图像G(x)在通道维度上进行级联，作为第一级联图像；

将生成图像G(x)与训练集中的目标翻译图像y作为判别器的输入，获得生成器损失以及判别器损失；

将训练集中的目标翻译图像y分割成n*m个大小相同的块，随机抽取若干块进行特定操作处理，并记录真实的随机特定操作矩阵，得到处理后的目标翻译图像y*；将特定操作处理后的目标翻译图像y*与原始的目标翻译图像y*在通道维度上进行级联，作为第二级联图像；

将第一级联图像和第二级联图像作为分类器的输入，得到预测的随机特定操作矩阵，结合所述的真实的随机特定操作矩阵，获得分类器损失；

3)将生成器损失、判别器损失和分类器损失之和作为总损失，对步骤2)构建的PCGAN网络模型进行训练，得到训练好的PCGAN网络模型；

4)将待翻译的源图像作为训练好的PCGAN网络模型中的生成器的输入，将生成图像作为图像翻译结果。

本发明的另一个目的在于提供一种自监督的图像翻译系统，用于实现上述的图像翻译方法；所述的图像翻译系统包括：

数据获取模块：用于获取训练数据集和待翻译的源图像；所述的训练数据集由若干对训练数据组成，每对训练数据包括源图像x与目标翻译图像y；

PCGAN网络模型模块：包括生成-对抗网络模块、分类网络模块和特定操作处理模块；