[发明专利]图像的翻译方法和装置、图像翻译模型的训练方法和装置

说明书

本申请公开了图像的翻译方法和装置、图像翻译模型的训练方法和装置，涉及深度学习和图像处理技术领域。具体实现方案为：获取图像翻译请求，其中，翻译请求中包括原图像；对原图像进行处理，以生成与原图像对应的预翻译图像、掩膜图像及变形参数；根据变形参数将原图像进行变形处理，以获取变形图像；以及将变形图像、预翻译图像及掩膜图像进行融合，以生成目标翻译图像。由此，不仅提高了生成的目标翻译图像的清晰度，而且生成的目标翻译图像的背景部分也和原始图片一致，从而能够实现图像的无缝融合，大大提高了生成的目标翻译图像的自然度。

技术领域

本申请涉及图像处理技术领域，具体涉及深度学习和图像处理技术领域，尤其涉及图像的翻译方法和装置、图像翻译模型的训练方法和装置。

背景技术

图像翻译网络能够在不改变图像内容的前提下，将一种类型的图像直接转换为另一种类型的图像，在图像生成、场景分割、图像风格化等领域有着广泛的应用。

相关技术中，一般是采用传统的图像翻译方法，例如，基于CycleGAN的图像转换方法，对图像进行翻译。然而，通过传统的图像翻译方法仅仅能够实现将一种类型的图像直接转换为另一种类型的图像，转换后的图像的清晰度较低，并且转换后的图像的背景部分也和原始图像存在差异，导致图像在融合时有明显的边框，无法做到自然衔接和无缝融合。

发明内容

提供了一种图像的翻译方法和装置、图像翻译模型的训练方法和装置、电子设备以及存储介质。

根据第一方面，提供了一种图像的翻译方法，包括：获取图像翻译请求，其中，所述翻译请求中包括原图像；对所述原图像进行处理，以生成与所述原图像对应的预翻译图像、掩膜图像及变形参数；根据所述变形参数将所述原图像进行变形处理，以获取变形图像；以及将所述变形图像、所述预翻译图像及所述掩膜图像进行融合，以生成目标翻译图像。

根据第二方面，提供了一种图像翻译模型的训练方法，包括：获取训练样本集，其中，所述训练样本集中包括属于第一域的第一图像集、及属于第二域的第二图像集；利用第一初始生成器对所述第一图像集中的图像分别进行处理，以生成第一预翻译图像集、第一掩膜图像集及第一变形参数集；根据所述第一变形参数集，将所述第一图像集中的图像分别进行变形处理，以获取第一变形图像集；将所述第一变形图像集、所述第一预翻译图像集及所述第一掩膜图像集中的对应图像分别进行融合，以获取第三图像集；将所述第三图像集中的图像及所述第二图像集中的图像，分别输入至第一初始判别器，以获取所述第一初始判别器输出的所述第三图像集中的图像分别属于真实图像的第一概率集、及所述第二图像集中的图像分别属于真实图像的第二概率集；以及根据所述第一概率集及所述第二概率集，对所述第一初始生成器及所述第一初始判别器进行修正，以生成属于第一域的目标生成器，其中，所述属于第一域的目标生成器用于将位于第一域的图像翻译成位于第二域的图像。

根据第三方面，提供了一种图像的翻译装置，包括：第一获取模块，用于获取图像翻译请求，其中，所述翻译请求中包括原图像；第一处理模块，用于对所述原图像进行处理，以生成与所述原图像对应的预翻译图像、掩膜图像及变形参数；第二处理模块，用于根据所述变形参数将所述原图像进行变形处理，以获取变形图像；以及第一融合模块，用于将所述变形图像、所述预翻译图像及所述掩膜图像进行融合，以生成目标翻译图像。