[发明专利]一种图像生成方法、装置、存储介质及电子设备

说明书

本申请提供一种图像生成方法、装置、存储介质及电子设备，该方法包括：获取第一图像和第二图像，以及第一掩膜数据和第二掩膜数据，第一掩膜数据中的每个掩码值与第一图像上相应位置所属的类别对应，第二掩膜数据中的每个掩码值与第二图像上相应位置的颜色对应；迭代执行将第一图像、第二图像、第一掩膜数据、第二掩膜数据和种子图像输入至图像生成模型进行处理，基于种子图像计算损失，并基于损失更新图像生成模型中的权重参数的过程；在迭代结束后，根据获得的损失从多次迭代获得的多张种子图像中选取一张种子图像，作为最终的目标图像。本申请实施例使用第二图像的色彩作为优化约束，可较好地实现图像合成，进而得到高质量的目标图像。

技术领域

本申请涉及图像处理技术领域，具体而言，涉及一种图像生成方法、装置、存储介质及电子设备。

背景技术

在图像处理中，有这样一个图像合成的需求场景，即依据已有的图像，按照一定的算法生成新的图像，这种技术可以广泛地应用于图片质量加高，图片美化，自动化图片文案设计，图像风格迁移等领域。在现有的基于生成式对抗网络(Generative AdversarialNetworks，GAN)的图像生成算法中，主要依据全局分布修改和调整的方式进行图片生成处理，这种处理算法思路所生成的图像具有局部特征不稳定的问题，在图像合成后细节具有高概率失真情况，例如建筑物等规整图片元素可能出现局部扭曲的情况。

发明内容

本申请实施例的目的在于提供一种图像生成方法、装置、存储介质及电子设备，以改善现有技术中存在的上述问题。

第一方面，本申请实施例提供一种图像生成方法，所述方法包括：获取第一图像和第二图像，以及第一掩膜数据和第二掩膜数据，所述第一掩膜数据中的每个掩码值与第一图像上相应位置所属的类别对应，所述第二掩膜数据中的每个掩码值与第二图像上相应位置的颜色对应；将所述第一图像、所述第二图像、所述第一掩膜数据、所述第二掩膜数据和原始种子图像输入至图像生成模型进行处理，获得经处理后的新种子图像；基于所述新种子图像计算相应的损失，并基于所述损失更新所述图像生成模型中的权重参数；迭代执行将第一图像、第二图像、第一掩膜数据、第二掩膜数据和上一次处理获得的新种子图像输入至图像生成模型进行处理，基于当次迭代获得的新种子图像计算相应的损失，并基于所述损失更新所述图像生成模型中的权重参数的过程；在迭代结束后，根据获得的损失从多次迭代获得的多张新种子图像中选取一张新种子图像，作为最终的目标图像。

上述技术方案利用原始种子图像，将第一图像的纹理和第二图像的风格进行融合，采用梯度下降的方式，不断迭代种子图像，迭代过程中，度量种子图像与期望目标的相似度的损失值会不断降低，最终达到图像合成的目的。而且，在整个过程中，并不会涉及到改变种子图像中纹理的细节，而仅是基于掩膜更改相应区域的色彩，因此可以有效解决GAN系列图像生成算法中实体对象扭曲的问题。

在一种可选的实施方式中，所述第二掩膜数据是利用第一图像分割模型对第二图像进行预处理后获得的，所述第一图像分割模型是通过对实例分割网络进行训练得到的；所述方法还包括：获取用于训练的第一训练样本集，所述第一训练样本集中的每一训练样本是根据预设的颜色映射表进行掩码值标注的，第一训练样本集中的训练样本上处于颜色映射表中设定的同一颜色区间的区域被标注为相同的掩码值；利用所述第一训练样本集对实例分割网络进行训练，在训练结束后，获得所述第一图像分割模型。

本申请利用第二掩膜数据中携带的色彩信息作为约束，来不断优化种子图像。因此，在对第一图像分割模型进行训练之前，需要按照预设的颜色映射表对图像进行掩码值标注，以得到训练样本。

在一种可选的实施方式中，所述第一掩膜数据是利用第二图像分割模型对第一图像进行预处理后获得的，所述第二图像分割模型是通过对实例分割网络进行训练得到的；所述方法还包括：获取用于训练的第二训练样本集，所述第二训练样本集中的每一训练样本已进行掩码值标注，第二训练样本集中的训练样本上属于同一类别的区域被标注为相同的掩码值；利用所述第二训练样本集对实例分割网络进行训练，在训练结束后，获得所述第二图像分割模型。