[发明专利]一种图像生成方法、装置以及计算机存储介质

说明书

本申请实施例公开一种图像生成方法、装置以及计算机存储介质，方法包括：获取第一图像，将所述第一图像输入判别模型；所述判别模型包括多个类别标签；基于所述判别模型提取所述第一图像中与每个类别标签相关联的第一对象特征向量，根据所述第一对象特征向量得到所述每个类别标签分别对应的类别标签概率，根据所述类别标签概率生成所述第一图像的语义向量；获取第二图像，将所述语义向量和所述第二图像输入语义迁移模型；基于所述语义迁移模型对所述语义向量和所述第二图像对应的第二对象特征向量进行融合，得到融合特征向量，根据所述融合特征向量输出第三图像。采用本申请，可以通过两张人脸图像生成一张包含原图像内容和特征的新人脸图像。

技术领域

本申请涉及计算机技术领域，尤其涉及一种图像生成方法、装置以及计算机存储介质。

背景技术

人脸图像翻译是将人脸图像从其原始形式自动转换成某种合成形式(风格变化、部分内容变化等)，同时保留原有人脸图像的结构或形义，是计算机视觉领域备受关注的课题。

虚拟现实技术(Virtual Reality，VR)以及科幻动作片中的视频换脸等是人脸图像翻译的重要应用，但是在现有技术中，结合两张人脸图像进行图像翻译需要人工手动执行，且改变了原人脸图像的内容。

因此，随着深度卷积和生成式对抗网络的迅速发展，提出一种能很好保留原人脸图像的内容且融合其他人脸图像特征的方法变得十分必要。

发明内容

本申请实施例提供一种图像生成方法、装置以及计算机存储介质，可以生成既保留原人脸图像的内容又包含其他人脸图像特征的新图像。

本申请实施例第一方面提供了一种图像生成方法，包括：

获取第一图像，将所述第一图像输入判别模型；所述判别模型包括多个类别标签；

基于所述判别模型提取所述第一图像中与每个类别标签相关联的第一对象特征向量，根据所述第一对象特征向量得到所述每个类别标签分别对应的类别标签概率，根据所述类别标签概率生成所述第一图像的语义向量；

获取第二图像，将所述语义向量和所述第二图像输入语义迁移模型；

基于所述语义迁移模型对所述语义向量和所述第二图像对应的第二对象特征向量进行融合，得到融合特征向量，根据所述融合特征向量输出第三图像。

其中，所述基于所述语义迁移模型对所述语义向量和所述第二图像对应的第二对象特征向量进行融合，得到融合特征向量，根据所述融合特征向量输出第三图像，包括：

基于所述语义迁移模型对所述第二图像进行下采样，得到与所述第二图像对应的所述第二对象特征向量；

基于所述语义迁移模型中的感知器，生成所述语义向量对应的语义模型参数；

在所述语义迁移模型中，基于所述语义模型参数对所述第二对象特征向量进行语义迁移，得到所述融合特征向量；

基于所述语义迁移模型对所述融合特征向量进行上采样，得到第三对象特征向量；

根据所述第三对象特征向量生成所述第三图像。

其中，所述感知器包含第一感知器、第二感知器；所述语义模型参数包括与所述第一感知器相关联的第一语义模型参数和与所述第二感知器相关联的第二语义模型参数；

所述在所述语义迁移模型中，基于所述语义模型参数对所述第二对象特征向量进行语义迁移，得到所述融合特征向量，包括：

在所述语义迁移模型中获取与所述第一感知器对应的第一语义迁移子模型，获取与所述第二感知器对应的第二语义迁移子模型；

将所述第一语义模型参数和所述第二对象特征向量输入所述第一语义迁移子模型，得到待处理融合特征向量；