[发明专利]图像生成方法、装置、设备及介质

说明书

本申请涉及一种图像生成方法、装置、设备及介质，涉及计算机技术领域，该图像生成方法包括：依据获取到的待处理图像信息和所述待处理图像信息对应的参考图像信息，确定目标合成图信息；将所述目标合成图信息输入到预先训练的第一生成器中，得到所述第一生成器输出的初始生成图信息；依据所述初始生成图信息中的嘴区域信息，通过预先训练的第二生成器，生成所述初始生成图信息对应的嘴残差图信息，其中，所述第二生成器是与所述第一生成器联合训练而成的生成器；依据所述嘴残差图信息和所述初始生成图信息，生成所述待处理图像信息对应的目标图像信息。本申请在保证推理速度的前提下提升嘴型的生成效果，进而提升图像整体的生成效果。

技术领域

本申请涉及计算机技术领域，尤其涉及一种图像生成方法、装置、设备及介质。

背景技术

数字人，是一种利用信息科学的方法对人体在不同水平的形态和功能进行虚拟仿真。随着计算机技术的快速发展，数字人的生成技术越来越成熟。

在实际处理中，如果数字人生成技术想要应用在商业，实现实时交互，则数字人生成方案至少需要满足两点：生成效果好和推理速度快；其中，数字人的生成效果好是必要的前提，推理速度快是商业的需要。目前出现的大量生成技术，主要是基于诸如于pix2pix，pix2pixHD,Vid2Vid，few shot video2video，NERF，StyleGAN等图像翻译模型，实现数字人视频的生成。具体的，现有这些图像翻译模型主要是将真实图片或真实图片的素描图输入到生成器中，以通过生成器生成视频、音频对应的数字人图片，以便后续可以基于该生成器生成的数字人图片生成数字人视频并输出。

但是，嘴周围区域是变换最大的区域，现有图像翻译模型利用一个数字人生成器生成数字人图片，存在嘴型生成效果差的问题，如嘴型或嘴巴牙齿模糊、清晰度差等问题，影响数字人生成效果。

发明内容

有鉴于此，本申请提供了一种图像生成方法、装置、设备及介质，以在保证推理速度的前提下提升嘴周围的清晰度，进而提升整体图像生成效果。

第一方面，本申请实施例提供了一种图像生成方法，包括：

依据获取到的待处理图像信息和所述待处理图像信息对应的参考图像信息，确定目标合成图信息；

将所述目标合成图信息输入到预先训练的第一生成器中，得到所述第一生成器输出的初始生成图信息；

依据所述初始生成图信息中的嘴区域信息，通过预先训练的第二生成器，生成所述初始生成图信息对应的嘴残差图信息，其中，所述第二生成器是与所述第一生成器联合训练而成的生成器；

依据所述嘴残差图信息和所述初始生成图信息，生成所述待处理图像信息对应的目标图像信息。

可选的，所述依据获取到的待处理图像信息和所述待处理图像信息对应的参考图像信息，确定目标合成图信息，包括：

从待处理视频中提取待处理帧图像信息，并将提取到的待处理帧图像信息确定为所述待处理图像信息；

确定所述待处理图像信息的素描图信息和所述待处理图信息对应的参考图像信息；

依据所述素描图信息和所述参考图像信息进行图像合成，得到所述目标合成图信息。

可选的，所述确定所述待处理图像信息的素描图信息和所述待处理图信息对应的参考图像信息，包括：

从所述待处理图像信息中提取人脸关键点信息和轮廓线信息，以依据提取到的人脸关键点信息和轮廓线信息，生成所述待处理图像信息的素描图信息

若所述待处理图像信息为视频首帧图像信息，则基于所述待处理图像创建全零图像信息，并将所述全零图像信息确定为所述待处理图像信息对应的参考图像信息；