[发明专利]虚拟对象形象合成方法、装置、电子设备和存储介质

说明书

本申请公开了虚拟对象形象合成方法、装置、电子设备和存储介质，涉及人工智能领域，具体为计算机视觉和深度学习技术。实现方案为：提取虚拟对象脸部的第一面部关键点，以及每帧原始嘴型面部图像的第二面部关键点；对虚第一面部关键点进行处理，生成与虚拟对象脸部对应的第一3D面部位置和姿态信息；对每帧原始嘴型面部图像的每个第二面部关键点进行处理，生成与每帧原始嘴型面部图像对应的第二3D面部形状顶点信息；生成与每帧原始嘴型面部图像对应的目标嘴型面部图像；根据虚拟对象形象图像和每帧目标嘴型面部图像，合成与语音片段对应的虚拟对象说话形象片段。由此，将原始嘴型面部图像调整到虚拟对象形象图像的姿态和位置下合并，提高合并后的图像自然度。

技术领域

本申请涉及人工智能领域，具体为计算机视觉和深度学习领域，尤其涉及一种虚拟对象形象合成方法、装置、电子设备和存储介质。

背景技术

虚拟对象是结合数字图像及人工智能等多种技术生成人形视频图像，其应用较为广泛的一个领域是虚拟对象语音播报，即使虚拟对象以正常人说话的形式体现说话的嘴型。

相关技术中，提取嘴型图像中的嘴型关键点的坐标关系，根据该坐标关系调整虚拟对象对应的虚拟对象像中，嘴部区域的关键点的坐标，因此，来实现嘴型模拟说话的体现。

然而，上述嘴型模拟说话的融合方式，仅仅在虚拟对象像上仿射嘴部图像的关键点的坐标关系，一方面，同样的坐标关系，虚拟对象像的嘴部和原始的嘴型图像中体现的口型可能并不对应同样的表达语音，另一方面，仅仅在虚拟对象像仿射嘴部图像的关键点的坐标关系，完全丢掉了原始嘴部图像的信息，没有实现图像的融合体现。

发明内容

本申请的第一个目的在于提出一种虚拟对象形象合成方法。

本申请的第二个目的在于提出一种虚拟对象形象合成装置。

本申请的第三个目的在于提出一种电子设备。

本申请的第四个目的在于提出一种存储有计算机指令的非瞬时计算机可读存储介质。

根据第一方面，提供了一种虚拟对象形象合成方法，包括：获取包括虚拟对象脸部的虚拟对象形象图像，以及与语音片段对应的多帧原始嘴型面部图像；提取所述虚拟对象脸部的第一面部关键点，以及每帧所述原始嘴型面部图像的第二面部关键点；根据预设算法对所述第一面部关键点进行处理，生成与所述虚拟对象脸部对应的第一3D面部位置和姿态信息；根据预设算法对每个所述第二面部关键点进行处理，生成与每帧所述原始嘴型面部图像对应的第二3D面部形状顶点信息；根据所述第一3D面部位置和姿态信息和每个所述第二3D面部形状顶点信息，生成与每帧所述原始嘴型面部图像对应的目标嘴型面部图像；根据所述虚拟对象形象图像和每帧所述目标嘴型面部图像，合成与所述语音片段对应的虚拟对象说话形象片段。

根据第二方面，提供了一种虚拟对象形象合成装置，包括：获取模块，用于获取包括虚拟对象脸部的虚拟对象形象图像，以及与语音片段对应的多帧原始嘴型面部图像；提取模块，用于提取所述虚拟对象脸部的第一面部关键点，以及每帧所述原始嘴型面部图像的第二面部关键点；第一生成模块，用于根据预设算法对所述第一面部关键点进行处理，生成与所述虚拟对象脸部对应的第一3D面部位置和姿态信息；第二生成模块，用于根据预设算法对每个所述第二面部关键点进行处理，生成与每帧所述原始嘴型面部图像对应的第二3D面部形状顶点信息；第三生成模块，用于根据所述第一3D面部位置和姿态信息和每个所述第二3D面部形状顶点信息，生成与每帧所述原始嘴型面部图像对应的目标嘴型面部图像；合成模块，用于根据所述虚拟对象形象图像和每帧所述目标嘴型面部图像，合成与所述语音片段对应的虚拟对象说话形象片段。

根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述实施例描述的虚拟对象形象合成方法。