[发明专利]虚拟对象形象合成方法、装置、电子设备和存储介质

权利要求书

1.一种虚拟对象形象合成方法，包括：

获取包括虚拟对象脸部的虚拟对象形象图像，以及与语音片段对应的多帧原始嘴型面部图像；

提取所述虚拟对象脸部的第一面部关键点，以及每帧所述原始嘴型面部图像的第二面部关键点；

根据预设算法对所述第一面部关键点进行处理，生成与所述虚拟对象脸部对应的第一3D面部位置和姿态信息；

根据预设算法对每个所述第二面部关键点进行处理，生成与每帧所述原始嘴型面部图像对应的第二3D面部形状顶点信息；

根据所述第一3D面部位置和姿态信息和每个所述第二3D面部形状顶点信息，生成与每帧所述原始嘴型面部图像对应的目标嘴型面部图像；

根据所述虚拟对象形象图像和每帧所述目标嘴型面部图像，合成与所述语音片段对应的虚拟对象说话形象片段。

2.如权利要求1所述的方法，其中，所述根据预设算法对所述第一面部关键点进行处理，生成与所述虚拟对象脸部对应的第一3D面部位置和姿态信息，包括：

根据预设的变换参数对所述第一面部关键点进行坐标转换处理生成第一3D面部网格模型；

从所述第一3D面部网格模型提取与所述虚拟对象脸部对应的第一3D面部位置和姿态信息，其中，所述姿态信息包括：俯仰角，偏航角和翻滚角。

3.如权利要求1所述的方法，其中，所述根据预设算法对每个所述第二面部关键点进行处理，生成与每帧所述原始嘴型面部图像对应的第二3D面部形状顶点信息，包括：

根据预设的变换参数对每个所述第二面部关键点进行坐标转换处理，生成与每帧所述原始嘴型面部图像对应的第二3D面部网格模型；

从每个所述第二3D面部网格模型提取第二3D面部形状顶点信息。

4.如权利要求1所述的方法，其中，所述根据所述第一3D面部位置和姿态信息和每个所述第二3D面部形状顶点信息，生成与每帧所述原始嘴型面部图像对应的目标嘴型面部图像，包括：

根据预设的转换算法对所述第一3D面部位置和姿态信息和每个所述第二3D面部形状顶点信息分别进行射影变换，生成与每帧所述原始嘴型面部图像对应的第一目标嘴型面部图像。

5.如权利要求4所述的方法，在所述生成与每帧所述原始嘴型面部图像对应的第一目标嘴型面部图像之后，还包括：

根据预设算法对每个所述第二面部关键点进行处理，生成与每帧所述原始嘴型面部图像对应的第二3D面部位置和姿态信息；

根据预设的投影变换算法从每帧所述原始嘴型面部图像中，获取与相关所述第二3D面部位置和姿态信息对应位置的纹理信息；

根据所述对应位置的纹理信息对每帧所述第一目标嘴型面部图像进行纹理渲染，生成与每帧所述原始嘴型面部图像对应的第二目标嘴型面部图像。

6.如权利要求1所述的方法，其中，所述根据所述虚拟对象形象图像和每帧所述目标嘴型面部图像，合成与所述语音片段对应的虚拟对象说话形象片段，包括：

生成与每帧所述目标嘴型面部图像对应的下半脸掩码；

根据所述下半脸掩码按照预设的第一融合算法对所述虚拟对象形象图像和每帧所述目标嘴型面部图像进行融合处理，生成多帧第一融合图像；

根据多帧所述第一融合图像合成与所述语音片段对应的虚拟对象说话形象片段。

7.如权利要求6所述的方法，其中，所述生成与每帧所述目标嘴型面部图像对应的下半脸掩码，包括：

对每帧所述目标嘴型面部图像进行边缘检测获取面部边缘点；

连接所述面部边缘点构成一个封闭区域并填充固定值获取全脸掩码；

以鼻梁中心关键点为参考截取从所述全脸掩码截取下半脸掩码。

8.如权利要求6所述的方法，在所述生成与每帧所述目标嘴型面部图像对应的第一融合图像之后，还包括：

生成与每帧所述目标嘴型面部图像对应的嘴部区域掩码；

根据所述嘴部区域掩码按照预设的第二融合算法对所述虚拟对象形象图像和每帧所述第一融合图像进行融合处理，生成多帧第二融合图像；

根据多帧所述第二融合图像合成与所述语音片段对应的虚拟对象说话形象片段。