[发明专利]一种虚拟形象生成方法及其相关设备

权利要求书

1.一种虚拟形象生成方法，其特征在于，所述方法包括：

在获取到待处理语音数据之后，对所述待处理语音数据进行语音特征提取，得到待使用语音特征；

根据所述待使用语音特征、待使用人脸参数、以及预先构建的虚拟形象生成模型，确定所述待处理语音数据对应的虚拟形象展示数据。

2.根据权利要求1所述的方法，其特征在于，所述待处理语音数据包括一帧语音数据；

所述待使用人脸参数包括待使用人脸表情参数、待使用人脸位姿参数、以及待使用人脸形状参数；

所述虚拟形象生成模型包括唇形表情参数预测模块、参数融合模块、无纹理图像渲染模块和纹理图像生成模块；

所述虚拟形象展示数据的确定过程，包括：

将所述待使用语音特征输入所述唇形表情参数预测模块，得到所述唇形表情参数预测模块输出的待使用唇形表情参数；

将所述待使用唇形表情参数和所述待使用人脸表情参数输入所述参数融合模块，得到所述参数融合模块输出的待使用表情融合参数；

将所述待使用表情融合参数、所述待使用人脸位姿参数、以及所述待使用人脸形状参数输入所述无纹理图像渲染模块，得到所述无纹理图像渲染模块输出的待使用无纹理图像；

根据所述待使用无纹理图像和所述纹理图像生成模块，确定所述待处理语音数据对应的虚拟形象展示数据。

3.根据权利要求2所述的方法，其特征在于，所述待使用无纹理图像的确定过程，包括：

根据所述待使用人脸位姿参数，确定待使用转换矩阵；

根据所述待使用转换矩阵、所述待使用表情融合参数、以及所述待使用人脸形状参数，确定待使用三维人脸模型；

根据所述待使用三维人脸模型，确定所述待使用无纹理图像。

4.根据权利要求2所述的方法，其特征在于，所述根据所述待使用无纹理图像和所述纹理图像生成模块，确定所述待处理语音数据对应的虚拟形象展示数据，包括：

根据所述待使用无纹理图像、至少一帧虚拟形象参考图像和所述纹理图像生成模块，确定所述待处理语音数据对应的虚拟形象展示数据。

5.根据权利要求2所述的方法，其特征在于，所述根据所述待使用无纹理图像、至少一帧虚拟形象参考图像和所述纹理图像生成模块，确定所述待处理语音数据对应的虚拟形象展示数据，包括：

将所述待使用无纹理图像和所述至少一帧虚拟形象参考图像进行相加，得到待使用融合图像；

将所述待使用融合图像输入所述纹理图像生成模块，得到所述纹理图像生成模块输出的所述待处理语音数据对应的虚拟形象展示数据。

6.根据权利要求4所述的方法，其特征在于，所述至少一帧虚拟形象参考图像是根据所述待处理语音数据对应的至少一帧历史语音数据生成的；所述至少一帧历史语音数据的采集时间早于所述待处理语音数据的采集时间。

7.根据权利要求1所述的方法，其特征在于，所述待处理语音数据包括J帧语音数据；所述待使用语音特征包括所述J帧语音数据的语音特征；其中，J为正整数，且J≥2；

所述虚拟形象展示数据的确定过程，包括：

根据第j帧语音数据的语音特征、待使用人脸参数、以及预先构建的虚拟形象生成模型，确定所述第j帧语音数据对应的虚拟形象展示图像；其中，j为正整数，j≤J；

根据第1帧语音数据对应的虚拟形象展示图像至第J帧语音数据对应的虚拟形象展示图像，确定所述待处理语音数据对应的虚拟形象展示数据。

8.根据权利要求1所述的方法，其特征在于，所述待处理语音数据的获取过程，包括：

在获取到当前帧语音数据之后，将所述当前帧语音数据，确定为所述待处理语音数据。