[发明专利]一种说话视频生成方法及系统

权利要求书

1.一种说话视频生成方法，其特征在于，包括：

基于训练好的深度神经网络语音模型，对预设音频文件进行预测处理，得到人脸表情系数序列和第一人脸姿势系数序列；所述训练好的深度神经网络语音模型是由标记有音频特征的样本音频文件、标记有人脸表情系数标签及人脸姿势系数标签的样本视频文件、标记有音频特征的样本短视频音频文件和标记有人脸表情系数标签及人脸姿势系数标签的样本短视频文件训练得到的；

对短视频文件进行三维人脸重建和渲染处理，得到人脸图像序列，并将所述短视频文件的背景匹配到所述人脸图像序列，得到背景匹配后的人脸图像序列，所述短视频文件为目标人物的真实说话视频；

基于训练好的深度神经网络细化模型，对所述背景匹配后的人脸图像序列进行处理，得到目标人脸图像序列，以根据所述目标人脸图像序列和所述预设音频文件，合成得到所述目标人物的说话视频；所述训练好的深度神经网络细化模型是由样本渲染人脸图像和样本真实人脸图像训练得到的；

所述对短视频文件进行三维人脸重建和渲染处理，得到人脸图像序列，并将所述短视频文件的背景匹配到所述人脸图像序列，得到背景匹配后的人脸图像序列，包括：

对短视频文件中第一帧人脸图像进行三维人脸重建，得到人脸参数化模型系数；

根据所述人脸表情系数序列、所述第一人脸姿势系数序列和所述人脸参数化模型系数，生成人脸参数化模型系数序列，以使得所述人脸参数化模型系数序列和所述预设音频文件同步；

对所述人脸参数化模型系数序列进行渲染处理，得到人脸图像序列，并根据第二人脸姿势系数序列，将所述短视频文件的背景匹配到所述人脸图像序列，得到背景匹配后的人脸图像序列，所述第二人脸姿势系数序列是通过对所述短视频中每一帧图像进行三维人脸重建获取得到的；

所述训练好的深度神经网络语音模型通过以下步骤获取：

获取说话视频数据集的样本视频文件和样本音频文件，并对所述样本视频文件标记人脸表情系数标签和人脸姿势系数标签，对所述样本音频文件标记音频特征，以用于构建第一训练样本集，所述说话视频数据集为唇语识别数据集，所述样本音频文件是通过对所述样本视频文件进行提取得到的；

将所述第一训练样本集输入到深度神经网络语音模型进行训练，得到预训练的深度神经网络语音模型；

获取样本短视频文件和样本短视频音频文件，并对所述样本短视频文件标记人脸表情系数标签和人脸姿势系数标签，对所述样本短视频音频文件标记音频特征，以用于构建第二训练样本集，所述样本短视频音频文件是通过对所述样本短视频文件进行提取得到的；

根据所述第二训练样本集，对预训练的深度神经网络语音模型进行训练，得到训练好的深度神经网络语音模型。

2.根据权利要求1所述的说话视频生成方法，其特征在于，所述训练好的深度神经网络细化模型通过以下步骤获取：

对说话视频数据集的样本视频文件进行三维人脸重建、渲染处理和提取真实说话图像处理，得到第三训练样本集，所述说话视频数据集为唇语识别数据集；

将所述第三训练样本集输入到深度神经网络细化模型进行训练，得到预训练的深度神经网络细化模型；

对样本短视频文件进行三维人脸重建、渲染处理和提取真实说话图像处理，构建第四训练样本集；

根据所述第四训练样本集，对预训练的深度神经网络细化模型进行训练，得到训练好的深度神经网络细化模型。

3.根据权利要求1所述的说话视频生成方法，其特征在于，所述深度神经网络语音模型是由长短期记忆模型构建得到的。

4.根据权利要求2所述的说话视频生成方法，其特征在于，所述深度神经网络细化模型是由生成对抗网络模型构建得到的。

5.根据权利要求1所述的说话视频生成方法，其特征在于，所述人脸参数化模型系数包括身份系数、人脸表情系数、纹理系数、光照系数和人脸姿势系数。