[发明专利]说话视频生成方法、装置、设备以及存储介质

权利要求书

1.一种说话视频生成方法，其特征在于，所述方法包括：

获取声音驱动数据的音素特征以及声学特征，所述声音驱动数据包括音频、文本中的至少一项；

根据所述音素特征和所述声学特征获取第一图像中目标对象的至少一组人脸关键点信息；

根据所述至少一组人脸关键点信息以及包含所述目标对象的脸部的第二图像，得到与所述声音驱动数据对应的至少一个目标人脸图像，其中，所述第二图像中包括所述目标对象的嘴部的设定区域被遮挡；

根据所述声音驱动数据和所述至少一个目标人脸图像，得到所述目标对象的说话视频。

2.根据权利要求1所述的方法，其特征在于，所述获取声音驱动数据的音素特征以及声学特征，包括：

获取所述声音驱动数据对应的音频所包含的音素以及各个音素对应的时间戳，得到所述声音驱动数据的音素特征；

对所述声音驱动数据对应的音频进行特征提取，得到所述声音驱动数据的声学特征。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述音素特征和所述声学特征获取第一图像中目标对象的至少一组人脸关键点信息，包括：

获取所述音素特征所包含的多个子音素特征以及所述多个子音素特征对应的子声学特征；

将所述子音素特征和对应的子声学特征输入至人脸关键点提取网络，得到与所述子音素特征和所述子声学特征对应的人脸关键点信息。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述人脸关键点信息包括3D人脸关键点信息，在根据所述至少一组人脸关键点信息以及包含所述目标对象的脸部的第二图像，得到与所述声音驱动数据对应的至少一个目标人脸图像之前，所述方法还包括：

将所述3D人脸关键点信息投影到2D平面上，得到所述3D人脸关键点信息对应的2D人脸关键点信息；

利用所述2D人脸关键点信息更新所述人脸关键点信息。

5.根据权利要求1至4任一项所述的方法，其特征在于，在根据所述至少一组人脸关键点信息以及包含所述目标对象的脸部的第二图像，得到与所述声音驱动数据对应的至少一个目标人脸图像之前，所述方法还包括：

对多组人脸关键点信息进行滤波处理，使每个图像帧的人脸关键点信息与相邻帧的人脸关键点信息之间的变化量满足设定条件。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述根据所述至少一组人脸关键点信息以及包含所述目标对象的脸部的第二图像，得到与所述声音驱动数据对应的至少一个目标人脸图像，包括：

将每组人脸关键点信息与所述第二图像输入至人脸补全网络，得到与所述人脸关键点信息对应的目标人脸图像，其中，所述人脸补全网络用于根据人脸关键点信息对所述第二图像中被遮挡的设定区域进行补全。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述根据所述声音驱动数据和所述至少一个目标人脸图像，得到所述目标对象的说话视频，包括：

将所述至少一个目标人脸图像与设定背景图像进行融合，得到第一图像序列；

根据所述第一图像序列与所述声音驱动数据对应的音频，得到所述目标对象的说话视频。

8.根据权利要求3至7任一项所述的方法，其特征在于，所述人脸关键点提取网络利用音素特征样本和对应的声学特征样本训练得到，其中，所述音素特征样本和所述声学特征样本包括标注的所述目标对象的人脸关键点信息。

9.根据权利要求8所述的方法，其特征在于，所述人脸关键点提取网络通过以下方式训练得到：

根据所述音素特征样本和对应的声学特征样本，对初始人脸关键点提取网络进行训练，在网络损失的变化满足收敛条件时完成训练得到所述人脸关键点提取网络，其中，所述网络损失包括所述初始神经网络预测得到的人脸关键点信息与标注的人脸关键点信息之间的差异。