[发明专利]说话视频生成方法、装置、设备以及存储介质

说明书

公开了一种说话视频生成方法、装置、设备以及存储介质，所述方法包括：获取声音驱动数据的音素特征以及声学特征，所述声音驱动数据包括音频、文本中的至少一项；根据所述音素特征和所述声学特征获取第一图像中目标对象的至少一组人脸关键点信息；根据所述至少一组人脸关键点信息以及包含所述目标对象的脸部的第二图像，得到与所述声音驱动数据对应的至少一个目标人脸图像，其中，所述第二图像中包括所述目标对象的嘴部的设定区域被遮挡；根据所述声音驱动数据和所述至少一个目标人脸图像，得到所述目标对象的说话视频。

技术领域

本公开涉及计算机视觉技术领域，具体涉及一种说话视频生成方法、装置、设备以及存储介质。

背景技术

说话视频生成技术是语音驱动人物形象以及跨模态视频生成任务中重要的一类，也是虚拟数字人商业化中的关键技术。目前通常采用根据语音帧确定对应的口型图像，从而获取输出说音对应的一系列口型图像来生成说话视频，然而该方法所生成的视频中说话人的口型准确度较低且口型变化生硬。

发明内容

本公开实施例提供一种说话视频生成方案。

根据本公开的第一方面，提供一种说话视频生成方法，所述方法包括：获取声音驱动数据的音素特征以及声学特征，所述声音驱动数据包括音频、文本中的至少一项；根据所述音素特征和所述声学特征获取第一图像中目标对象的至少一组人脸关键点信息；根据所述至少一组人脸关键点信息以及包含所述目标对象的脸部的第二图像，得到与所述声音驱动数据对应的至少一个目标人脸图像，其中，所述第二图像中包括所述目标对象的嘴部的设定区域被遮挡；根据所述声音驱动数据和所述至少一个目标人脸图像，得到所述目标对象的说话视频。

结合本公开提供的任一实施方式，所述获取声音驱动数据的音素特征以及声学特征，包括：获取所述声音驱动数据对应的音频所包含的音素以及各个音素对应的时间戳，得到所述声音驱动数据的音素特征；对所述声音驱动数据对应的音频进行特征提取，得到所述声音驱动数据的声学特征。

结合本公开提供的任一实施方式，所述根据所述音素特征和所述声学特征获取第一图像中目标对象的至少一组人脸关键点信息，包括：获取所述音素特征所包含的多个子音素特征以及所述多个子音素特征对应的子声学特征；将所述子音素特征和对应的子声学特征输入至人脸关键点提取网络，得到与所述子音素特征和所述子声学特征对应的人脸关键点信息。

结合本公开提供的任一实施方式，所述人脸关键点信息包括3D人脸关键点信息，在根据所述至少一组人脸关键点信息以及包含所述目标对象的脸部的第二图像，得到与所述声音驱动数据对应的至少一个目标人脸图像之前，所述方法还包括：将所述3D人脸关键点信息投影到2D平面上，得到所述3D人脸关键点信息对应的2D人脸关键点信息；利用所述2D人脸关键点信息更新所述人脸关键点信息。

结合本公开提供的任一实施方式，在根据所述至少一组人脸关键点信息以及包含所述目标对象的脸部的第二图像，得到与所述声音驱动数据对应的至少一个目标人脸图像之前，所述方法还包括：对多组人脸关键点信息进行滤波处理，使每个图像帧的人脸关键点信息与相邻帧的人脸关键点信息之间的变化量满足设定条件。

结合本公开提供的任一实施方式，所述根据所述至少一组人脸关键点信息以及包含所述目标对象的脸部的第二图像，得到与所述声音驱动数据对应的至少一个目标人脸图像，包括：将每组人脸关键点信息与所述第二图像输入至人脸补全网络，得到与所述人脸关键点信息对应的目标人脸图像，其中，所述人脸补全网络用于根据人脸关键点信息对所述第二图像中被遮挡的设定区域进行补全。

结合本公开提供的任一实施方式，所述根据所述声音驱动数据和所述至少一个目标人脸图像，得到所述目标对象的说话视频，包括：将所述至少一个目标人脸图像与设定背景图像进行融合，得到第一图像序列；根据所述第一图像序列与所述声音驱动数据对应的音频，得到所述目标对象的说话视频。