[发明专利]视频生成方法、装置、电子设备和计算机存储介质

权利要求书

1.一种视频生成方法，其特征在于，所述方法包括：

获取多帧人脸图像和所述多帧人脸图像中每帧人脸图像对应的音频片段；

从所述每帧人脸图像提取出人脸形状信息和头部姿势信息；根据所述每帧人脸图像对应的音频片段，得出人脸表情信息；根据所述人脸表情信息、所述人脸形状信息和所述头部姿势信息，得到每帧人脸图像的人脸关键点信息；

根据所述每帧人脸图像的人脸关键点信息，对从所述多帧人脸图像中预先获取的人脸图像进行补全处理，得到每帧生成图像；其中，所述预先获取的人脸图像，包括预先获取的带遮挡部分的人脸图像；

根据各帧生成图像，生成目标视频。

2.根据权利要求1所述的视频生成方法，其特征在于，所述根据所述人脸表情信息、所述人脸形状信息和所述头部姿势信息，得到每帧人脸图像的人脸关键点信息，包括：

根据所述人脸表情信息和所述人脸形状信息，得出人脸点云数据；根据所述头部姿势信息，将所述人脸点云数据投影到二维图像，得到所述每帧人脸图像的人脸关键点信息。

3.根据权利要求1或2所述的视频生成方法，其特征在于，所述根据所述每帧人脸图像对应的音频片段，得出人脸表情信息，包括：

提取所述音频片段的音频特征，消除所述音频特征的音色信息；根据消除所述音色信息后的音频特征，得出所述人脸表情信息。

4.根据权利要求3所述的视频生成方法，其特征在于，所述消除所述音频特征的音色信息，包括：

通过对所述音频特征进行归一化处理，消除所述音频特征的音色信息。

5.根据权利要求1或2所述的视频生成方法，其特征在于，所述根据各帧生成图像，生成目标视频，包括：

针对每帧生成图像，根据所述预先获取的人脸图像调整除人脸关键点外的其它区域图像，得到调整后的每帧生成图像；利用调整后的各帧生成图像组成目标视频。

6.根据权利要求1或2所述的视频生成方法，其特征在于，所述方法还包括：对所述目标视频中的图像的说话相关部位的人脸关键点进行运动平滑处理，和/或，对所述目标视频中的图像进行消抖处理；其中，所述说话相关部位至少包括嘴部和下巴。

7.根据权利要求6所述的视频生成方法，其特征在于，所述对所述目标视频中的图像的说话相关部位的人脸关键点进行运动平滑处理，包括：

在t大于或等于2，且在所述目标视频的第t帧图像的说话相关部位中心位置与所述目标视频的第t-1帧图像的说话相关部位中心位置的距离小于或等于设定距离阈值的情况下，根据所述目标视频的第t帧图像的说话相关部位的人脸关键点信息和所述目标视频的第t-1帧图像的说话相关部位的人脸关键点信息，得到所述目标视频的第t帧图像的说话相关部位的经运动平滑处理后的人脸关键点信息。

8.根据权利要求6所述的视频生成方法，其特征在于，所述对所述目标视频中的图像进行消抖处理，包括：

在t大于或等于2的情况下，根据所述目标视频的第t-1帧图像至第t帧图像的光流、所述目标视频的经消抖处理后的第t-1帧图像、以及所述目标视频的第t帧图像和第t-1帧图像的说话相关部位中心位置的距离，对所述目标视频的第t帧图像进行消抖处理。

9.根据权利要求1或2所述的视频生成方法，其特征在于，所述获取多帧人脸图像和所述多帧人脸图像中每帧人脸图像对应的音频片段，包括：

获取源视频数据，从所述源视频数据中分离出所述多帧人脸图像和包含语音的音频数据；确定每帧人脸图像对应的音频片段，所述每帧人脸图像对应的音频片段为所述音频数据的一部分。