[发明专利]一种视频帧图像的人脸驱动方法及装置

说明书

本发明实施例提供了一种视频帧图像的人脸驱动方法及装置，应用于视频处理技术领域，上述方法包括：获得目标视频的当前视频帧图像，并获得上一帧已驱动视频帧图像，其中，所述上一帧已驱动视频帧图像为：所述当前视频帧图像的上一帧进行人脸驱动后生成的视频帧图像；提取所述当前视频帧图像中待驱动人脸的当前表情姿态特征信息；提取所述上一帧已驱动视频帧图像的当前身份特征信息；基于所述当前表情姿态特征信息和当前身份特征信息，对所述当前视频帧图像进行特征融合，生成与当前表情姿态特征信息及当前身份特征信息均一致的当前已驱动视频帧图像。应用本发明实施例提供的方案对视频帧图像的人脸进行驱动时，能够提高视频播放的稳定性。

技术领域

本发明涉及视频处理技术领域，特别是涉及一种视频帧图像的人脸驱动方法及装置。

背景技术

视频帧图像的人脸驱动是指驱动视频帧图像中的人脸，使得图像中所包含人脸发生变化。通常可以基于驱动源图像，对视频帧图像中的人脸进行驱动。然而，在对视频中各视频帧图像的人脸进行驱动时，生成的各视频帧图像差异大，使得在播放各视频帧图像时发生视频抖动的问题，导致视频播放的稳定性不够高。

发明内容

本发明实施例的目的在于提供一种视频帧图像的人脸驱动方法及装置，以提高视频播放的稳定性。具体技术方案如下：

第一方面，本发明实施例提供了一种视频帧图像的人脸驱动方法，所述方法包括：

获得目标视频的当前视频帧图像，并获得上一帧已驱动视频帧图像，其中，所述上一帧已驱动视频帧图像为：所述当前视频帧图像的上一帧进行人脸驱动后生成的视频帧图像；

提取所述当前视频帧图像中待驱动人脸的当前表情姿态特征信息；

提取所述上一帧已驱动视频帧图像的当前身份特征信息；

基于所述当前表情姿态特征信息和当前身份特征信息，对所述当前视频帧图像进行特征融合，生成与当前表情姿态特征信息及当前身份特征信息均一致的当前已驱动视频帧图像；

其中，第一帧已驱动视频帧图像，是基于所述目标视频中的第一帧图像中待驱动人脸的第一帧表情姿态特征信息和驱动源图像的源身份特征信息生成的。

本发明的一个实施例中，上述提取所述当前视频帧图像中待驱动人脸的当前表情姿态特征信息，包括：

将所述当前视频帧图像输入预先训练好的五官定位模型，获得五官定位模型输出的五官定位图像，作为当前表情姿态特征信息。

本发明的一个实施例中，上述提取所述上一帧已驱动视频帧图像的当前身份特征信息，包括：

将所述上一帧已驱动视频帧图像输入预先训练好的视频帧图像驱动模型中的编码器，获得编码器输出的图像编码，作为当前身份特征信息；

所述视频帧图像驱动模型，还包括生成器；

所述基于所述当前表情姿态特征信息和当前身份特征信息，对所述当前视频帧图像进行特征融合，生成与当前身份特征信息一致的当前已驱动视频帧图像的步骤，包括：

将所述当前表情姿态特征信息和当前身份特征信息输入所述生成器，获得所述生成器基于所述当前表情姿态特征信息和当前身份特征信息，对所述当前视频帧图像进行特征融合，生成与当前表情姿态特征信息及当前身份特征信息均一致的当前已驱动视频帧图像。

本发明的一个实施例中，上述第一帧已驱动视频帧图像，采用如下步骤生成：

提取所述目标视频中的第一帧图像中待驱动人脸的第一帧表情姿态特征信息；

将驱动源图像输入所述编码器，获得所述编码器输出的图像编码，作为驱动源图像的源身份特征信息；