[发明专利]一种视频帧图像的人脸驱动方法及装置

权利要求书

1.一种视频帧图像的人脸驱动方法，其特征在于，所述方法包括：

获得目标视频的当前视频帧图像，并获得上一帧已驱动视频帧图像，其中，所述上一帧已驱动视频帧图像为：所述当前视频帧图像的上一帧进行人脸驱动后生成的视频帧图像；

提取所述当前视频帧图像中待驱动人脸的当前表情姿态特征信息；

提取所述上一帧已驱动视频帧图像的当前身份特征信息；

基于所述当前表情姿态特征信息和当前身份特征信息，对所述当前视频帧图像进行特征融合，生成与当前表情姿态特征信息及当前身份特征信息均一致的当前已驱动视频帧图像；

其中，第一帧已驱动视频帧图像，是基于所述目标视频中的第一帧图像中待驱动人脸的第一帧表情姿态特征信息和驱动源图像的源身份特征信息生成的。

2.根据权利要求1所述的方法，其特征在于，所述提取所述当前视频帧图像中待驱动人脸的当前表情姿态特征信息，包括：

将所述当前视频帧图像输入预先训练好的五官定位模型，获得五官定位模型输出的五官定位图像，作为当前表情姿态特征信息。

3.根据权利要求1或2所述的方法，其特征在于，

所述提取所述上一帧已驱动视频帧图像的当前身份特征信息，包括：

将所述上一帧已驱动视频帧图像输入预先训练好的视频帧图像驱动模型中的编码器，获得编码器输出的图像编码，作为当前身份特征信息；

所述视频帧图像驱动模型，还包括生成器；

所述基于所述当前表情姿态特征信息和当前身份特征信息，对所述当前视频帧图像进行特征融合，生成与当前身份特征信息一致的当前已驱动视频帧图像的步骤，包括：

将所述当前表情姿态特征信息和当前身份特征信息输入所述生成器，获得所述生成器基于所述当前表情姿态特征信息和当前身份特征信息，对所述当前视频帧图像进行特征融合，生成与当前表情姿态特征信息及当前身份特征信息均一致的当前已驱动视频帧图像。

4.根据权利要求3所述的方法，其特征在于，所述第一帧已驱动视频帧图像，采用如下步骤生成：

提取所述目标视频中的第一帧图像中待驱动人脸的第一帧表情姿态特征信息；

将驱动源图像输入所述编码器，获得所述编码器输出的图像编码，作为驱动源图像的源身份特征信息；

将所述第一帧表情姿态特征信息和源身份特征信息输入所述生成器，获得所述生成器基于所述第一帧表情姿态特征信息和源身份特征信息，对所述第一帧图像进行特征融合，生成与第一帧表情姿态特征信息以及源身份特征信息一致的第一帧已驱动视频帧图像。