[发明专利]用于动作迁移的视频生成方法及神经网络训练方法和装置

权利要求书

1.一种用于动作迁移的视频生成神经网络的训练方法，其特征在于，所述方法包括：

将源视频和目标图像输入所述视频生成神经网络进行处理，生成目标视频；

将所述目标视频和所述源视频中的源图像输入所述视频生成神经网络进行处理，生成重建视频；

基于所述源视频、所述重建视频、所述目标图像和所述目标视频中的至少两个，对所述视频生成神经网络的网络参数进行调整；

所述将源视频和目标图像输入所述视频生成神经网络进行处理，生成目标视频，包括：利用所述视频生成神经网络对所述源视频进行特征提取，得到所述源视频的运动特征；通过所述视频生成网络对所述目标图像进行特征提取，得到所述目标图像的静态外形特征；利用所述视频生成神经网络基于所述源视频的运动特征和所述目标图像的静态外形特征，生成目标视频；

所述基于所述源视频、所述重建视频、所述目标图像和所述目标视频中的至少两个，对所述视频生成神经网络的网络参数进行调整，包括：

获取用于表示所述源视频与重建视频之间误差的循环一致性损失；

通过分类网络确定所述目标视频中的图像的预测类别；通过所述分类网络确定所述目标图像的预测类别；基于所述目标视频中的图像的预测类别与所述目标图像的预测类别之间的差异，得到第一损失；

基于所述循环一致性损失和所述第一损失，调整所述视频生成神经网络的网络参数。

2.根据权利要求1所述的方法，其特征在于，所述利用所述视频生成神经网络对所述源视频进行特征提取，得到所述源视频的运动特征，包括：

对所述源视频包含的多帧图像中每帧图像进行特征提取，得到所述每帧图像的特征信息；

基于所述源视频包含的多帧图像中每帧图像的特征信息与所述源视频的第一帧图像的特征信息之间的差异，得到所述每帧图像的运动特征。

3.根据权利要求2所述的方法，其特征在于，所述对所述源视频包含的多帧图像中每帧图像进行特征提取，得到所述每帧图像的特征信息，包括：

利用所述视频生成神经网络中的长短期记忆网络LSTM，对所述源视频包含的多帧图像中每帧图像进行特征提取，得到所述每帧图像的特征信息。

4.根据权利要求1至3任一所述的方法，其特征在于，所述基于所述源视频的运动特征和所述目标图像的静态外形特征，生成目标视频，包括：

将所述源视频包含的多帧图像中每帧图像的所述运动特征与所述目标图像的静态外形特征进行特征连接，得到所述每帧图像的连接特征；

根据所述源视频包含的多帧图像中每帧图像的连接特征，生成所述目标视频。

5.根据权利要求1～3任一所述的方法，其特征在于，所述基于所述源视频、所述重建视频、所述目标图像和所述目标视频中的至少两个，对所述视频生成神经网络的网络参数进行调整，包括：

通过判别网络中的视频判别器对所述目标视频进行判别，获得视频对抗损失；

通过所述判别网络中的图像判别器对所述目标视频包含的多帧图像中的每帧图像进行判别，获得图像对抗损失；

基于所述视频对抗损失和所述图像对抗损失，调整所述视频生成神经网络的网络参数。

6.根据权利要求1～3任一所述的方法，其特征在于，所述基于所述源视频、所述重建视频、所述目标图像和所述目标视频中的至少两个，对所述视频生成神经网络的网络参数进行调整，包括：

通过所述视频生成神经网络对所述目标视频进行特征提取，得到所述目标视频的运动特征；

根据所述目标视频的运动特征和所述源视频的运动特征之间的差异，得到第二损失；

基于所述第二损失，调整所述视频生成神经网络的网络参数。

7.一种用于动作迁移的视频生成方法，其特征在于，所述方法利用权利要求1至6任一所述的训练方法训练得到的视频生成神经网络执行，所述方法包括：

获取源视频和目标图像；

对所述源视频进行特征提取，得到所述源视频的运动特征，并对所述目标图像进行特征提取，得到所述目标图像的静态外形特征；

基于所述源视频的运动特征和所述目标图像的静态外形特征，生成目标视频。