[发明专利]一种动态图像的生成方法、装置、电子设备和存储介质

权利要求书

1.一种动态图像的生成方法，其特征在于，所述方法包括：

获取静态图像和动态参考视频，所述静态图像包括静态对象，所述动态参考视频包括参考对象，所述静态对象和所述参考对象的类型相同；

从所述动态参考视频中提取任意一帧图像作为参考图像；

将所述参考图像和所述静态图像输入到动态特征提取模型中进行动态特征提取，得到所述参考图像和所述静态图像间的动态变换信息，所述动态变换信息表征所述静态对象的动作和所述参考对象的动作间的转换关系；

将所述动态变换信息和所述静态图像输入到图像合成模型中进行特征融合，得到具有帧间连贯信息的合成图像，所述动态特征提取模型和所述图像合成模型为基于图像合成误差和图像重构误差，对初始动态特征提取模型和初始图像合成模型进行训练得到的，所述图像合成误差为样本图像序列和合成图像序列间的对比结果，所述样本图像序列为样本运动视频中按照时间顺序组合的两帧相邻的参考训练图像，所述合成图像序列为按照时间顺序对所述两帧相邻的参考训练图像分别对应的合成图像进行组合得到的，所述对应的合成图像为将所述两帧相邻的参考训练图像和静态训练图像输入到所述初始动态特征提取模型和所述初始图像合成模型中进行处理得到的，所述静态训练图像为从所述样本运动视频中提取的任意一帧图像，所述图像重构误差为基于所述两帧相邻的参考训练图像和所述对应的合成图像得到的；

根据所述动态参考视频中参考图像对应的时间顺序，对所述合成图像进行视频编码，得到动态化视频。

2.根据权利要求1所述的动态图像的生成方法，其特征在于，所述动态特征提取模型包括运动关键点提取网络和帧间运动估计网络，所述将所述参考图像和所述静态图像输入到动态特征提取模型中进行动态特征提取，得到所述参考图像和所述静态图像间的动态变换信息包括：

将所述参考图像和所述静态图像输入到所述运动关键点提取网络中进行运动关键点提取，得到所述静态图像的第一运动关键点数据和所述参考图像的第二运动关键点数据；

将所述第一运动关键点数据、所述第二运动关键点数据、所述参考图像和所述静态图像输入到所述帧间运动估计网络中，基于所述参考图像和所述静态图像，对所述第一运动关键点数据和所述第二运动关键点数据组合的数据进行处理，得到动态变换信息。

3.根据权利要求2所述的动态图像的生成方法，其特征在于，所述帧间运动估计网络包括数据组合层、降维卷积层、多个下采样层和与多个下采样层一一对应的上采样层，所述基于所述参考图像和所述静态图像，对所述第一运动关键点数据和所述第二运动关键点数据组合的数据进行处理，得到动态变换信息包括：

在所述数据组合层中，对所述第一运动关键点数据和所述第二运动关键点数据进行组合，得到运动关键点组合数据；

基于所述多个下采样层，对所述运动关键点组合数据进行下采样处理，得到多个初始动态特征信息；

根据每个下采样层输出的初始动态特征信息和所述每个下采样层对应的上采样层输出的目标动态特征信息，确定目标上采样层的输入信息，所述目标上采样层为每个下采样层对应的上采样层的下一上采样层；

在所述目标上采样层中，基于所述参考图像和所述静态图像，对所述目标上采样层的输入信息进行上采样处理，得到所述目标上采样层输出的目标动态特征信息；

当第一下采样层对应的上采样层为所述目标上采样层时，根据所述第一下采样层输出的初始动态特征信息和所述第一下采样层对应的上采样层输出的目标动态特征信息，确定所述降维卷积层的输入信息，所述第一下采样层为按序排列的多个下采样层中的第一个下采样层；

在所述降维卷积层中，对所述降维卷积层的输入信息进行降维处理，得到所述动态变换信息。

4.根据权利要求1所述的动态图像的生成方法，其特征在于，所述图像合成模型包括编码层和解码层，所述将所述动态变换信息和所述静态图像输入到图像合成模型中进行特征融合，得到合成图像包括：

在所述编码层中，对所述静态图像进行特征提取，得到所述静态图像的外观特征信息；

在所述解码层中，根据所述动态特征信息，对所述外观特征信息进行动态变换，得到合成图像。