[发明专利]视频生成方法、视频生成装置、电子装置及存储介质

说明书

本发明实施例涉及图像处理技术领域，公开了一种视频生成方法、视频生成装置、电子装置及存储介质。其中，该方法包括：获取输入图像与目标动作类型，根据输入图像与目标动作类型生成第一姿态序列，再根据输入图像与第一姿态序列生成动态视频；由此可见，实施本发明实施例，可以避免噪声和异常姿态使得生成的视频中包含突变的视频帧，从而提高视频生成的可控性。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种视频生成方法、视频生成装置、电子装置及存储介质。

背景技术

随着图像处理领域的基础技术的发展，视频生成技术也方兴未艾。视频生成可以利用单张或多张图像生成连续的动态视频，其不仅可以应用于互动应用之中，还可以在数据量缺乏的情况下，用来生成更多数据以提高数据数量，减少人工标注的工作量。

随着生成对抗网络(Generative Adversarial Network，GAN)的出现，视频生成技术获得巨大突破。视频生成的常用思路为分别进行视频的运动建模和内容建模，通过两步处理最终获得动态视频。然而，在进行运动建模的过程中，会受噪声和异常姿态(pose)的影响，导致生成的动态视频不可控；而在实际的应用场景中，噪声和异常姿态普遍存在，因而这样的视频生成方法难以部署到实际的应用场景中。

发明内容

本发明实施例提供了一种视频生成方法、视频生成装置、电子装置及存储介质，可以提高视频生成的可控性。

第一方面，本发明实施例提供了一种视频生成方法，包括：

获取输入图像与目标动作类型；

根据所述输入图像与所述目标动作类型生成第一姿态序列；

根据所述输入图像与所述第一姿态序列生成动态视频。

作为一种可选的实施方式，所述根据所述输入图像与所述目标动作类型生成第一姿态序列，包括：

从所述输入图像提取第一初始姿态；

将所述第一初始姿态以及所述目标动作类型输入姿态序列生成网络，获得第一姿态序列。

作为一种可选的实施方式，所述根据所述输入图像与所述第一姿态序列生成动态视频，包括：

提取所述输入图像中的外观特征；

将所述外观特征与所述第一姿态序列输入语义一致生成网络，获得动态视频。

作为一种可选的实施方式，所述姿态序列生成网络包括长短期记忆LSTM网络。

作为一种可选的实施方式，在所述根据所述输入图像与所述目标动作类型生成第一姿态序列之前，所述方法还包括：

解析训练视频以获取真实姿态序列；

将第二初始姿态和所述训练视频对应的动作类型输入所述姿态序列生成网络，获得第二姿态序列，所述第二初始姿态为所述真实姿态序列中的任一姿态；

根据所述真实姿态序列和所述第二姿态序列计算第一损失函数；

优化所述第一损失函数以训练所述姿态序列生成网络。

作为一种可选的实施方式，在所述根据所述输入图像与所述第一姿态序列生成动态视频之前，所述方法还包括：

根据所述训练视频和所述语义一致生成网络，生成第一生成图像和第二生成图像，所述第一生成图像和所述第二生成图像为所述训练视频中两帧不同图像对应的生成图像；

根据所述第一生成图像和所述第二生成图像计算第二损失函数；

优化所述第二损失函数以训练所述语义一致生成网络。