[发明专利]视频生成方法、装置、计算机设备及存储介质

说明书

本发明公开了一种视频生成方法、装置、计算机设备及存储介质，属于网络技术领域。通过基于每帧第一图像的上下文图像，来提取该每帧第一图像的对象姿态信息，由于上下文图像中包括多帧连续图像，使得多帧第一图像的对象姿态的具备连贯性，避免单帧图像的对象姿态发生突变，保证最终生成的第二视频中，第二对象的动作是连续的，保证了所生成的视频在视觉效果上的真实性。

技术领域

本发明涉及网络技术领域，特别涉及一种视频生成方法、装置、计算机设备及存储介质。

背景技术

随着网络技术的发展，终端为用户制作视频时，可以基于一个被模仿对象的对象动作，为用户生成模仿该对象动作的用户视频。例如，基于A用户视频中A用户的姿态，生成模仿A用户的姿态的B用户视频，无需B用户执行任何动作，而将A用户的动作迁移到B用户上。

相关技术中，视频生成过程可以包括：将A用户视频输入姿态估计模型，A用户视频中包括多帧A用户图像，该姿态估计模型提取每一帧A用户图像的图像特征，根据每帧A用户图像的图像特征，提取每帧A用户图像中A用户的姿态。然后，将多帧A用户图像中A用户的姿态输入到B用户的视频生成器中，生成器基于每帧A用户图像中A用户的姿态，对应生成一帧B用户图像，得到多帧B用户图像，输出B用户视频。

上述方法实际上是基于单帧图像提取的A用户姿态生成视频，然而，提取的A用户姿态在连续的帧与帧之间可能发生突变，使得最终生成的视频中，B用户姿态也是突变的，例如，展示B用户的某动作过程不连贯，导致生成的视频在视觉效果上的真实性较差。

发明内容

本发明实施例提供了一种视频生成方法、装置、计算机设备及存储介质，能够解决相关技术中生成的视频在视觉效果上的真实性较差的问题。所述技术方案如下：

一方面，提供了一种视频生成方法，所述方法包括：

获取第一视频，所述第一视频中包括第一对象；

将所述第一视频输入第一模型，基于输入的所述第一视频中至少一帧第一图像的上下文图像，输出所述至少一帧第一图像的对象姿态信息，其中，上下文图像是指第一图像之前的多帧图像和之后的多帧图像中至少一帧；

将所述第一视频中至少一帧第一图像的对象姿态信息输入第二模型，基于输入的所述至少一帧第一图像的对象姿态信息，输出第二视频，所述第二视频中包括与所述第一对象具有相同姿态变化的第二对象。

在一种可能实现方式中，所述方法还包括：

所述第一模型包括目标网络，所述目标网络位于该第一模型的任一特征层中，或者作为独立的目标特征层位于所述第一模型的任一排序位置上，所述目标网络用于实现所述对于所述每帧第一图像，获取所述第一图像的上下文图像和所述第一图像的聚合特征的步骤。

另一方面，提供了一种视频生成装置，所述装置包括：

获取模块，用于获取第一视频，所述第一视频中包括第一对象；

输出模块，用于将所述第一视频输入第一模型，基于输入的所述第一视频中至少一帧第一图像的上下文图像，输出所述至少一帧第一图像的对象姿态信息，其中，上下文图像是指第一图像之前的多帧图像和之后的多帧图像中至少一帧；

所述输出模块，还用于将所述第一视频中至少一帧第一图像的对象姿态信息输入第二模型，基于输入的所述至少一帧第一图像的对象姿态信息，输出第二视频，所述第二视频中包括与所述第一对象具有相同姿态变化的第二对象。

在一种可能实现方式中，所述输出模块，还用于将所述第一视频输入所述第一模型，对于每帧第一图像，获取所述第一图像的上下文图像和所述第一图像的聚合特征，所述聚合特征用于指示所述第一对象的姿态变化；根据所述聚合特征，确定所述第一图像中所述第一对象的关键点位置，得到所述第一图像的对象姿态信息。