[发明专利]一种视频合成的方法、模型训练的方法以及相关装置

说明书

本申请公开了一种视频合成的方法，包括：获取第一待合成视频的K帧源图像信息，其中，每帧图像信息包括源图像以及源动作关键点，源图像与源动作关键点具有对应关系，获取第二待合成视频的多帧目标图像信息，每帧目标图像信息包括目标动作关键点；通过视频合成模型获取K帧源图像信息与第一目标动作关键点所对应的第一输出图像，视频合成模型用于对源图像、源动作关键点以及目标动作关键点进行融合处理；根据动作参照序列以及第一输出图像生成合成视频。本申请还公开了一种模型处理的方法和装置。本申请可以利用多帧源图像信息生成动作序列对应的输出图像，由此充分考虑到了连续帧之间的信息关联性，从而增强了合成视频的时域连续性。

技术领域

本申请涉及人工智能领域，尤其涉及一种视频合成的方法、模型训练的方法以及相关装置。

背景技术

随着媒体形式的多样性提出了一种迁移不同视频中人物动作的策略。对于两个视频，一个视频中是想要合成动作的目标人物，另一个是被迁移动作的源人物。通过一种基于像素的端到端流程在人物之间进行动作迁移。视频动作迁移可以使未经训练的业余人员也能像专业芭蕾舞演员那样做出旋转等舞蹈动作，像流行明星那样跳舞。

目前，在视频动作迁移方法中，常用的处理方式为先提供两个视频，一个视频包括迁移对象，另一个视频包括动作参照序列，然后针对动作参照序列对视频中的每一帧动作分别进行单帧动作迁移，最后拼接成一个新的视频。

然而，针对动作序列对每一帧分别进行动作迁移的连贯性并不好，会导致合成的视频在时域的连续性较差。

发明内容

本申请实施例提供了一种视频合成的方法、模型训练的方法以及相关装置，可以利用多帧源图像信息生成动作序列对应的输出图像，由此充分考虑到了连续帧之间的信息关联性，从而增强了合成视频的时域连续性。

有鉴于此，本申请第一方面提供一种视频合成的方法，包括：

获取第一待合成视频的K帧源图像信息，其中，每帧图像信息包括源图像以及源动作关键点，所述源图像与所述源动作关键点具有对应关系，所述源图像包括迁移对象，所述K为大于1的整数；

获取第二待合成视频的多帧目标图像信息，其中，每帧目标图像信息包括目标动作关键点，所述第二待合成视频对应于动作参照序列，所述动作参照序列用于指示视频合成的图像顺序；

通过视频合成模型获取所述K帧源图像信息与第一目标动作关键点所对应的第一输出图像，其中，所述视频合成模型用于对所述源图像、所述源动作关键点以及所述目标动作关键点进行融合处理，所述第一输出图像包括所述迁移对象，所述第一目标动作关键点属于所述多帧目标图像信息中的一个目标动作关键点；

根据所述动作参照序列以及所述第一输出图像生成合成视频。

本申请第二方面提供一种模型训练的方法，包括：

获取待训练视频，其中，所述待训练视频包括多帧待训练图像信息，每帧待训练图像信息包括目标动作关键点；

通过待训练视频合成模型获取所述待训练视频所对应的预测输出图像；

采用内容损失函数对所述预测输出图像以及真实输出图像进行处理，得到第一损失结果以及第二损失结果；

采用对抗损失函数对所述预测输出图像以及真实输出图像进行处理，得到第三损失结果以及第四损失结果；

根据所述第一损失结果、所述第二损失结果、所述第三损失结果以及所述第四损失结果，对所述待训练视频合成模型进行训练，得到视频合成模型，其中，所述视频合成模型用于对源图像、源动作关键点以及目标动作关键点进行融合处理，所述源图像以及所述源动作关键点属于第一待合成视频，所述目标动作关键点属于第二待合成视频。

本申请第三方面提供一种视频合成装置，包括：