[发明专利]一种视频合成的方法、模型训练的方法以及相关装置

权利要求书

1.一种视频合成的方法，其特征在于，包括：

获取第一待合成视频的K帧源图像信息，其中，每帧图像信息包括源图像以及源动作关键点，所述源图像与所述源动作关键点具有对应关系，所述源图像包括迁移对象，所述K为大于1的整数；

获取第二待合成视频的多帧目标图像信息，其中，每帧目标图像信息包括目标动作关键点，所述第二待合成视频对应于动作参照序列，所述动作参照序列用于指示视频合成的图像顺序；

通过视频合成模型获取所述K帧源图像信息与第一目标动作关键点所对应的第一输出图像，其中，所述视频合成模型用于对所述源图像、所述源动作关键点以及所述目标动作关键点进行融合处理，所述第一输出图像包括所述迁移对象，所述第一目标动作关键点属于所述多帧目标图像信息中的一个目标动作关键点；

其中，所述通过视频合成模型获取所述K帧源图像信息与第一目标动作关键点所对应的第一输出图像，包括：

通过所述视频合成模型对所述K帧源图像信息以及所述第一目标动作关键点进行特征提取，得到前景特征集合以及背景特征集合；

通过所述视频合成模型获取所述前景特征集合所对应的前景融合特征；

通过所述视频合成模型获取所述背景特征集合所对应的背景融合特征；

通过所述视频合成模型对所述前景融合特征进行卷积处理，得到前景图像以及前景遮罩，其中，所述前景遮罩用于提取图像轮廓；

通过所述视频合成模型对所述背景融合特征进行卷积处理，得到背景图像；

通过所述视频合成模型对所述前景图像、所述前景遮罩以及所述背景图像进行处理，得到所述第一输出图像；根据所述动作参照序列以及所述第一输出图像生成合成视频。

2.根据权利要求1所述的方法，其特征在于，通过所述视频合成模型获取所述前景特征集合所对应的前景融合特征，包括：

根据前景特征集合、所述K帧源图像信息中所述每帧图像信息的源动作关键点以及所述第一目标动作关键点，确定K帧前景注意力遮罩图；

根据所述K帧前景注意力遮罩图以及所述前景特征集合，确定所述前景融合特征。

3.根据权利要求2所述的方法，其特征在于，所述根据所述K帧前景注意力遮罩图以及所述前景特征集合，确定所述前景融合特征，包括：

采用如下方式计算所述前景融合特征：

其中，所述表示所述前景融合特征，所述表示所述前景特征集合中的第k帧前景特征，所述表示所述K帧前景注意力遮罩图中的第k帧前景注意力遮罩图，所述⊙表示像素的乘法。

4.根据权利要求1所述的方法，其特征在于，所述通过所述视频合成模型获取所述背景特征集合所对应的背景融合特征，包括：

根据背景特征集合、所述K帧源图像信息中所述每帧图像信息的源动作关键点以及所述第一目标动作关键点，确定K帧背景注意力遮罩图；

根据所述K帧背景注意力遮罩图以及所述背景特征集合，确定所述背景融合特征。

5.根据权利要求4所述的方法，其特征在于，所述根据所述K帧背景注意力遮罩图以及所述背景特征集合，确定所述背景融合特征，包括：

采用如下方式计算所述背景融合特征：

其中，所述表示所述背景融合特征，所述表示所述背景特征集合中的第k帧背景特征，所述表示所述K帧背景注意力遮罩图中的第k帧背景注意力遮罩图，所述⊙表示像素的乘法。

6.根据权利要求1所述的方法，其特征在于，所述通过所述视频合成模型对所述前景图像、所述前景遮罩以及所述背景图像进行处理，得到所述第一输出图像，包括：

采用如下方式计算所述第一输出图像：

其中，所述O^t表示第t帧对应的所述第一输出图像，所述表示所述第t帧对应的所述前景图像，所述表示所述第t帧对应的所述背景图像，所述表示所述第t帧对应的所述前景遮罩，所述⊙表示像素的乘法。