[发明专利]一种基于单张图片的运动转移方法及系统

权利要求书

1.一种基于单张图片的运动转移方法，包括如下步骤：

步骤S1，对源视频利用人体姿态估计器获得对应的姿势序列S_pose，对目标人物图片I使用人体解析器获取目标人物图片I所对应的人体解析分割图I_parsing，根据源视频对应的姿势序列S_pose以及目标人物图片I所对应的人体解析分割图I_parsing，并生成目标视频的人体语义解析图

步骤S2，根据步骤S1中生成的目标视频的人体语义解析图以及目标人物外观图片前景I_a，生成目标视频的前景

步骤S3，通过修护后的背景图bg、步骤S2中生成的前景以及步骤S2中生成的前一帧前景预测出前景掩膜fg_maskt，并通过该前景掩膜融合前后景得到最终目标视频中的帧x^t；

步骤S1进一步包括：

步骤S100，对源视频的每一帧通过人体姿态估计器获得包含若干特征点的姿态图，所述姿态图上每个特征点都被转化为1通道的热图，将每个特征点对应的热图按通道拼接起来，得到编码人体姿态信息的18通道的热图，从而获得所述源视频所对应的姿势序列S_pose；

步骤S101，对步骤S100所获得的姿势序列S_pose进行时序光滑；

步骤S102，使用人体解析器获取目标人物图片I所对应的人体解析分割图I_parsing，该分割图上不同区域对应人体的不同部位，并利用该人体解析分割图I_parsing分割目标人物图片I得到外观图片前景I_a；

步骤S103，将姿势序列S_pose中的姿势热图逐帧与目标人物图片I所对应的人体解析分割图I_parsing一起输入到残差网络结构的生成器中，所述生成器输出第i帧对应的人体语义解析图从而得到目标视频的人体语义解析序列。

2.如权利要求1所述的一种基于单张图片的运动转移方法，其特征在于；于步骤S1中，其训练阶段的损失函数包括第一范式距离损失函数和分类交叉墒损失函数两部分，本步骤在训练阶段的总损失函数即为第一范式距离损失函数和分类交叉墒损失函数的加权和。

3.如权利要求1所述的一种基于单张图片的运动转移方法，其特征在于，步骤S2进一步包括：

步骤S200，使用人体姿态估计器提取目标人物外观图片对应的姿态图I_pose；

步骤S201，流回归网络，将目标人物外观图片对应的姿态图I_pose与第i帧姿势热图一起输入到深度神经网络中，输出流图F和可视图V；

步骤S202，使用VGG网络对于目标人物外观图片前景I_a提取特征，得到特征图

步骤S203，使用步骤S201中得到的可视图V对于步骤S202中得到的特征图进行形变，得到形变后的特征图

步骤S204，使用VGG网络对于第i帧对应的人体语义解析图提取特征图，形变后的特征图逐通道与人体语义解析对应的特征图连接起来，随后通过解码器获得生成的目标视频的前景

4.如权利要求3所述的一种基于单张图片的运动转移方法，其特征在于：于步骤S201中，首先使用HMR对于外观图片I_a和目标帧提取SMPL人体三维模型，然后通过提取的两个三维模型计算流图F和可视图V的标准答案，随后利用该标准答案训练所述流回归网络。

5.如权利要求4所述的一种基于单张图片的运动转移方法，其特征在于：所述流回归网络的损失函数包括端点错误损失函数和交叉墒损失函数两部分。

6.如权利要求4所述的一种基于单张图片的运动转移方法，其特征在于：于步骤S2中，其训练阶段的损失函数包括三个部分：第一范式距离损失函数、对抗损失函数和感知损失函数，步骤S2的训练阶段的总体损失函数即为三种损失函数的加权和。