[发明专利]一种基于人体动作迁移的卡通定制形象运动视频生成方法

权利要求书

1.一种基于人体动作迁移的卡通定制形象运动视频生成方法，其特征在于，包括如下步骤：

步骤一，检测视频中每帧图像的源对象回归框，并通过对抗生成网络修正源对象回归框，得到源对象修正回归框；

步骤二，提取视频中每帧图像的源对象修正回归框的2D姿态；

步骤三，根据2D姿态获取SMPL模板模型，并根据自动化阈值分割原理得到定制形象的轮廓掩膜；

步骤四，根据定制形象的轮廓掩膜将SMPL模板模型进行重构整合，最终生成定制形象的2D运动视频；

步骤一的具体方法如下：

(1)根据行人识别技术获取视频中每帧图像的源对象回归框，然后将源对象回归框的图像信息以及根据聚类算法得到的9个聚类图像信息作为生成网络的输入，输出10个修正后回归框的图像信息；

(2)利用对抗网络将输出的10个修正后回归框的图像信息与人工标注的真实的回归框的图像信息分别进行比较，输出误差值，选择其中误差值最小的一个图像信息的回归框作为源对象修正回归框；

步骤四的具体方法如下：

以定制形象轮廓掩膜为模板，将SMPL模板模型进行重构整合，获取定制形象的法向图、标准图、轮廓图和蒙皮图，具体如下：

获取定制形象的法向图标准图N_obj、轮廓图Z_obj和蒙皮图W_obj：

N_obj(x_m,y_m)＝N_SMPL(f(x_m,y_m))，

W_obj(x_m,y_m)＝W_SPML(f(x_m,y_m))，

其中，Intergrate表示根据法向图和标准图整合的过程，f(x_m,y_m)求解公式为：

其中，p(x_m′,y_m′)表示定制形象轮廓掩膜S_mask(x_m,y_m)上的点，(x_m′,y_m′)为点的坐标值，ME为定制形象轮廓上点的数量，λ_m′(x_m,y_m)表示点(x_m,y_m)关于p(x_m′,y_m′)的中值坐标，即λ_m′(x_m,y_m)＝((x_m+x_m′)/2,(y_m+y_m′)/2),表示已知的SMPL模板模型轮廓上的点；φ[m′]为从SMPL模板模型轮廓到定制形象轮廓的映射变换，满足公式：

其中，Kn＝48用于映射φ的动态规划；

根据最终估算出的定制形象的轮廓图Z_obj和蒙皮图W_obj，即可得到定制形象基于轮廓掩膜S_mask(x_m,y_m)与源对象动作一一对应的2D运动，从而生成该视频图像下的卡通定制形象2D运动视频。

2.根据权利要求1所述的一种基于人体动作迁移的卡通定制形象运动视频生成方法，其特征在于，步骤二的具体方法如下：

根据并行多分辨率卷积的原理，将源对象修正回归框作为deephighresolution net网络的输入，输出源对象修正回归框的2D关节点信息。

3.根据权利要求1所述的一种基于人体动作迁移的卡通定制形象运动视频生成方法，其特征在于，步骤三中获取SMPL模板模型的具体方法如下：

根据人体姿态和形状估计的视频推断网络的原理，将源对象修正回归框的2D关节点作为人体姿态和形状估计的视频推断网络的输入，获取定制形象的SMPL模板模型，以及模板标准图、模板蒙皮图和模板深度图。