[发明专利]一种基于人体动作迁移的卡通定制形象运动视频生成方法

说明书

本发明公开了一种基于人体动作迁移的卡通定制形象运动视频生成方法，包括如下步骤：步骤一，检测视频中每帧图像的源对象回归框，并通过对抗生成网络修正源对象回归框，得到源对象修正回归框；步骤二，提取视频中每帧图像的源对象修正回归框的2D姿态；步骤三，根据2D姿态获取SMPL模板模型，并根据自动化阈值分割原理得到定制形象的轮廓掩膜；步骤四，根据定制形象的轮廓掩膜将SMPL模板模型进行重构整合，最终生成定制形象的2D运动视频。本发明所公开的方法能够直接从源对象动作和选定的定制形象生成定制形象运动视频，无需做全局标准化和图像映射，生成的定制形象生动且具有连续性外观，无需担心由生成器原因导致的外观不连续问题。

技术领域

本发明涉及图像检测跟踪与重构卡通形象技术领域，特别涉及一种基于人体动作迁移的卡通定制形象运动视频生成方法。

背景技术

目前对定制卡通形象(定制形象)生成卡通视频的方法分为借助专业软件如live2D进行手工绘制的方法和基于图像算法自动将人体动作重构为定制卡通的方法。其中，手工绘制方法由于其专业性强、难度系数大、制作成分高的特点，很难普及；基于人体动作迁移自动生成的技术，主要包括：

(1)基于姿态估计的标准化图像转换算法，例如论文Everybody Dance Now[J].Caroline Chan Etc.,2018中提到人体动作迁移方法，即一种简单的“按我做”动作转移方法，给定源对象跳舞动作的视频，算法可以将该表演转移到指定定制形象上。该算法首先采用openpose姿态检测；然后采用全局姿态标准化，即根据迁移源对象和定制形象身体形状和比例不同做映射变换继续宁全局姿态归一化操作；再根据pix2pixHD生成式对抗模型(GAN)从标准化后的姿态图形推断目标人物的图像；最后补充面部表情细节，同样采用一个特殊的GAN结构来训练更细节更真实的面部区域。

该方法能够很好实现动作迁移，且在高分辨率下细节信息较为完整真实，但该算法需要从源对象到定制形象以逐帧的方式形成图像映射，从而实现动作迁移，不能直接从源对象和指定的定制形象直接生成定制形象视频，在实际应用中具有局限性。

(2)基于光流约束的姿态图视频生成技术，Video-to-Video Synthesis[J],Ting-Chun Wang,etc.,2018,Advances in Neural Information Processing Systems(NeurIPS)，该技术建立生成器模型和相邻两帧之间的光流信息并通过对前景和背景分别建模来进行姿态迁移的视频生成。该方法通过添加光流时序约束从而克服了由源对象视频到定制形象视频转换过程中前后帧不一致性问题，实现了人体动作的迁移，但该算法需要输入语义分割掩码视频，因此还需要将源对象视频先进行语义分割，且分割结果直接影响定制形象视频的生成，此外，由于该算法用的生成器技术，因此算法模型不能确保定制形象在整个视频中有连续外观。

综上所述，目前先进的人体动作迁移算法，存在以下缺陷：

(1)图像转换算法需要同时具备源对象视频与定制形象视频的图像映射；

(2)姿态图视频生成技术需要用精准的语义分割掩码作为输入，且生成的定制形象不保证有连续的外观。

由此可见，目前根据人体动作迁移生成目标运动视频的方法尤其是对于生成定制卡通形象运动仍存在许多不足。

发明内容

为解决上述技术问题，本发明提供了一种基于人体动作迁移的卡通定制形象运动视频生成方法，能够直接从源对象动作和选定的定制形象生成定制形象运动视频，无需做全局标准化和图像映射，生成的定制形象生动且具有连续性外观，无需担心由生成器原因导致的外观不连续问题。

为达到上述目的，本发明的技术方案如下：

一种基于人体动作迁移的卡通定制形象运动视频生成方法，包括如下步骤：