[发明专利]基于单目视频的多阶段人体动作捕捉方法、设备及介质

说明书

基于单目视频的多阶段人体动作捕捉方法、设备及介质，对于固定相机情境下拍摄的单目RGB视频，将人体动作捕捉分为多个阶段：第一阶段使用人体姿态检测器对输入的单目视频逐帧估计二维的人体关节点；第二阶段利用深度学习来获取视频序列中的空间与时序信息，学习从二维的人体关节点到相机空间中的三维人体关节点的映射关系，并感知人体在三维空间中的运动轨迹和触地情况；第三阶段引入反向运动学思想，通过制定合理的惩罚策略，将三维的人体网格模型拟合到三维骨骼上，以更真实地刻画运动序列。本发明显著地提升重建出的人体模型与输入的RGB图像的对齐程度，并且更加真实地估计双脚与地面的接触情况，视觉上有明显的提升。

技术领域

本发明属于计算机软件技术领域，涉及单目相机下的人体动作捕捉技术。具体为在一个相机位置固定的场景中，基于单目RGB视频上预测人体关节的三维旋转量，进而驱动参数化三维人体模型的方法。

背景技术

动作捕捉(Motion Capture)是一种新兴的动画技术，在准确地估计人的动作的同时生成相对应的虚拟资产动作动画。如今这项技术在娱乐、体育、医疗等领域有着广泛应用。其中，单目动作捕捉技术由于对设备的要求低，部署简单，极大地降低了使用门槛，因此拥有更大的市场。随着深度学习技术的发展，单目动作捕捉技术的精度不断地得到提升。SMPL(Skinned Multi-Person Linear Model)是一种基于顶点的人体三维模型，能够精确地表示人体的不同形状和姿态，SMPL模型含有24个关节点，包括23个关节点和1个根节点。

在深度学习领域，现有的单目动作捕捉方法根据阶段状态可以分为两大类。第一类是单阶段的方法，如HMR、PyMAF，这类方法使用神经网络从原始的RGB输入中端到端地回归人体模型所需的姿态旋转参数，流程中没有显式的中间状态与中间监督。但是从原始图片到抽象的模型参数的映射是高度非线性的，这导致预测的结果往往与图片对齐得不够精准。第二类是多阶段的方法，如NBF、Pose2Mesh，这类方法通过分解任务来降低网络每一步的拟合难度，网络逐步地输出些中间表达，如人体关节点，并在此基础上继续预测直至得到目标结果。由于多阶段方法中的每个阶段将上一阶段的输出值作为输入进行预测，因此预测误差会逐阶段累计。

此外，现有的动作捕捉方法多是基于图像的，对于单目视频输入，基于图像的方法只能逐帧进行预测，由于无法提取并利用时序信息，估计出的视频结果往往会有抖动，且对遮挡敏感。此外，主流方法采用的是弱透视投影相机，即假设相机离人很远，忽略了人体自身的深度，这与真实场景不符，无法表现透视投影的特性。并且，主流的回归网络简单地略去对人与环境的接触的监督，容易导致视觉上的不一致与不真实。

发明内容

本发明要解决的问题是：现有的单目视频动作捕捉方法采用的深度学习方案精度不能满足需求，另一方面现有动作捕捉方法基于图像，未考虑视频的时序信息及场景深度信息，也会影响动作捕捉的有效性及捕捉结果的准确性。

本发明的技术方案为：基于单目视频的多阶段人体动作捕捉方法，对于固定相机情境下拍摄的单目RGB视频，将人体动作捕捉分为多个阶段：第一阶段对输入的单目视频逐帧进行人体姿态检测，估计二维的人体关键点，并构建三维人体模型SMPL的相机坐标系下的局部空间；第二阶段利用深度学习方法来获取视频序列中的空间与时序信息，学习从视频帧图像二维的人体关键点到相机空间中的三维人体关节点的映射关系，并检测感知人体在三维空间中的运动轨迹和触地情况；第三阶段根据反向动力学，通过制定惩罚策略，将三维的人体网格模型拟合到三维骨骼上，以刻画运动序列，实现动作捕捉。