[发明专利]一种基于三目的无标记点视觉运动捕捉方法

说明书

该发明公开了一种基于三目的无标记点视觉运动捕捉方法，属于计算机视觉领域。与已有的vicon系统相比，提出的方法只需要3个视觉相机捕捉视频序列，仅需测试者穿上紧身的衣裤，无需在人体上贴反光标记；获得人体运动不只是关节点的运动，而是整个人体形状的运动。本发明洗现有技术相比，提高了性能、可靠性、降低了成本、简化了工艺。本发明的技术需要的硬件设备相机更少；现有技术通常捕获的动作为3维的点，而本发明捕获的为3D的网格，包含人体的体型和姿态。

技术领域

本发明属于计算机视觉领域，特别是基于三目的无标记点视觉运动捕捉方法。

背景技术

运动捕捉在影视动画制作等领域有着广泛的需求，通常利用惯性运动传感器和视觉传感器来实现。其中利用惯性运动传感器进行运动捕捉精度较低，利用光学传感器进行运动捕捉精度高。以vicon为代表的光学运动捕捉系统采用4路或6路以上的高速红外摄像机采集贴在人体关节点上的被动发光标记点，利用视觉测量的方法构建人体关节运动三维数据，已经在行业内得到了成熟的应用。为了获得准确完整的人体关节点信息，使用vicon系统必须在人体表面贴上反光球，且必须安装4路以上的高速红外摄像机。安装的红外相机越多，重建的人体运动越准确，受遮挡影响也越小，但成本也越高。除了利用红外摄像机捕捉人体运动，还有诸多方法利用深度传感器来实现人体运动重建。例如已有授权专利“一种基于单个Kinect的简易高效三维人体重建方法”(201610502690X)利用单个的Kinect RGBD传感器实现人体运动捕捉，公开专利“基于骨架跟踪的动态实时三维人体重建方法及系统”(2017114088488)，“一种基于合成深度数据的三维人体重建方法”(2019105400408)均是利用采集的深度图来实现。

发明内容

本发明的目的在于提出一种利用3路相机深度生成人体形状，捕捉人体运动的方法。与已有的vicon系统相比，提出的方法只需要3个视觉相机捕捉视频序列，仅需测试者穿上紧身的衣裤，无需在人体上贴反光标记；获得人体运动不只是关节点的运动，而是整个人体形状的运动。

本发明技术方案为一种基于三目的无标记点视觉运动捕捉方法，该方法包括：

步骤1：从水平的三个方向采集目标视频，这三个方向两两之间夹角相等；

步骤2：从视频图像中提取每一帧中目标的轮廓；

步骤3：建立深度神经网络预测人体形状与姿态；

建立的神经网络结构包括两部分，分别为：轮廓特征提取和人体SMPL模型参数预测；其中轮廓特征提取采用深度残差网络、或U形网络、或叠层沙漏网络；人体SMPL参数模型，该参数模型中人体形状表示为10个形状参数和72个姿态参数，SMPL模型参数预测采用多层感知机或误差迭代网络；轮廓特征提取采用叠加的双层沙漏网络与深度残差网络的组合，人体SMPL模型参数预测采用误差迭代网络；叠加的双层沙漏网络中输出2D关节点分别为P₀,P₁，采用P_gt作为中间监督信息，人体参数预测输出为人体体型参数向量人体姿态参数人体相对于三相机视野中心偏移量

步骤4：训练深度神经网络；

训练的目标函数如下：