[发明专利]一种基于三目的无标记点视觉运动捕捉方法

权利要求书

1.一种基于三目的无标记点视觉运动捕捉方法，该方法包括：

步骤1：从水平的三个方向采集目标视频，这三个方向两两之间夹角相等；

步骤2：从视频图像中提取每一帧中目标的轮廓；

步骤3：建立深度神经网络预测人体形状与姿态；

建立的神经网络结构包括两部分，分别为：轮廓特征提取和人体SMPL模型参数预测；人体SMPL参数模型，该参数模型中人体形状表示为10个形状参数和72个姿态参数，SMPL模型参数预测采用多层感知机或误差迭代网络；轮廓特征提取采用叠加的双层沙漏网络与深度残差网络的组合；叠加的双层沙漏网络中输出2D关节点分别为P₀,P₁，采用P_gt作为中间监督信息，人体参数预测输出为人体体型参数向量人体姿态参数人体相对于三相机视野中心偏移量

步骤4：训练深度神经网络；

训练的目标函数如下：

其中，λ_reg,λ_p,λ_β,λ_θ分别为2D关节点误差权重，骨架反投影误差权重，SMPL体型参数误差权重和SMPL姿态参数误差权重；表示三维关节点集合，表示三维关节点个数，Γ(·)表示人体的SMPL模型关节点映射函数；P₀,P₁分别是网络中间部分预测的2D关节点，P_gt为2D关节点的真值，i表示第i个关节点，由于存在三个视角这里将三个视角的向量，合并后P_gt长度为表示由SMPL参数模型生成的人体网格；c表示相机的编号，Π_c表示相机编号为c的相机投影函数；

步骤5：利用步骤4训练的人体形状生成网络针对单帧进行人体形状计算，再对计算得到的单帧人体形状进行防穿模计算，得到单帧的人体形状；然后在时间序列下多帧连续处理；

其特征在于，所述步骤5中在时间序列下多帧连续处理过程中采用如下优化函数进行优化；

设相机的帧率FPS≥F,F为阈值，视人体在帧与帧之间的运动为匀速运动，针对位于滑动窗口中的帧，滑动窗口大小为2N+1；优化函数中，D_c为编号为c相机下二值轮廓图像，t_j表示第j时刻，为t_j时刻编号为c相机下二值轮廓图像；Π_c为编号为c的相机投影模型，投影后结果为二值轮廓图像；为t_j时刻SMPL的姿态参数，为t_j时刻相对于相机中心位置的偏移量；代表t_j时刻位于第p个关节点的球体半径；N(b)为第b关节点的邻接关节点集合；d(·)为距离函数。