[发明专利]基于单目视频的多阶段人体动作捕捉方法、设备及介质

权利要求书

1.基于单目视频的多阶段人体动作捕捉方法，其特征是对于固定相机情境下拍摄的单目RGB视频，将人体动作捕捉分为多个阶段：第一阶段对输入的单目视频逐帧进行人体姿态检测，估计二维的人体关键点，并构建三维人体模型SMPL的相机坐标系下的局部空间；第二阶段利用深度学习方法来获取视频序列中的空间与时序信息，学习从视频帧图像二维的人体关键点到相机空间中的三维人体关节点的映射关系，并检测感知人体在三维空间中的运动轨迹和触地情况；第三阶段根据反向动力学，通过制定惩罚策略，将三维的人体网格模型拟合到三维骨骼上，以刻画运动序列，实现动作捕捉。

2.根据权利要求1所述的基于单目视频的多阶段人体动作捕捉方法，其特征是第一阶段通过预处理模块实现数据预处理，对单目视频逐帧检测二维的人体关键点，并对二维人体关键点序列归一化，另外将三维人体模型SMPL的24个关节点的坐标由世界坐标系转换到相机坐标系，并以根节点为基础，将其他关节点转化为相对于根节点的相对坐标，构建局部空间；同时，通过聚类方法对左右脚关节点高度进行聚类以估计地面的高度，生成左右脚关节的触地标签；第二阶段通过相机校正模块、人体姿态估计模块、人体轨迹估计模块进行姿态估计，人体姿态估计模块用于估计三维人体关节点在局部空间中的位置，根据二维人体关键点序列得到三维人体姿态序列，相机校正模块基于单目视频获取相机的内参和外参，用于获得视频的视角，人体轨迹估计模块用于预测在相机坐标系下的人体位移和触地情况，根据二维人体关键点序列和相机内外参得到三维人体轨迹序列和触地概率；第三阶段通过模型拟合模块，基于反向动力学，综合三维人体姿态序列、三维人体轨迹序列和触地概率进行拟合，获得三维人体模型运动序列。

3.根据权利要求2所述的基于单目视频的多阶段人体动作捕捉方法，其特征是第一阶段的数据预处理包括提取二维人体关键点、转换三维人体关节点、生成触地标签三个子任务：

S11提取二维人体关键点并归一化：对训练集中的原始视频降采样并进行抽帧，将视频帧送入人体姿态检测器中估计出25个二维人体关键点的图像坐标序列T为视频帧数，之后在保持横纵比的情况下，将x轴的坐标由[0,w]归一化到[-1,1]，即其中w,h为视频帧的宽和高；

S12转换三维人体关节点：通过视点变换将三维人体关节点坐标由世界坐标系转换到相机坐标系下以用于监督，记R_cam和T_cam为相机的旋转矩阵和位移量，为三维人体模型SMPL的24个关节点在世界坐标系下的位置坐标，转换公式为：其中P表示在相机坐标系下人体的三维关节点的空间坐标；最后，保留根节点在相机坐标系中的空间位置坐标，将其他关节点的三维坐标减去根节点的三维坐标，转化为相对于根节点的相对坐标，即P[:,1:]＝P[:,1:]-P[:,:1]，三维轨迹的真值为根节点在相机坐标系下的三维坐标序列，即traj＝P[:,:1]，根节点的深度为depth＝traj[:,:,2]，其中[:]表示沿对应维度的切片操作；

S13生成二分类触地标签：对于三维关节点序列，首先相邻两帧做差来计算关节点的位移速度，若节点的速度小于设定阈值，则认为在此帧中该关节处于静止状态，之后使用机器学习中的DBSCAN方法对静止的左、右脚关节的高度进行聚类，以最小的中位数减去一个偏移常量作为地面的高度，对于左脚、右脚、左脚踝、右脚踝、左膝、右膝、左手腕、右手腕八个关节点，如果速度小于设定阈值，并且关节与地面的高度差在设定范围内，则认为该关节点处于触地状态，触地标签置为1。