[发明专利]一种基于人体形状与姿态估计的动作相似度评价方法

说明书

一种基于人体形状与姿态估计的动作相似度评价方法，使用人体形状估计参数与姿态估计参数更准确的描述动态的人体模型，进而使用人体3D蒙皮结构提取真实的人体骨骼坐标位置，代替传统的人体表面骨骼点提取方法；基于这些人体形状参数、姿态参数以及真实人体骨骼坐标位置，构造出对人体动作对比敏感的特征指标，实现准确、智能的动作相似度对比评估方法。该方法对人体形状、姿态、真实骨骼的提取，以及动作相似度的评价更加准确。

技术领域

本发明涉及计算机视觉领域，特别涉及一种人体动作相似度评价方法。

背景技术

随着深度学习技术和高性能计算技术的进步，实时视频的人体姿态评估、行为理解已经成为了目前计算机视觉领域的研究热点。一些研究成果已经成功的应用到了很多领域中，例如抖音尬舞机。在体育视频分析、体育教学等任务中，人体动作评估与相似度评价方法有着广泛的应用前景。

人体行为是由一组时序动作构成，有效的判断标准动作(教练动作)与输入动作(学生动作)差距，是衡量这两个动作相似程度的重要任务。

目前动作相似度评估方法有以下两种方法：

(1)采用RGB相机，使用RGB图像，提取二维骨骼信息，然后设计一些简单的特征指标，使用DTW或欧式距离相似度度量。如专利201810394685.0、201910143782.7。

(2)采用RGB-D相机，使用RGB图像和深度图像，提取三维骨骼信息，然后设计一些简单特征指标，使用DTW或欧式距离相似度度量。如专利201310529096.6、201910338737.7。

根据上述的这些方法可以将人体动作相似度评价过程简述如下：通过一种方法提取人体骨骼，然后手动设计一些简易的差异性特征，然后采用度量的方式比较这些差异性特征，给出相似度评价。

上述第(1)类方法中只采用了二维骨骼信息，二维骨骼信息无法反映真实的物理量，如关节的空间角度等重要的真实信息。另外，二维骨骼信息会因为关节遮挡的问题导致关节丢失或测不到，当缺失了重要骨骼点，则动作评价就会不准确。

第(2)类方法中采用了三维骨骼信息，深度的信息来自于深度图像，当关节被遮挡时，会导致深度图像的深度距离会误测，提取的三维骨骼信息会有极大的误差。例如当手在肢体的后方，这时会测量到肚子的距离，而不是手的距离，这样就会产生一个身体厚度的误差。另外，深度相机测量的深度距离只能测量到表皮的距离，没法测量真实关节点的位置，这样也会产生很大的误差。

发明内容

本公开提供一种基于人体形状与姿态估计的动作相似度评价方法，其能够避免传统人体骨骼点模型对人体骨骼空间位置的测量误差、以及因关节受遮挡而导致的关节点缺失问题，实现对人体动态更准确的描述，进而实现动作相似度的对比评估。

本公开提供的基于人体形状与姿态估计的动作相似度评价方法，包括以下步骤：

采用人体形状与姿态估计模型，分别从待评价视频和标准动作视频中逐帧估计各自的人体形状参数序列和姿态参数序列，得到其形状与姿态特征值序列；

利用所述人体形状参数序列与姿态参数序列，生成3D蒙皮人体模型，然后根据蒙皮生成真实人体的关节点坐标；

根据所述形状与姿态特征值序列，得到待评价视频和标准动作视频之间的人体形状与姿态差异性序列；

根据各帧的所述人体关节点坐标，得到待评价视频和标准动作视频之间的关节位置变化差异性序列和关节速度变化差异性序列；

根据所述人体形状与姿态差异性序列，关节位置变化差异性序列和关节速度变化差异性序列，对待评价视频与标准动作视频之间的动作相似性进行度量。

可选的，所述动作相似度评价方法还包括视频数据预处理的步骤，包括：