[发明专利]一种3D人体姿态估计模型的构建方法及其应用

权利要求书

1.一种3D人体姿态估计模型的构建方法，其特征在于，包括以下步骤：

S1、搭建3D人体姿态估计模型；所述3D人体姿态估计模型包括M个特征提取模块和与各所述特征提取模块相连的特征融合模块；M大于或等于2；

M个所述特征提取模块用于对输入的人体2D骨架时序数据在M个不同感受野大小上进行时域卷积和图卷积，以提取其在时间维度上的运动特征和在空间维度上的空间结构特征，从而得到M个不同尺度的时空特征；所述人体2D骨架时序数据为Q帧人体各关节点的2D位置数据；Q大于或等于2；

所述特征融合模块用于将所述M个不同尺度的时空特征进行融合，得到人体各关节点3D位置的预测值；

S2、以最小化人体各关节点3D位置的预测值与真实值之间的差异以及最小化估计到的左右对称的关节长度的差异为目标，采用预采集好的训练集训练所述3D人体姿态估计模型；其中，所述训练集中的训练样本包括2D骨架时序数据及其对应的各关节点的3D位置数据。

2.根据权利要求1所述的3D人体姿态估计模型的构建方法，其特征在于，第一个特征提取模块包括级联的第一时域卷积单元、图卷积单元和第二时域卷积单元；

第M个特征提取模块的输入端与第M-1个特征提取模块中的图卷积单元的输出端相连；所述第M个特征提取模块包括级联的第一时域卷积单元、图池化单元和图卷积单元；

当M大于或等于3时，第i个特征提取模块的输入端与第i-1个特征提取模块中的图卷积单元的输出端相连；所述第i个特征提取模块包括级联的第一时域卷积单元、图池化单元、图卷积单元和第二时域卷积单元；i＝2,3,…,M-1。

3.根据权利要求2所述的3D人体姿态估计模型的构建方法，其特征在于，所述第一个特征提取模块用于对输入的人体2D骨架时序数据依次进行时域卷积、图卷积和时域卷积操作，得到第一个尺度的时空特征，输出至所述特征融合模块；并将其中进行图卷积操作后的中间时空特征输出至下一个特征提取模块；

所述第M个特征提取模块用于对输入的中间时空特征依次执行时域卷积、图池化和图卷积操作，得到第M个尺度的时空特征，并输出至所述特征融合模块；

当M大于或等于3时，所述第i个特征提取模块用于对输入的中间时空特征依次执行时域卷积、图池化、图卷积和时域卷积操作，得到第i个尺度的时空特征，输出至所述特征融合模块；并将其中进行图卷积后的中间时空特征发送至第i+1个特征提取模块。

4.根据权利要求3所述的3D人体姿态估计模型的构建方法，其特征在于，所述第M个特征提取模块中的图池化方法包括：直接对中间时空特征进行时域卷积后的结果进行Topk池化操作；

当M大于或等于3时，所述第i个特征提取模块中的图池化方法包括：将人体关节按照四肢、头部和躯干进行分组，对每组关节所对应的中间时空特征进行时域卷积后的结果分别进行Topk池化操作；

其中，k取值为1。

5.根据权利要求1-4任意一项所述的3D人体姿态估计模型的构建方法，其特征在于，所述特征融合模块用于从j＝M开始进行时空特征融合操作；具体为：对第j个尺度的时空特征与第j-1个尺度的时空特征进行融合，并将第j-1个尺度的时空特征更新为融合后的结果；令j＝j-1，重复上述时空特征融合操作，直至j＝1，得到更新后的第一个尺度的时空特征后对其进行图卷积操作，得到人体各关节点3D位置的预测值。

6.根据权利要求5所述的3D人体姿态估计模型的构建方法，其特征在于，所述对第j个尺度的时空特征与第j-1个尺度的时空特征进行融合的方法包括：对所述第j个尺度的时空特征进行上采样后执行图卷积操作，使得其大小与所述第j-1个尺度的时空特征的大小相同后，将二者进行加和。