[发明专利]一种基于惯性传感器与多功能相机的多人姿态估计方法

权利要求书

1.一种基于惯性传感器与多功能相机的多人姿态估计方法，其特征在于，包括以下步骤：

S1，对多目标人物进行红外油墨标注；

S2，拍摄获取多视角图像；

S3，重建出人体3D姿态；

S4，优化得到所有目标人物的精确3D姿态。

2.根据权利要求1所述的一种基于惯性传感器与多功能相机的多人姿态估计方法，其特征在于，所述步骤S1包括以下步骤：

S11，在人体的各关节都分别放置惯性传感器，对惯性传感器的加速度计、三轴陀螺仪和磁力计校准并设定频率；

S12，对多功能相机标定获取内参和外参，构建世界坐标系；

S13，对多目标人物使用红外油墨对其进行不同的标注。

3.根据权利要求1所述的一种基于惯性传感器与多功能相机的多人姿态估计方法，其特征在于，所述步骤S2包括以下步骤：

S21，通过多功能相机的同步拍摄，获得每一时刻的多视角图像；

S22，通过惯性传感器获取加速度和角速度信息。

4.根据权利要求1所述的一种基于惯性传感器与多功能相机的多人姿态估计方法，其特征在于，所述步骤S3包括以下步骤：

S31，根据多视角图像重建出人体3D姿态；

S32，根据惯性传感器信息，计算出对应关节的朝向信息。

5.根据权利要求1所述的一种基于惯性传感器与多功能相机的多人姿态估计方法，其特征在于，所述步骤S4包括以下步骤：

S41，根据目标人物与红外标签的匹配关系以及惯性传感器与红外标签的匹配关系，得到目标人物与惯性传感器的匹配关系，进而得到该目标人物对应关节的朝向信息；

S42，对每一个目标人物，融合其关节朝向与3D关节点位置信息，优化得到其完整的3D姿态。

6.根据权利要求4所述的一种基于惯性传感器与多功能相机的多人姿态估计方法，其特征在于，所述步骤S31包括以下步骤：

S311，对输入的多视角图像，使用卷积神经网络检测出人体二维关节点位置以及目标人物对应的红外油墨标签；

S312，通过多个多功能相机极线约束得到各个视角间的二维姿态匹配关系，匹配关系如下：

其中，表示t时刻的二维检测的关节点坐标，代表多功能相机V的pseudo-inverse矩阵，是多功能相机v的成像中心，符号～代表齐次坐标；

S313，在多个多功能相机所构成的世界坐标系下利用三角化重建出目标人物的3D关节点位置，具体如下：

其中，w为关节点预测置信度，A为相机参数与关节点二维坐标组成的矩阵，为要求解的三维关节点坐标。

7.根据权利要求5所述的一种基于惯性传感器与多功能相机的多人姿态估计方法，其特征在于，所述步骤S42包括以下步骤：

S421，对于每个目标人物，给定其关节朝向信息以及3D关节点位置信息；

S422，建立人体运动学模型；

S423，根据运动学模型，优化其运动学参数，使得根据运动学参数计算出的3D姿态中，关节点的位置与关节朝向和给定的位置与朝向偏差最小。