[发明专利]一种基于双目视觉的人体姿态高精度识别方法

权利要求书

1.一种基于双目视觉的人体姿态高精度识别方法,其特征在于包括：

将双目摄像机采集到的人体姿态左右两图作为输入，通过两套Blaze Pose算法，剔除关键点相对于拍摄点的距离(即Z坐标)，仅输出33个人体骨骼关键检测点基于真实像素的二维坐标(即X、Y坐标)；

将二维坐标点输入视差计算算法，得到基于视觉修正的人体关键点的空间深度坐标(关键点相对于拍摄点的距离，即Z'坐标)；

最后将作为输入的二维坐标(X、Y坐标)和输出的空间深度坐标(Z'坐标)进行融合，得到基于真实像素的三维人体姿态坐标。

2.根据权利要求1所述的将采集到的人体姿态左右两图转换为33个人体骨骼关键检测点的二维坐标,其特征在于运用两套Blaze Pose算法进行实现，包括：

Blaze Pose算法将涉及到关键点的关节生成热图，以及细化每个关键点的偏移量；

然后在前期训练阶段使用热图和偏移量，但在运行推理之前丢弃热图和偏移量的输出层，再进入回归编码器网络，并且在达到一定梯度时，会在回归编码器的梯度中停止梯度传播；

计算各个关键点投影至摄影平面上相对于图像边缘的坐标矩阵[X,Y]，其中：分别为人体关键点相对于图像底部和左侧边缘的坐标向量。

3.根据权利要求1所述的得到人体关键点的空间深度坐标，其特征在于采用视差修正算法，包括：

读取输出结果中的X、Y坐标；

针对相对于同一人体姿态的两套二维坐标：[X_left,Y_left]和[X_right,Y_right]，其中下标“left”和“right”分别表示左侧和右侧相机所输出图像的坐标估计结果，通过匹配各个关键点的二维坐标和其中i∈[1,33]，得到相同关键点在两套坐标上的差异，即视差；

采用的Point Grey Bumblebee 2双目立体相机为平行成像，且输出图像已经由相机内置算法进行畸变矫正；

在这个基础上，在双目立体相机拍摄的两张图像上以各自图像左下角为原点的坐标为和则相对于左侧图像左下角的焦点位置，其垂直于成像平面的距离可由下式计算得出：

其中：f表示相机焦距，b表示两相机之间的焦点距离，μ表示所拍摄图像的单位像素尺寸。

4.根据权利要求1所述的得到基于真实像素的三维人体姿态坐标，其特征在于基于包括二维坐标(X、Y坐标)和空间深度坐标(Z'坐标)进行融合，包括：

根据关键点的成像坐标和深度距离计算人体关键的空间坐标；

以双目立体相机焦点连线的中点为空间坐标原点；

以平行于两焦点连线的线为x轴线；

以平行于摄影平面且垂直于焦点连线的线为y轴；

以垂直于摄影平面的连线为z轴，空间坐标计算可以分别表示为：

z′＝z

式中：h表示摄像机距离地面的高度。在双目摄像机架设时，我们总是保证拍摄平面垂直于地面，因此有