[发明专利]一种基于二维图像的手骨骼捕捉、手势判别方法

权利要求书

1.一种基于二维图像的手骨骼捕捉、手势判别方法，其特征在于，包括以下步骤：

步骤一、采集包含手部信息的二维图像作为数据集，并对二维图像中的手部信息进行标注，得到数据标签；然后对数据标签进行数据处理，并从中随机选取50％的数据作为训练数据集，剩余50％的数据作为测试数据集；

步骤二、基于深度学习方法，构建手部检测网络结构，并训练数据，生成手部检测模型；

步骤三、基于深度学习方法，构建关键点定位网络结构，并训练数据，生成关键点定位模型；

步骤四、实时获取视频流作为数据输入；

步骤五、将步骤四中获取的视频流中带手部信息的二维图像输入步骤二中的手部检测模型中，进行前向计算，得到手的位置、正反面类别及角度信息；

步骤六、使用步骤五得到的手的位置信息，截取视频流中手部位的二维图像，并根据步骤五得到的手的角度信息对手部位的二维图像进行旋转矫正；

步骤七、将步骤六得到的旋转矫正后的二维图像输入步骤三中的关键点定位模型，进行前向计算，得到手骨骼关键点位置信息，并获得手骨骼轮廓；

步骤八、根据步骤七得到的手骨骼关键点位置信息，使用凸包算法计算手骨骼关键点中的边缘点，结合步骤五取得的手部位置、正反面类别及角度信息，确定不同手势的判别规则，对应该判别规则直接对手势进行判别。

2.如权利要求1所述的基于二维图像的手骨骼捕捉、手势判别方法，其特征在于，所述步骤二中，训练数据时，从手部检测网络结构的输入端输入步骤一所采集的二维图像，输出端会得到一个手部轮廓的预测结果，与数据标签相比较得到一个误差，将这个误差在手部检测模型的每一层迭代中反向传播，直至训练到手部检测模型收敛或达到预设效果，测试数据集的检测结果达到95％以上的准确率，停止训练，生成符合预设要求的手部检测模型。

3.如权利要求1所述的基于二维图像的手骨骼捕捉、手势判别方法，其特征在于，所述步骤二中构建的手部检测网络结构是一种基于SSD目标检测网络改进后的目标检测网络结构,通过增加损失函数的方法，构建带角度的手部检测网络结构。

4.如权利要求1所述的基于二维图像的手骨骼捕捉、手势判别方法，其特征在于，所述步骤三中，训练数据时，从关键点定位网络结构的输入端输入步骤二中数据处理后的二维图像，输出端会得到一个手部轮廓的预测结果，与数据标签相比较得到一个误差，将这个误差在关键点定位模型中的每一层迭代中反向传播，直至关键点定位模型收敛或达到预设效果，测试数据集的检测结果与数据标签的欧式距离小于0.003，停止训练，生成符合预设要求的关键点定位模型。

5.如权利要求1所述的基于二维图像的手骨骼捕捉、手势判别方法，其特征在于，所述步骤三中，关键点定位网络结构是一种回归模型，采用欧式损失回归手骨骼21个关键点的坐标。

6.如权利要求1所述的基于二维图像的手骨骼捕捉、手势判别方法，其特征在于，所述步骤四中，使用可见光摄像头，并通过RTSP实时获取视频流；或者直接读取本地视频获取视频流。

7.如权利要求1所述的基于二维图像的手骨骼捕捉、手势判别方法，其特征在于，所述步骤八中，判别规则设定时以手骨骼关键点中的边缘点为主，以手部位置、正反面类别及角度信息作为辅助判定依据。

8.如权利要求1-7中任意一项所述的基于二维图像的手骨骼捕捉、手势判别方法，其特征在于，所述步骤一中，对二维图像中的手部信息进行标注分为两种类型，一种用于手部检测，一种用于手骨骼关键点定位；其中，手部检测的标注工具使用矩形框作为标注工具，将二维图像中的手部信息标注出来，手部信息包括手的最小外接旋转矩形的四点坐标、手的平面旋转角度以及手的正反面类别标签；手骨骼关键点定位捕捉的标注工具的标注方式为点标注，依次定义21个手骨骼关键点，其中任意两点不重叠，标注信息包括21个手骨骼关键点的序号及其坐标。

9.如权利要求8所述的基于二维图像的手骨骼捕捉、手势判别方法，其特征在于，所述步骤一中，所述步骤三中，在训练手骨骼关键点定位网络结构之前，对数据进行矫正处理，其具体方法为：根据手的最小外接旋转矩形的四点坐标将二维图像中手的部位提取出来，进行旋转矫正，矫正后得到仅包含手部分的矩形图像；其中，需同时对手骨骼关键点的坐标进行相应变换。