[发明专利]一种基于分层卷积神经网络的手势姿态识别方法

权利要求书

1.一种基于分层卷积神经网络的手势姿态识别方法，其特征在于：包括如下步骤：

S1、获取训练数据集与模型预测数据；

S2、将训练数据输入手势姿态估计网络进行学习，输出预测姿态结果；

所述手势姿态估计网络包括手势掩码分割网络、手势初步姿态估计网络和手势分层结构网络；

使用手势掩码分割网络获得手势掩码，并将手势掩码进行融合；

使用手势初步姿态估计网络预测手势关键点热图；将手势关键点热图通过手势分层结构网络分别获得各手指与手掌部分热图，并将手指中的大拇指与手掌部分进行融合，其他各手指之间进行融合，得到手指与手掌两部分姿态信息，最后进行手指与手掌两部分融合成整体的手部姿态信息；

S3、将手势姿态估计网络预测的结果与训练数据集中对应的标签数据进行对比，计算对应的损失值；将所述损失值反馈至手势姿态估计网络中进行参数修正；

S4、将视频帧输入到修正好的手势姿态估计网络，根据视频帧所对应的预测姿态，确定视频帧中目标所对应的手势姿态识别结果。

2.如权利要求1所述的一种基于分层卷积神经网络的手势姿态识别方法，其特征在于，所述手势掩码分割网络主要包括两路结构预测模型，每路结构预测模型包括第一阶段、第二阶段，第一阶段、第二阶段分别采用1*1与5*5、1*1不同的卷积操作，并对输出结果进行二分类，实现手势分割掩码；

每路结构预测模型采用合成的手势掩码作为标签数据，通过交叉熵损失函数，实现手势分割掩码的预测。

3.如权利要求1或2所述的一种基于分层卷积神经网络的手势姿态识别方法，其特征在于，采用VGG19网络结构对手部图像提取不同尺度特征信息，将获得的不同尺度特征信息分别输入到手势掩码分割网络的两路结构预测模型，并把结构预测模型输出的手势分割掩码与VGG19最后一层卷积输出的特征图进行融合，将融合后的信息输入到手势初步姿态估计网络。

4.如权利要求3所述的一种基于分层卷积神经网络的手势姿态识别方法，其特征在于，所述手势掩码分割网络的损失函数L_mask(1,2)为：

其中,t表示结构预测模型的阶段，t₁与t₂分别表示第一、二阶段，第二阶段同时接收第一阶段输出的掩码分割图与VGG19输出的特征图进行再分割；G表示包括各个手指对应的分割图、手掌分割图和整体手部分割图在内的分割图集合；g表示分割图集合中的任意一个；p表示像素点，I表示手部像素集合；S^～(p|g)表示合成的手部分割图；S^(p|g)表示预测的手部分割图。

5.如权利要求4所述的一种基于分层卷积神经网络的手势姿态识别方法，其特征在于，手势初步姿态估计网络包括两个关键点预测模型，每个关键点预测模型包括阶段一与阶段二，阶段一与阶段二分别采用1*1与5*5、1*1不同的卷积操作，并对输出结果进行坐标回归，实现手势初步姿态估计；

手势初步姿态估计网络采用求和均方误差损失函数计算数据集中关键点标签与预测关键点最小损失，来进行手势初步姿态估计网络参数更新；

每个关键点预测模型采用跳跃连接方式；将手部分割图与VGG19输出的特征图分别输入到两个关键点预测模型的阶段一与阶段二，阶段二同时融合来自阶段一的输出结果。

6.如权利要求5所述的一种基于分层卷积神经网络的手势姿态识别方法，其特征在于，所述手势初步姿态估计网络的损失函数L_2d为：

其中，T表示姿态估计的阶段；k表示手部21个关键点中任意关键点；p表示像素点，I表示手部像素集合；C^～(p|k)表示样本手部姿态信息；C_T^(p|k)表示手势初步姿态估计网络预测手势姿态信息；

所述C^～(p|k)表示为：

其中，表示第k个关键点的真实坐标；σ_KCM表示高斯宽度的调节超参数。