[发明专利]基于深度信息的手势识别机器学习方法及系统

权利要求书

1.一种基于深度信息的手势识别机器学习方法，其特征在于，包括以下步骤：

获取多种场景下的若干幅手势深度图像构成样本集，并对手势深度图像中的手势位置和手势类型进行标记；

构造时间+空间的多层卷积网络，并基于样本集进行训练，且训练过程中，利用预定义的关节间的链接矩阵，对卷积网络的手势模型进行权重传播。

2.根据权利要求1所述的基于深度信息的手势识别机器学习方法，其特征在于，训练过程中，上层关节链正向传播到下一层卷积网络。

3.根据权利要求1所述的基于深度信息的手势识别机器学习方法，其特征在于，还包括步骤：对获取的手势深度图像进行随机剪裁，并对剪裁后的图像中的手势位置和手势类型进行标记，并作为扩充样本存入样本集中。

4.根据权利要求1所述的基于深度信息的手势识别机器学习方法，其特征在于，所述时间+空间的多层卷积网络的卷积层数大于等于2。

5.根据权利要求2所述的基于深度信息的手势识别机器学习方法，其特征在于，上一层关节链正向传播到下一层卷积网络时，通过如下公式进行传播，其中，i表示特征图的层次，M表示与J_k相关联的关节数量，w表示相应的权重，T表示手势的时间周期。

6.根据权利要求1所述的基于深度信息的手势识别机器学习方法，其特征在于，所述关节间的链接矩阵基于手部骨架模型而定义，所述手部骨架模型包括21个关节及关节之间的连接。

7.一种基于深度信息的手势识别机器学习系统，其特征在于，包括：

图像收集模块，利用ToF相机采集多种场景下的若干幅手势深度图像；

样本构造模块，用于采集的对手势深度图像中的手势位置和手势类型进行标记，标记后的手势深度图像构成样本集；

模型训练模块，用于构造时间+空间的多层卷积网络，并基于样本集进行训练，且训练过程中，利用预定义的关节间的链接矩阵，对卷积网络的手势模型进行权重传播。

8.根据权利要求7所述的基于深度信息的手势识别机器学习系统，其特征在于，所述模型训练模块在训练过程中，上层关节链正向传播到下一层卷积网络。

9.一种电子设备，其特征在于，包括：

存储器，用于存储程序指令；

处理器，用于与所述存储器相连接，执行存储器中的程序指令，实现权利要求1-6任一所述基于深度信息的手势识别机器学习方法中的步骤。

10.一种包括计算机可读指令的计算机可读存储介质，其特征在于，所述计算机可读指令在被执行时使处理器执行权利要求1-6任一所述基于深度信息的手势识别机器学习方法中的操作。