[发明专利]卷积神经网络的训练方法、手势识别方法、装置及设备

权利要求书

1.一种卷积神经网络的训练方法，其特征在于，包括：

获取待训练手势图像；

根据Mask R-CNN目标检测对所述手势图像进行分割提取，以获取所述手势图像中各个手势对应的关键点坐标；

对每一所述关键点，根据所述关键点的可视性进行相应标识，以得到标识后的特征信息，其中，所述特征信息包括所述关键点坐标和相应的可视性标志；

对每一所述手势图像，基于流形学习算法对所述标识后的特征信息进行降维，获取降维后特征点分布图像；

对每一所述特征点分布图像，根据所述特征点分布图像中相应特征点的组合，获取手势语义标注后的手势指令标签；

根据所述特征点分布图像与相应的所述手势指令标签，对初始卷积神经网络进行卷积神经网络训练，获取训练完成的卷积神经网络。

2.根据权利要求1所述的卷积神经网络的训练方法，其特征在于，所述根据所述特征点分布图像与相应的所述手势指令标签，对初始卷积神经网络进行卷积神经网络训练，获取训练完成的卷积神经网络包括：

将所述特征点分布图像输入所述初始卷积神经网络，通过所述初始卷积神经网络中的分类器进行手势识别，输出识别结果；

根据所述识别结果及相应的所述手势指令标签，利用反向传播算法调整所述初始卷积神经网络的参数，以获取训练完成的卷积神经网络。

3.根据权利要求1所述的卷积神经网络的训练方法，其特征在于，所述获取待训练手势图像包括：

获取训练样本；

对所述训练样本进行图像预处理，以得到待训练手势图像，其中，所述待训练手势图像为二值化图像。

4.根据权利要求3所述的卷积神经网络的训练方法，其特征在于，所述对每一所述手势图像，基于流形学习算法对所述标识后的特征信息进行降维，获取降维后特征点分布图像包括：

对每一所述手势图像，基于流行学习算法中的局部保留映射对所述标识后的特征信息进行降维，获取降维后特征点分布图像。

5.根据权利要求3所述的卷积神经网络的训练方法，其特征在于，所述根据Mask R-CNN目标检测对所述手势图像进行分割提取，以获取所述手势图像中各个手势对应的关键点坐标包括：

对所述手势图像进行轮廓提取，以获取所述手势图像中的手势候选区域；

采用包围盒对所述手势候选区域进行手势包围，以获取手势预测区域；

根据Mask R-CNN目标检测对所述手势预测区域进行关键点检测，以获取所述手势图像中各个手势对应的关键点坐标。

6.一种基于卷积神经网络的手势识别方法，其特征在于，包括：

获取训练完成的卷积神经网络；其中，所述训练完成的卷积神经网络根据特征点分布图像与相应的手势指令标签，对初始卷积神经网络进行卷积神经网络训练；其中，所述手势指令标签为根据所述特征点分布图像中相应特征点的组合，获取手势语义标注后的手势指令标签，其中，所述特征点分布图像为基于流形学习算法对待训练手势图像中标识后的特征信息进行降维得到的，其中，所述特征信息包括基于Mask R-CNN目标检测对所述待训练手势图像进行分割得到的关键点坐标，和对所述关键点坐标进行可视性标识后的可视性标志；

获取经过降维后的预测手势图像；

根据所述训练完成的卷积神经网络，对所述预测手势图像进行识别，得到相应的手势识别指令。