[发明专利]卷积神经网络的训练方法、手势识别方法、装置及设备

说明书

本发明公开了一种卷积神经网络的训练方法，首先获取待训练手势图像；根据Mask R‑CNN目标检测对手势图像进行分割提取，以获取所述手势图像中各个手势对应的关键点坐标；对每一关键点，根据关键点的可视性进行相应标识，以得到标识后的特征信息，其中，特征信息包括关键点坐标和相应的可视性标志；对每一手势图像，基于流形学习算法对所述标识后的特征信息进行降维，获取降维后特征点分布图像；对每一特征点分布图像，根据特征点分布图像中相应特征点的组合，获取手势语义标注后的手势指令标签；根据所述特征点分布图像与相应的手势指令标签，对初始卷积神经网络进行卷积神经网络训练，获取训练完成的卷积神经网络，简化了处理的复杂度，提高了处理效率。

技术领域

本发明涉及信息处理技术领域，尤其涉及一种卷积神经网络的训练方法、手势识别方法及装置。

背景技术

当前，人机交互技术已经从以计算机为中心逐步转移到以用户为中心，是多种通道、多种媒体的交互技术。手势是一种自然、直观、易于学习的人机交互手段。从传统的鼠标、键盘输入到现在的红外、无线等，转为以人手直接作为计算机的输入设备，人机间的通讯将不再需要中间的媒体，用户可以简单地定义一种适当的手势来对周围的机器进行控制。这使得人机交互变得更加的方便、丰富。目前，较为活跃的人机交互主要包括语音识别、人脸识别、体态识别、手势识别、虚拟现实、增强现实等等。基于人手交互的产品越累越多，比如基于摄像头的手写汉字系统、基于手势交互的PPT控制系统、基于人手交互的增强现实系统等已经在日常生活中流传开来，以人为中心的人机交互技术正经历一个井喷式的发展阶段。

手势识别目的是通过数学算法来识别人类手势。手势可以源自任何身体运动或状态，但通常源自面部或手。本领域中的当前焦点包括来自面部和手势识别的情感识别。用户可以使用简单的手势来控制或与设备交互，而无需触碰到设备。手势识别可以被视为计算机理解人体语言的方式，从而在机器和人之间搭建比原始文本用户界面或甚至GUI(图形用户界面)更丰富的桥梁。手势识别使人们能够与机器(HMI)进行通信，并且无需任何机械设备即可自然交互。使用手势识别的概念，可以将手指指向计算机屏幕，使得光标相应地移动。

发明人在实施本发明实施例时，发明人发现现有技术中，手势是人手或者手和手臂结合所产生的各种姿势和动作，在高维观测空间中要对手势进行识别跟踪，则要处理的手势特征信息很多，在初期进行手势识别训练或后期进行手势识别时，往往会因为手势特征的信息数据太多，导致处理的复杂度高，处理效率不高。

发明内容

有鉴于此，本发明实施例提供一种卷积神经网络的训练方法、手势识别方法及装置，能降低手势识别处理的复杂度，提高处理效率。

第一方面，本发明实施例提供了一种卷积神经网络的训练方法，包括如下步骤：

获取待训练手势图像；

根据Mask R-CNN目标检测对所述手势图像进行分割提取，以获取所述手势图像中各个手势对应的关键点坐标；

对每一所述关键点，根据所述关键点的可视性进行相应标识，以得到标识后的特征信息，其中，所述特征信息包括所述关键点坐标和相应的可视性标志；

对每一所述手势图像，基于流形学习算法对所述标识后的特征信息进行降维，获取降维后特征点分布图像；

对每一所述特征点分布图像，根据所述特征点分布图像中相应特征点的组合，获取手势语义标注后的手势指令标签；

根据所述特征点分布图像与相应的所述手势指令标签，对初始卷积神经网络进行卷积神经网络训练，获取训练完成的卷积神经网络。

在第一方面的第一种可能实现方式中，所述根据所述特征点分布图像与相应的所述手势指令标签，对初始卷积神经网络进行卷积神经网络训练，获取训练完成的卷积神经网络包括：