[发明专利]一种基于深度学习的手势识别方法

说明书

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于深度学习的手势识别方法。

背景技术

手势是一种自然、直观、简洁的人机交互方式。手势识别是根据计算机摄取的视频图像，用图像处理、模式识别等技术，识别与理解图像中的特定手势及其含义，完成计算机、家用电器等的操作与控制。手势识别技术在人机交互、移动终端、信息家电、娱乐游戏等领域具有广泛应用。在通常的手势识别系统中，在进行识别分类前，要经过手势特征提取这个环节，由于手势特征的提取要满足旋转、平移和尺度不变性的特点，因此所选用的特征非常有限，这也限制了手势识别系统的识别准确率。同时由于传统手势识别中所用的分类器，例如支持向量机(SVM)、Boosting、Logistic回归等，这些模型的结构基本上可以看成只含有一个隐含层，或者是没有隐含层，这些模型属于浅层学习模型，对数据的学习能力和认知能力都有限。

董立峰在文献《基于Hu矩和支持向量机的静态手势识别及应用》中提出了选用Hu矩作为待识别手势的特征，Hu矩具有不随图像旋转、平移和尺度变化而改变的特性；然后在手势识别阶段，使用支持向量机对手势进行分类，对10种不同的静态手势进行识别，识别正确率可达93％，但是该方法具有以下缺陷：1、需要提取手势特征做为分类器的输入，在选择特征时有较大的局限性；2、选取的特征比较单一，影响手势分类识别效果；3、支持向量机属于浅层的学习机，相比深度学习这种深层次的分类器，其分类效果相对较差；4、针对10种不同的手势，其识别率还不高，有待提升。

张中甫在文献《基于深度信息的手势识别研究及应用》中通过使用微软公司的3D体感摄像Kinect设备来获取图像的深度信息，根据手势深度信息来分割图像中的手势，然后用粒子滤波算法对手势进行跟踪与识别。该方法具有以下缺陷：1、用特殊的视频输入设备来获取手势图像及其深度信息，此种设备价格相对较贵，成本较高；2、计算手势深度信息的算法比较复杂，计算复杂度较高，耗时较长。

发明内容

根据现有技术存在的问题，本发明公开了一种基于深度学习的手势识别方法，具体包括以下步骤：

S1：对采集到的手势图像采用中值滤波方法对图像进行降噪处理，采用灰度世界色彩均衡方法消除手势图像中的色彩偏移现象；

S2：采用帧间差分方法和颜色特征检测法锁定手势在图像中的所在区域，采用CamShift算法对手势进行跟踪；

S3：对手势图像进行基于YCgCr色彩空间的二维高斯建模和手势图像的二值化处理：对手势图像进行灰度直方图统计，从统计的图像灰度直方图中，根据某灰度值出现的概率密度获取手势目标；

S4：对S3中手势目标图像进行深度学习：将手势目标图像的数据信息构造成数据立方体的形式，建立深度信念网络模型，将含有手势信息的数据立方体形式的目标图像数据，输入深度信念网络模型，进行逐层训练和微调，获取整个深度信念网络连接权值和偏置参数；

S5：将获取的待识别手势图像按照步骤S1、S2和S3处理后，构造成数据立方体的形式，并输入S4中训练完成的深度信念网络模型，完成手势的识别分类。

由于采用了上述技术方案，本发明提供的基于深度学习的手势识别方法不需要传统手势识别系统的手势特征提取模块，可解决手势特征选取的难题；将手势的二值图像作为深度学习网络的输入，这比输入灰度图像的算法显著地降低了计算量，大幅度节省了图像训练时间；通过在YCgCr色彩空间内对手势进行高斯建模，可使手势图像分割效果好，获得良好的手势二值图像，能提高系统识别准确率；采用肤色与帧间差分相结合的方法进行手势检测，能快速准确地获取手势所在位置，提高手势检测效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明手势识别方法的流程图；

图2为本发明中采用CamShift跟踪算法对手势进行跟踪的流程图；

图3为本发明中手势图像数据整合为二维矩阵的示意图；

图4为本发明中手势图像数据立方体的示意图；

图5为本发明中深度信念网络模型的结构示意图；

图6为本发明中训练深度信念网络模型的流程图；

图7为本发明中三层深度信念网络模型的结构示意图；

图8为本发明中Gibbs采样过程的示意图；