[发明专利]一种结合深度信息与肤色信息的静态手势识别方法

说明书

本发明公开了一种结合深度信息与肤色信息的静态手势识别方法，包括如下步骤：用kinect采集RGB图像及深度图像；利用深度阈值和人体肤色信息进行手部分割，得到手部二值图像；采用距离变换操作并结合手掌切割圆及阈值方法，判断手部图像中是否存在手臂区域，通过图像间的异或操作去除存在的手臂区域，得到手势二值图像；计算傅里叶描述子和指尖个数，构成手势的特征向量；利用支持向量机进行手势分类，达到手势识别的目的。本发明通过结合深度信息与肤色信息实现手部分割，克服复杂背景中类肤色区域的影响；通过去除手臂区域，克服手臂对系统的分类准确性的干扰；计算指尖个数和傅里叶描述子特征，并输入支持向量机中实现手势识别。

技术领域

本发明涉及图像识别技术领域，具体涉及一种结合深度信息与肤色信息的静态手势识别方法。

背景技术

随着计算机视觉、模式识别等相关技术的发展，极大地推动了人机交互技术的研究，人们能够更自然地与计算机进行交流而不局限于键盘、鼠标。基于视觉的静态手势识别作为一种自然的人机交互方式，逐渐成为人机交互技术的研究热点，并被广泛应用于智能家居、机器人控制、手语识别等领域。

在基于单目摄像头的静态手势识别中，实现图像中人手与背景的分离是一个难点。早期的手势识别系统中，通过采用佩戴带标记的手套、或者复杂背景简单化等手段，制造易于实现手势与背景分离的环境，从而获得较高的识别率。但在实际情况中，环境往往难以预测，这种方法并不能满足现实条件下人机交互的需要。

静态手势只由手掌和手指表示，手部分割后存在的手臂区域是冗余信息，会干扰和影响手势识别的结果。很多静态手势识别的方法仅考虑未裸露手臂的情形，用于训练和分类的手势图像并不包含手臂。由于并未考虑手臂干扰，这些方法难以得到推广应用。

对于手势识别过程中发生的手势平移、手势旋转、手势尺度变化等问题，选择用于描述手势的特征需具有平移、旋转、比例不变性。现有的手势识别方法中提取的手势特征较为单一，多种特征的组合能够有效提高手势识别方法的准确性和鲁棒性。

为了实现较高的分类准确性，很多手势识别方法选择的分类器需要花费较长时间、在很大的样本集上训练得到。此外，在分类过程中速度较慢，难以满足手势识别系统实时性的要求。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种结合深度信息与肤色信息的静态手势识别方法。

本发明的目的可以通过采取如下技术方案达到：

一种结合深度信息与肤色信息的静态手势识别方法，所述的静态手势识别方法包括：

图像采集步骤，用kinect同时采集RGB图像及深度图像，得到RGB图像中所有像素点对应的深度信息；

手部分割步骤，通过设置深度阈值并利用人体肤色信息，提取RGB图像中的手部区域，得到手部二值图像；

手臂去除步骤，采用距离变换操作并结合手掌切割圆及阈值方法，判断手部图像中是否存在手臂区域，通过图像间的异或操作去除存在的手臂区域，得到手势二值图像；

特征提取步骤，计算手势图像的傅里叶描述子和指尖个数，构成手势的特征向量；

手势识别步骤，利用支持向量机对输入的手势特征向量进行手势分类。

进一步地，所述的kinect位于被采集者人体正前方200mm～3500mm的位置，且被采集者手的位置距离kinect最近。

进一步地，所述的手部分割步骤过程如下：

结合深度图像和RGB图像，利用深度阈值分割，得到包含手部的RGB图像；

对包含手部的RGB图像，利用人体肤色信息提取RGB图像中的肤色区域，实现肤色分割，得到手部二值图像。