[发明专利]一种基于多特征融合的静态手势图像识别方法

说明书

本发明公开了一种基于多特征融合的静态手势图像识别方法。利用综合多要素的图像处理方法对原始的手势图像进行分割，然后对分割后的手势图像进行局部特征提取，局部特征包含Gabor特征、HOG特征和Hu矩特征；将原始的手势图像转换成灰度图像，然后构建了一个双通道卷积神经网络分别提取手势图像的特征，将提取的特征进行求和作为深层次特征；将手势图像的局部特征和深层次特征进行融合，获得融合特征；将融合特征输入到分类器中分类获得不同类别的概率，以最大概率的类别作为手势图像中的手势类别识别结果。本发明提出的方式能够解决复杂背景下的26种手势字母的识别问题，且获得了较高的识别率。

技术领域

本发明涉及一种手势图像识别方法，尤其是涉及一种基于多特征融合的手势图像识别方法。

背景技术

随着计算机技术的不断发展和互联网的快速推进，人机交互研究重点与热点已经逐渐转向基于计算机视觉的手势识别技术。传统的手势识别方法是依靠人工设计复杂的特征提取算法进行图像的特征提取，该方法对手势图像的采集设备、背景及人的手势动作要求都很高。卷积神经网络由于其强大的特征提取能力，被广泛用于手势图像特征提取方面。基于卷积神经网络的图像特征提取可以直接将整张图像作为输入，输入图像经过网络内部的层层卷积实现深层次特征提取，提取的特征能够更全面地描述手势图像的信息。但是基于单一卷积神经网络的特征提取方法可能存在手势图像特征遗漏问题，且该方法只能提取手势图像的深层次特征，忽略了低层次特征(局部特征)在手势识别中的作用。为了解决以上问题，本发明提出了基于多特征融合的静态手势识别方法。

发明内容

针对人工提取特征的单一性及卷积神经网络提取特征的遗漏性问题，本发明提出了一种基于多特征融合的静态手势图像识别方法，能够解决复杂背景下的26种手势字母的识别问题，且获得了较高的识别率。

本发明解决其技术问题所采用的技术方案步骤如下：

1)利用综合多要素的图像处理方法对原始的手势图像进行分割，然后对分割后的手势图像进行局部特征提取，局部特征包含Gabor特征、HOG特征和Hu矩特征；

手势图像为人站立时人手在腰部或者胸部前比划手势时朝向人正面所拍摄的图像，为RGB图像，且人位于图像正中间，其中比划手势在图像左侧，即人手比较手势的手为右手。

具体实施在日常光照条件下用计算机摄像头进行拍摄，对拍摄图片的背景无要求，拍摄的图片中包含手语者的脖子以下及腰部以上区域。

2)将原始的手势图像转换成灰度图像，然后构建了一个双通道卷积神经网络分别提取手势图像的两个特征，将两个特征处理获得深层次特征；

本发明在提取手势图像的深层次特征时，多通道手势图像的RGB图像与单通道手势图像的灰度图像经过卷积神经网络处理后的差异较大，采用手势图像的灰度图像代替手势图像的RGB图像作为网络输入，降低了网络输入产生的参数量，但依然保持了准确的识别结果处理。

3)将手势图像的局部特征和深层次特征以求和方式进行融合，获得融合特征；

4)选择Softmax分类器作为手势图像识别的分类器，将融合特征输入到分类器中分类获得不同类别的概率，以最大概率的类别作为手势图像中的手势类别识别结果。

所述的步骤1)，具体步骤为：

1.1)所述输入的手势图像为RGB色彩空间，先对输入的手势图像进行转换到YCbCr色彩空间后进行肤色分割，通过线性转换从RGB色彩空间到YCbCr色彩空间转换，转换公式如下：

其中，Y、Cb、Cr分别表示YCbCr色彩空间的明亮度、蓝色色度、红色色度；

1.2)然后将手势图像进行聚类，聚类采用阈值分割法，分割获得手部区域与背景区域；