[发明专利]一种基于多特征融合的静态手势图像识别方法

权利要求书

1.一种基于多特征融合的静态手势图像识别方法，其特征在于：该方法的步骤如下：

1)利用综合多要素的图像处理方法对原始的手势图像进行分割，然后对分割后的手势图像进行局部特征提取，局部特征包含Gabor特征、HOG特征和Hu矩特征；

2)将原始的手势图像转换成灰度图像，然后构建了一个双通道卷积神经网络分别提取手势图像的两个特征，将两个特征处理获得深层次特征；

所述步骤2)中，双通道卷积神经网络采用VGG网络模型和AlexNet网络模型，手势图像的灰度图像分别输入到VGG网络模型和AlexNet网络模型中输出获得各自的特征，两个特征通过级联融合的方式进行连接作为深层次特征；

3)将手势图像的局部特征和深层次特征以求和方式进行融合，获得融合特征；

4)选择Softmax分类器作为手势图像识别的分类器，将融合特征输入到分类器中分类获得不同类别的概率，以最大概率的类别作为手势图像中的手势类别识别结果；

所述的步骤1)，具体步骤为：

1.1)所述输入的手势图像为RGB色彩空间，先对输入的手势图像进行转换到YCbCr色彩空间后进行肤色分割，通过线性转换从RGB色彩空间到YCbCr色彩空间转换，转换公式如下：

其中，Y、Cb、Cr分别表示YCbCr色彩空间的明亮度、蓝色色度、红色色度；

1.2)然后将手势图像进行聚类，聚类采用阈值分割法，分割获得手部区域与背景区域；

1.3)通过图像去噪，依次采用中值滤波和漫水填充对手势图像进行去噪处理；中值滤波选取奇数点邻域窗口对手势图像进行滤波，滤波公式如下所示：

其中，f(x,y)为中值滤波前的手势图像的像素值，g(x,y)为中值滤波后的手势图像的像素值，med为中值运算符；

中值滤波后进行二值化，再采用漫水填充算法用颜色来实现连通区域的填充；

1.4)本发明采用基于最大连通域和质心定位的方法实现手部区域的获取，手势图像中存在三个肤色区域及其他类肤色区域，利用最大连通域方法获得手势图像中的三个肤色区域，即分别为单独手臂区域、脖子区域、手-臂区域，利用质心定位获得手-臂区域，去除单独手臂区域和脖子区域；

1.5)提取手-臂区域的Gabor特征、HOG特征和Hu矩特征；

所述的步骤1.4)具体步骤如下：

1.4.1)手语图像中存在三个肤色区域(单独手臂区域、脖子区域和手-臂区域)及其他类肤色区域，手-臂区域包括手势区域和手臂区域，肤色聚类之后手语图像中会有多个肤色区域存在，采用面积算子滤波的方法进行处理，去除小的面积区域，保留面积最大的三个区域，分别记为第一面积最大区域maxArea、第二面积最大区域secArea、第三面积最大区域thiArea，将三个区域保留，剩余其他区域用黑色填充；

1.4.2)相比手臂区域、脖子区域，手-臂区域在手语图像的一侧，计算三个区域的质心位置，计算质心前先使用OpenCV软件工具中的moments模块计算图像的零阶矩(m₀₀)和一阶矩(m₁₀、m₀₁)，m₁₀、m₀₁分别表示一阶矩的第一参数和第二参数，然后再采用以下公式计算：

其中，分别表示质心的横坐标、质心的纵坐标；

计算获得三个肤色区域的质心位置后，取保留的三个肤色区域中质心坐标的横坐标最小/最大的肤色区域作为手-臂区域，其余的单独手臂区域和脖子区域的两个区域根据位置确定；

所述步骤1.5)中，提取HOG特征的具体步骤如下：采用Gamma矫正法对肤色区域进行颜色空间的标准化，计算标准化之后的手势图像中每个像素的梯度，包括大小和方向，然后将肤色区域划分为若干个不重叠的子区域，子区域的尺寸为8像素×8像素，将四个子区域组成一个特征提取区间，提取每个子区域的HOG特征，然后将四个子区域的HOG特征串联作为特征提取区间的HOG特征，再将所有特征提取区间的HOG特征串联作为HOG特征向量。