[发明专利]手势识别方法及系统

权利要求书

1.一种手势识别方法，其特征在于，所述方法包括如下步骤：

步骤S1、手势检测步骤，实时检测视频流中的手势，标记检测到手势的区域为感兴趣区域；

步骤S2、手势分割步骤，利用肤色分割对感兴趣区域进行处理，接着进行边缘检测和轮廓提取，得到手形轮廓的点序列；

步骤S3、手势识别步骤，先提取手形轮廓的傅里叶描述子，然后利用PCA分析将其映射到特征空间的一个新向量，比较新向量与训练得到手势聚类中心的距离，以此判定该向量代表哪种手势。

2.根据权利要求1所述的手势识别方法，其特征在于：

所述步骤S1手势检测步骤具体包括：

步骤S11、创建训练分类器所需训练样本：

训练样本包括正样本和负样本，其中正例样本是指目标手势样本，负样本指其它不包含目标手势的任意图片，所有的样本图片都被归一化为同样大小的尺寸；

步骤S12、LBP特征提取；具体包括：

-步骤S121、首先将检测窗口划分为m×n的小区域cell；

-步骤S122、对于每个cell中的一个像素，将相邻的若干个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0；这样，3*3邻域内的8个点经比较可产生8位二进制数，即得到该窗口中心像素点的LBP值；

-步骤S123、然后计算每个cell的直方图，即每个数字出现的频率，然后对该直方图进行归一化处理；

-步骤S124、最后将得到的每个cell的统计直方图进行连接成为一个特征向量，也就是整幅图的LBP纹理特征向量；

步骤S13、用训练样本来训练分类器：

为了使分类检测准确率较好，需要大量的手势训练样本，然后每个样本又提取出了LBP特征，得到训练数据；

步骤S14、利用训练好的分类器进行目标检测：

得到的特征手势分类器用来对输入的图像进行检测，也就是在图像中检测是否存在这个目标手势；检测过程如下：用一个扫描子窗口在待检测的图像中不断的移位滑动，子窗口每到一个位置，就会计算出该区域的特征，然后用训练好的分类器对该特征进行筛选，判定该区域是否为目标手势。

3.根据权利要求1所述的手势识别方法，其特征在于：

所述步骤S2手势分割步骤中，把手势从视频背景中分离出来；利用手势检测技术中检测到的手势区域，将此区域设置为感兴趣区域ROI；采用的手势分割算法大致分为三个步骤：肤色分割，边缘检测和轮廓提取；所述手势分割步骤具体包括：

步骤S21、肤色分割步骤；

在YCbCr颜色空间中实现肤色分割；

YCbCr颜色空间由RGB颜色空间线性变化得到：

YCrCb=0.2990.5870.114-0.1687-0.33130.50.5-0.4187-0.0183RGB---(1)]]>

将由YCbCr经过非线性色彩变换得到的色彩空间记为Y′Cr′Cb′，则转换公式如下：

Cb′=[Cb(Y)-Cb(Y)‾]·WCbWCb(Y)+Cb(Y)‾ifY<KlorY>KhCb(Y)---(2)]]>

Cr′=[Cr(Y)-Cr(Y)‾]·WCrWCr(Y)+Cr(Y)‾ifY<KlorY>KhCr(Y)---(3)]]>

其中,(1)Wcb(Y)和Wcr(Y)表示肤色区域的宽度，其表达式为：

WCb(Y)=WLCb+(Y-Ymin)·(WCb-WLCb)Kl-Kmin,ifY<KlWHCb+(Ymax-Y)·(WCb-WHCb)Kmax-Kh,ifY>Kh---(4)]]>

WCr(Y)=WLCr+(Y-Ymin)·(WCr-WLCr)Kl-Kmin,ifY<KlWHCr+(Ymax-Y)·(WCr-WHCr)Kmax-Kh,ifY>Kh---(5)]]>

(2)和表示肤色区域的中轴线，其表达式为：

Cb(Y)‾=108+(Kl-Y)·(118-108)Kl-Ymin,ifY<Kl108+(Y-Kh)·(118-108)Ymax-Kh,ifY>Kh---(6)]]>

Cr(Y)‾=154+(Kl-Y)·(154-144)Kl-Ymin,ifY<Kl154+(Y-Kh)·(154-132)Ymax-Kh,ifY>Kh---(7)]]>

且有：K_l＝125，K_h＝188,表示非线性分段色彩变换的分段值；Y_min＝16，Y_max＝235表示肤色聚类区域中Y分量的最小最大值；W_Cb＝46.79，WL_Cb＝23，WH_Cb＝14和W_Cr＝38.76，WL_Cr＝20，WH_Cr＝10为实验得到的常数；

经过这样的非线性分段色彩变换，得到肤色聚类在YCbCr空间中的分布集中在一个椭圆中；用一个椭圆来近似表示这个肤色区域，得到如下公式：

(x-eCx)2a2+(y-eCy)2b2=1---(8)]]>

其中,xy=cosθsinθ-sinθcosθCb′-CxCr′-Cy,]]>Cx＝109.38，Cy＝152.02，eCx＝1.6，eCy＝2.41，θ＝2.56(弧度)，a＝25.39,b＝14.03；

将肤色点与非肤色点进行分离，对图像进行二值化；在椭圆内的点设置为255，不在椭圆内的点设置为0；在实际处理中令

t=(x-eCx)2a2+(y-eCy)2b2,s=e-t---(9)]]>

若s＜e^-1，则认为是肤色点，否则不是；

在YCbCr空间实行肤色分割后，黑色区域表示被过滤掉的肤色背景区域，白色区域表示肤色区域；由于椒盐噪声以及其他近肤色背景的存在，肤色提取后的手势出现了不少噪声，这些噪声会对后面轮廓的提取造成很大的干扰，所以必须尽量减少，使用形态学滤波处理来减少噪声；

形态学处理是一种针对图像集合的处理过程；二值图像形态学运算过程就是在图像中移动结构元素，将结构元素与其下面的重叠部分的图像进行交、并等集合运算；形态学处理的基本运算有腐蚀、膨胀、开运算、闭运算、击中与击不中和骨架抽取；设A为图像矩阵，B为结构元素矩阵，进行数学形态学运算时，实际上就是用B对A进行操作；

用图像B对图像A进行膨胀的定义为：

A⊕B={z|(B^)z∩A≠φ}---(10)]]>

用图像B对图像A进行腐蚀的定义为：

AΘB={z|(B)z⊆A}---(11)]]>

用图像B对图像A进行开运算的定义为：

用图像B对图像A进行闭运算的定义为：

A·B=(A⊕B)ΘB---(13)]]>

腐蚀用来消除连通域的边界点，使边界向内收缩；将粘连在一起的不同目标物分离；滤掉小的颗粒噪声；膨胀用于将与目标区域的背景点合并到该目标物中，使目标物边界向外部扩张；将断裂开的目标物合并为一个整体；填补图像上物体中的细小空洞；考虑到肤色分割后，非肤色区域有椒盐噪声和近肤色背景的噪声，先进行腐蚀运算，除去黑色背景中的白点，然后进行膨胀运算，将肤色区域的空洞缩小，将噪声对轮廓提取的影响减小；

步骤S22、边缘检测步骤；

进行边缘检测是为了更好的提取手势轮廓；边缘检测是利用图像一阶导数的极值或二阶导数的过零点信息来提取边缘；具体的说，在图像中变化缓慢的区域，其相邻像素的灰度值变化小，从而梯度幅值也较小；而在图像的边缘区域，相邻像素的灰度变化大，因而梯度幅值也较大，所以边缘的位置可以用一阶导数的幅值来确定；同理，二阶导数的符号用来判断一个像素是在边缘暗的一边还是亮的一边，过零点的位置就是边缘位置；

采用Canny算子进行边缘检测，这是因为Canny边缘检测算子凭借其精确性，目前已得到广泛应用；Canny边缘检测的算法步骤如下:

(1)高斯平滑去噪；

(2)用Sobel算子计算梯度；

(3)确定梯度方向；

将计算出的梯度方向归为图像中可以跟踪的方向；对于图像中的一点p，只有四个方向与其周围的像素相连：水平0°，正对角45°，垂直90°和负对角135°；所以，将梯度方向按照它与上述四个方向的接近程度划归到离它最近的那个方向上；

任何落入第一区域(0-22.5°,157.5-180°)的边缘被置为0°；任何落入第二区域(22.5-67.5°)的被置为45°；任何落入第三区域(67.5-112.5°)的被置为90°；最后，落入第四区域(112.5-157.5°)的被置为135°；

(4)非极大值抑制；

如果点(x,y)的梯度值比其相邻两点中任何一个的梯度值要小，则(x,y)不是边缘点；

(5)双阈值分割；

取高低两个阈值TH和TL，如果某点p的梯度大于TH，则p肯定是边缘点；如果p点的梯度小于TL，则p肯定不是边缘点；如果p点的梯度在TL与TH之间，则判断其周围8个像素中是否有一个梯度大于TH，如果是则p是边缘点；否则，p就不是边缘点；

步骤S23、轮廓提取步骤；

Canny边缘检测算法根据像素间的差异检测出轮廓边界的像素，但是它并没有将轮廓作为一个整体；下一步是要将这些边缘像素组装成轮廓，轮廓提取就是获得手部的外部轮廓特征，它是构成手势形状的边界或外形线；

采用边缘跟踪算法提取图像轮廓，先找到目标物体轮廓上的像素点，然后从这些像素点按照某些特征去跟踪找出目标物体上的其它像素点；

边缘跟踪是在像素的八邻域内搜索来实现的：与图像中的任意一点相邻的8个像素点，称为该像素的8邻域点；假设点P(x,y)是轮廓上的一个点，则下一个轮廓点一定在点P(x,y)的八邻域内，通过这样的方法就可以将轮廓上的点串起来；

在Canny边缘提取后的图像为二值图像，背景点像素值为0，边缘点的像素值为1，设：

S_n为第n个轮廓点，n的初始值为0；d为八邻域像素点的位置编码，表示搜索的起始位置，提取轮廓定坐标的八邻域搜索算法步骤为：

(1)扫描图像的上每个像素点，扫描顺序为从上到下，从左到右；如果点P(x,y)≠0，则将P点设为轮廓跟踪的起点S₀，将P点的坐标(x,y)存入轮廓点序列表；取d＝5开始搜索八邻域内的下一个轮廓点；

(2)按照八邻域编码的顺序依次检查当前轮廓点得八邻域像素点，当遇到一个非0像素点时，将其设为新的轮廓点S_n，并记下它在八邻域中的位置编码d；

(3)如果新的轮廓点又回到了起始点，即S_n＝S₀，则搜索结束；否则将S_n坐标存入轮廓点序列表，并将S_n设为当前轮廓点，令d＝(d+3)％8+1，返回执行第(2)步。