[发明专利]一种基于Kinect深度信息的指尖检测方法

权利要求书

1.一种基于Kinect深度信息的指尖检测方法，设备Kinect通过线缆与计算机连接；其特征在于具体步骤如下：

步骤1、提取手及获取手心坐标：利用Kinect采集人体手部信息，使用NITE函数库获取手心坐标,然后通过手心点深度推算出手部的大致深度范围,然后设定搜索区域及深度阈值，利用深度二值掩膜通过一个n*n的矩阵，n行n列元素与手心区域相乘，把手部图像从背景中分离出来；

步骤2、指尖定位：包括图像预处理和手轮廓获取；

1)将提取的手部区域进行联合双边滤波；先通过Kinect采集同一帧的深度图像和彩色图像，然后利用高斯核函数分别计算出深度图像的空间距离权值以及彩色图像的灰度权值；再将空间距离权值和灰度权值相乘得到联合滤波权值，并将高斯核函数替换成快速高斯变换，从而生成了联合双边滤波器；最后，将该滤波器滤波之后的结果与提取的手部区域图像进行卷积运算，从而实现手部指尖区域的平滑保边的效果；

2)对滤波后的图像选择合适的阈值进行二值化生成二值单通道图像H_t(x,y)，其中x、y为像素坐标，再应用findContours()函数来检索二值化后的图像中的所有特征点的轮廓C_i，每一个轮廓都是一个多边形，且由像素序列组成，得到的手部特征点轮廓集合C表示如下：

C＝findContours(H_t(x,y))＝{C_i} (1)

利用drawContours()函数将查找到的轮廓绘制出来；

3)利用道格拉斯-普克算法对手部特征点轮廓集合C进行逼近，找出轮廓的多边形拟合曲线并画出手部的拟合曲线；对每一条曲线的首末点虚连一条直线，求该曲线中所有点与直线的距离，并找出最大距离值d_max，用d_max与限差D相比：若d_max＜D，这条曲线上的中间点全部舍去；若d_max≥D，保留d_max对应的坐标点，并以该点为界，把曲线分为两部分，对这两部分重复使用本方法；

步骤3、利用convexHull()函数检索上述步骤得到的最大面积值的轮廓C_max的凸包壳hull，并分析获得手的凸包点；

步骤4、对获得凸包点处求曲率，根据手腕处的曲率和指尖的曲率的不同，设置合适的阈值将手腕处的凸包点去除；

1)取手部轮廓上一点，取轮廓上点p的前面第M个点q和点p的后继第M个点r，那么p点的曲率可以用向量和的夹角α的余弦值来表示，p点曲率的值可表示如下：

2)采取一个阈值L来判断指尖点，将曲率大于等于L的像素点筛选出来，作为指尖点；

步骤5：手指两侧的曲线可以近似是一组平行线，对步骤4中根据曲率筛选出的指尖点p点再对其向前取10个像素点，向后取10个像素点，根据公式(2)求得p点处的夹角，采取合适的阈值范围，从而排除手指弯曲时误判为指尖点的情况；

通过上述步骤即可完成基于Kinect深度信息的指尖检测。