[发明专利]一种基于Kinect深度信息的指尖检测方法

说明书

本发明涉及一种基于Kinect深度信息的指尖检测方法，设备Kinect通过线缆与计算机连接；其特征在于具体步骤如下：步骤1、提取手及获取手心坐标：步骤2、指尖定位：包括图像预处理和手的轮廓；将提取的手部区域进行联合双边滤波；利用道格拉斯‑普克算法对指定的点集进行逼近，找出轮廓的多边形拟合曲线并画出手部的拟合曲线。步骤3、利用convexHull()函数检索上述步骤，分析获得手的凸包点。步骤4、对获得凸包点处求曲率，根据手腕处的曲率和指尖的曲率的不同，设置合适的阈值将手腕处的凸包点去除。该方法能够实时、准确地完成手势识别任务，提高了Kinect手势识别的实时性、精确性，改善自然手势交互体验。

技术领域

本发明涉及一种基于深度信息的指尖检测方法，属于人机交互技术领域。

背景技术

随着人机交互技术的发展，自然的交互方式成为人机交互技术的发展方向。近年来，无需佩戴辅助设备，使用人手进行自然、直观的交互，逐渐成为该领域的研究热点。

实现人手自然交互的关键在于手势的准确识别。目前，不借助穿戴辅助设备的手势识别方法主要包括基于彩色相机的和基于深度传感器的方法。基于彩色相机的手势识别容易受到光照背景复杂等情况的影响，尤其是在背景非常复杂的情况下更是识别准确率极低。越来越多的研究者开始利用深度传感器来进行手势识别以获取物体在三维空间中的信息,从而提高人手检测与跟踪的准确率。随着Kinect的出现，它为手势识别提供了一种新的发展方向。许多学者开始着手利用Kinect来进行手势识别，然而，现有的方法大多步骤较繁琐、算法较复杂、实时性不佳。

发明内容

本发明目的在于提供一种基于Kinect深度信息的指尖检测方法，能够实时、准确地完成手势识别任务，提高了Kinect手势识别的实时性、精确性，改善自然手势交互体验，

本发明的技术方案是这样实现的：一种基于Kinect深度信息的指尖检测方法，设备Kinect通过线缆与计算机连接；其特征在于具体步骤如下：

步骤1、提取手及获取手心坐标：利用Kinect1采集人体手部信息，使用NITE函数库获取手心坐标,然后通过手心点深度推算出手部的大致深度范围,然后设定搜索区域及深度阈值，利用深度二值掩膜通过一个n*n的矩阵，n行n列元素与手心区域相乘，把手部图像从背景中分离出来。

步骤2、指尖定位：包括图像预处理和手的轮廓；

1)将提取的手部区域进行联合双边滤波。先通过Kinect采集同一帧的深度图像和彩色图像，然后利用高斯核函数分别计算出深度图像的空间距离权值以及彩色图像的灰度权值。再将空间距离权值和灰度权值相乘得到联合滤波权值，并将高斯核函数替换成快速高斯变换，从而生成了联合双边滤波器。最后，将该滤波器滤波之后的结果与提取的手部区域图像进行卷积运算，从而实现手部指尖区域的平滑保边的效果。

2)对滤波后的图像选择合适的阈值进行二值化生成二值单通道图像，再应用findContours()函数来检索二值化后的图像中的所有特征点的轮廓C_i，每一个轮廓都是一个多边形，且由像素序列组成，得到的手部特征点轮廓集合C表示如下：

C＝findContours(H_t(x,y))＝{C_i} (1)

利用drawContours()函数将查找到的轮廓绘制出来。

3)利用道格拉斯-普克算法对指定的点集进行逼近，找出轮廓的多边形拟合曲线并画出手部的拟合曲线。对每一条曲线的首末点虚连一条直线，求所有点与直线的距离，并找出最大距离值d_max，用d_max与限差D相比：若d_max＜D,这条曲线上的中间点全部舍去；若d_max≥D，保留d_max对应的坐标点，并以该点为界，把曲线分为两部分，对这两部分重复使用本方法。