[发明专利]基于深度图的启发式手指检测方法

说明书

本公开提供一种基于深度图的启发式手指检测方法。所述方法包括：从用户的深度图中获取手联通域；计算手联通域的中心点；计算手联通域中与所述中心点具有3D测地线距离极大值的多个极远点；从计算的多个极远点中检测手指指尖和手指区域；和输出指尖位置及手指区域。所述方法通过3D测地线距离来计算和检测用户的手指指尖，而不用提取手区域的边界轮廓，提高了手势检测的鲁棒性，降低了检测错误率。该方法具有手指检测正确率高，计算速度快的优点。

技术领域

本公开涉及智能人机交互和手势识别技术，更具体而言，本公开涉及一种基于深度图的启发式手指检测方法、检测设备以及计算机可读存储介质。

背景技术

随着人机交互技术的快速发展，人机交互的手段越来越多，从最开始通过键盘和鼠标实现人与计算机设备之间的人机交互，然后演变到使用手写板、触摸屏，乃至发展到采用手势来实现人机交互。人机交互的方式朝着越来越直观、越来越简便的方向发展，而且这些方式变得越来越符合人的自然习惯。

在许多智能设备系统中，例如在AR（增强现实）眼镜、VR（虚拟现实）头显、智能电视等中，都有自动检测手指动作的需求，利用手指动作来实现与设备的交互。在这些交互中，通常使用普通的RGB摄像头来采集图像并检测手指动作。但是这种方法容易受到背景图像的干扰，导致检测准确度不高。近年来随着深度摄像头的逐渐普及，越来越多的研究机构和公司开始使用深度图来检测手指动作，使用深度图的方法的检测正确率比基于RGB摄像头的方法高。

现有的基于深度图的手指检测方法通常采用轮廓曲率极大值检测指尖。该方法首先提取手区域的边界轮廓，然后逐点计算轮廓点的曲率，选择曲率极大指点作为指尖候选点。但是，在背景图像较为复杂的条件，这种方法仍然有相当大的检测错误率。

发明内容

为了解决或缓解上述现有技术中的至少一个缺陷，期望提供一种新的手指检测技术，该技术能够实现更高的检测正确率和更快的检测速度。

根据一个方面，提供了一种手指检测方法，包括：从用户的深度图中获取手联通域；计算手联通域的中心点；计算手联通域中与所述中心点具有3D测地线距离极大值的多个极远点；从计算的多个极远点中检测手指指尖和手指区域；和输出指尖位置及手指区域。

在一个实施例中，从用户的深度图中获取手联通域进一步包括：用图像生长方法检测用户的深度图中所有的联通域；和从检测到的联通域中选择深度最小的联通域作为手联通域。

在一个实施例中，从用户的深度图中获取手联通域进一步包括：确定检测到的联通域中每一个联通域的最小深度作为所述联通域的深度。

在一个实施例中，所述图像生长方法进一步包括：对于每一个联通域，执行如下步骤：

建立一个FIFO队列，并选择所述联通域中的一个像素点作为初始像素点放入所述FIFO队列中；

针对所述FIFO队列迭代执行如下操作，一直到所述FIFO队列中没有像素点需要处理为止：

取出所述FIFO队列中的当前像素点；

比较所述当前像素点的深度以及它的4个相邻像素点中没有加入任何联通域的每一个相邻像素点的深度；和

如果相邻像素点与所述当前像素点之间的深度差小于第一阈值Th1，则将所述相邻像素点添加到所述联通域中以及所述FIFO队列中；以及

输出所述联通域。

在一个实施例中，所述图像生长方法进一步包括：对于每一个联通域，检测所述联通域的上、下、左、右边界。

在一个实施例中，所述第一阈值Th1取值范围参考值为10－15毫米。