[发明专利]一种基于深度图的手部跟踪方法

说明书

本发明实施例公开一种基于深度图的手部跟踪的方法。该方法包括步骤：对深度图像进行逐行扫描，记录每行中深度值连续的行线段，并标记出符合预设条件的行线段；对行扫描后的标记图像进行逐列扫描，将符合预设条件的相邻两条标记点形成的列线段进行标记和连接；对行扫描和列扫描后的标记图像中的团块进行轮廓提取，将每个团块的最高点作为种子点进行局部邻近填充，取填充所有点的重心作为相应团块的当前深度图像帧的空间坐标；根据空间最临近原则，对相邻两帧的团块进行匹配，得到团块的轨迹。本发明实施例所提供的方法可利用图像深度信息且不受光照因素影响，又能增强人机交互体验感。

技术领域

本发明涉及人机交互的技术领域，具体涉及一种基于深度图的手部跟踪方法。

背景技术

目前，随着虚拟现实设备和增强现实设备的发展普及，手势由于其具备直观性和自然性的特点，已经成为人机交互的重要手段。相应地，手势识别或手部跟踪也逐渐成为人机交互领域的研究热点。

现有的手势识别技术或手部跟踪技术主要分为两种实现方式：第一种为基于2D图像的识别跟踪技术，该技术由于没有图像深度信息且容易受到光照因素影响，在交互动作的识别和检测方面存在很大的局限性；第二种为基于深度图像的识别跟踪技术，具体如微软的Kinect体感设备，该技术需要基于全身骨架检测作为基础进行手势识别或手部跟踪，需要对人体进行标定后才能识别手势，计算数据过多，使得人机交互体验感大大降低。

因此，针对现有手势识别或手部跟踪技术所存在的问题，急需一种既能利用图像深度信息且不受光照因素影响，又能增强人机交互体验感的手部跟踪方法。

发明内容

针对现有手部跟踪方法所存在的问题，本发明实施例提出一种基于深度图的手部跟踪方法，该方法对深度图像中类似手部的团块进行实时跟踪并输出跟踪轨迹。本发明实施例所提供的手部跟踪方法，采用深度图像序列，不需要对全身骨架进行标定，运算资源需求小且速度快，有效地提高人机交互的体验感。

该基于深度图的手部跟踪方法的具体方案如下：一种基于深度图的手部跟踪的方法，包括步骤S11：对深度图像进行逐行扫描，记录每行中深度值连续的行线段，并标记出符合预设条件的行线段；步骤S12：对行扫描后的标记图像进行逐列扫描，将符合预设条件的相邻两条标记点形成的列线段进行标记和连接；步骤S13：对行扫描和列扫描后的标记图像中的团块进行轮廓提取，将每个团块的最高点作为种子点进行局部邻近填充，取填充所有点的重心作为相应团块的当前深度图像帧的空间坐标；步骤S14：根据空间最临近原则，对相邻两帧的团块进行匹配，得到团块的轨迹。

优选地，所述深度值连续的条件为两个相邻像素的深度值之差小于等于100毫米。

优选地，所述预设条件的判断包括步骤S21：判断行线段最左侧像素的深度值是否小于其左临像素的深度值，判断行线段最右侧像素的深度值是否小于其右临像素的深度值；若是，进入步骤S22，否则判断所述行线段不符合预设条件；步骤S22：计算所述行线段所有像素的深度平均值，获取深度传感器在标定所述深度平均值下的标定行线段长度；步骤S23：判断所述标定行线段长度与手部经验长度的差值是否小于二分之一的手部经验长度，若是则判断所述行线段符合预设条件，否则判断所述行线段不符合预设条件。

优选地，所述手部经验长度为100毫米。

优选地，在逐列扫描时，遇到标记像素开始记录，遇到非标记像素停止记录，形成列线段。