[发明专利]一种基于深度图像的手掌跟踪方法和系统

说明书

本发明公开了一种基于深度图像的手掌跟踪方法和系统，其中所述方法包括：将包含手势的多个深度图像中的第一深度图像转换为3D点云并获得预估手掌心点；以预估手掌心点作为初始点在测地线距离阈值范围内进行区域生长并获得手掌连通集；获取所述手掌连通集的边界点集合；确定所述手掌连通集中每个点到所述手掌连通集范围之外的逆区域生长种子点的测地线距离；根据所述测地线距离和所述边界点集合确定跟踪点；及基于所述跟踪点跟踪手掌。本发明能够实现实时鲁棒的手掌跟踪，并能及时发现手掌跟踪失败并进行处理。

技术领域

本申请涉及图像处理领域，尤其涉及一种基于深度图像的手掌跟踪方法和系统。

背景技术

传统的基于RGB的手势跟踪受背景环境、光照等因素影响较大，深度图能获取物体在3D空间中的位置信息，因此在目标跟踪方面有很大的优势。基于深度图的传统的手势跟踪方法有基于检测跟踪，基于连通集的分割与跟踪等。然而，由于手势跟踪时手型变化很多，手的速度时快时慢，并且受背景、身体、头等的干扰，这些方法可以在特定条件下实现手势跟踪，但是鲁棒性较差即持续跟踪能力较差。例如参考文献(Chia-Ping Chen,Yu-TingChen,Ping-Han Lee,Yu-Pao Tsai,and Shawmin Lei,“Real-time Hand Tracking onDepth Images”,(VCIP),2011IEEE)中公开了一种方法：以初始点加上速度预估手心位置，找出深度图中距离它最近的点进行区域生长，设定一个阈值限定生长范围，从而找出一个连通集，并找出连通集边界。然后对于分割出的连通集拟合一个球体，对球内所有点做加权，得到要跟踪的掌心。此方法生长点不稳，手部区域经常生长不完整，并且生长容易受手掌附近物体例如身体的影响，在运动速度过快或者与其他区域连通时，将导致目标跟踪失败并且无法恢复。

发明内容

本申请的目标在于提供一种可以实现实时鲁棒的手掌跟踪的方法和系统。

本申请的目标由一种基于深度图像的手掌跟踪方法实现，该方法包括：

将包含手势的多个深度图像中的第一深度图像转换为3D点云并获得预估手掌心点；

以预估手掌心点作为初始点在测地线距离阈值范围内进行区域生长并获得手掌连通集；

获取手掌连通集的边界点集合；

确定手掌连通集中每个点到手掌连通集范围之外的逆区域生长种子点的测地线距离；根据测地线距离和边界点集合确定跟踪点；及基于跟踪点跟踪手掌。

本申请的目标还由一种基于深度图像的手掌跟踪系统实现，该系统包括：

预估手掌心点获取模块，用于将包含手势的多个深度图像中的第一深度图像转换为3D点云并获得预估手掌心点；

手掌连通集获取模块，用于以预估手掌心点作为初始点在测地线距离阈值范围内进行区域生长并获得手掌连通集；

边界点集合获取模块，用于获取手掌连通集的边界点集合；

测地线距离确定模块，用于确定手掌连通集中每个点到手掌连通集范围之外的逆区域生长种子点的测地线距离；

跟踪点确定模块，用于根据测地线距离和边界点集合确定跟踪点；及

手掌跟踪模块，用于基于跟踪点跟踪手掌。

通过本发明方法，使用测地线距离取代欧式距离，给出深度摄像机参数，可以基于深度图像恢复出的3D点云，根据区域生长找出手臂测地线方向，然后逆区域生长，实现对任意手型实时鲁棒的手掌跟踪，解决了现有技术在手型变化时容易跟丢的问题。