[发明专利]一种基于深度图像的手掌跟踪方法和系统

摘要

本发明公开了一种基于深度图像的手掌跟踪方法和系统，其中所述方法包括：将包含手势的多个深度图像中的第一深度图像转换为3D点云并获得预估手掌心点；以预估手掌心点作为初始点在测地线距离阈值范围内进行区域生长并获得手掌连通集；获取所述手掌连通集的边界点集合；确定所述手掌连通集中每个点到所述手掌连通集范围之外的逆区域生长种子点的测地线距离；根据所述测地线距离和所述边界点集合确定跟踪点；及基于所述跟踪点跟踪手掌。本发明能够实现实时鲁棒的手掌跟踪，并能及时发现手掌跟踪失败并进行处理。 1

主权项

1.一种基于深度图像的手掌跟踪方法，其特征在于，所述方法包括：

将包含手势的多个深度图像中的第一深度图像转换为3D点云并获得预估手掌心点；

以所述预估手掌心点作为初始点在测地线距离阈值范围内进行区域生长并获得手掌连通集；

获取所述手掌连通集的边界点集合；

确定所述手掌连通集中每个点到所述手掌连通集范围之外的逆区域生长种子点的测地线距离；根据所述测地线距离和所述边界点集合确定跟踪点；及基于所述跟踪点跟踪手掌。

2.根据权利要求1所述的方法，其特征在于，所述方法在以所述预估手掌心点作为初始点在测地线距离阈值范围内进行区域生长之前还包括对所述预估手掌心点进行矫正，所述矫正包括：

对以所述预估手掌心点为圆心的半径为r的球内的所有点取加权平均得到加权平均点，其中r为70‑150mm；

在所述3D点云的空间中找出一个距离加权平均点最近的点作为矫正后的预估手掌心点；

其中所述以所述预估手掌心点作为初始点在测地线距离阈值范围内进行区域生长并获得手掌连通集包括：以所述矫正后的预估手掌心点作为初始点在测地线距离阈值范围内进行区域生长并获得手掌连通集。

3.根据权利要求2所述的方法，其特征在于，所述方法在获取所述手掌连通集的边界点集合之前还包括：响应于所述手掌连通集的点数少于预设连通集点数第一阈值，以矫正后的预估手掌心点的邻域作为新的初始点重新进行区域生长并获得新的手掌连通集；

其中所述获取所述手掌连通集的边界点集合包括：获取所述新的手掌连通集的边界点集合。

4.根据权利要求1所述的方法，其特征在于，所述逆区域生长种子点按照下述方式确定：

以区域生长最后停止生长的方向为指向手臂的方向，在指向手臂的方向上选取在测地线距离第二阈值范围内的多个点并求出所述多个点中的至少两个点的中值以得到所述逆区域生长种子点。

5.根据权利要求1所述的方法，其特征在于，获取所述手掌连通集的边界点集合的步骤包括：

对所述手掌连通集内的每个点进行是否为边界点的判断从而得到所述边界点集合，其中在一点的四邻域均属于所述手掌连通集时确定其不是边界点；及其中在一点的四邻域的邻域之一不属于所述手掌连通集时确定其为边界点。

6.根据权利要求1所述的方法，其特征在于，所述根据所述测地线距离和所述边界点集合确定跟踪点包括：

根据所述手掌连通集中每个点到所述逆区域生长种子点的测地线距离设定每个点的权重，测地线距离越大，权重越高；

以所述手掌连通集的非边界点为中心，将到所述非边界点的测地线距离小于r的边界点加入备选非边界点集合，然后找出备选非边界点集合中权重最大的一个非边界点；

对以所述权重最大的一个非边界点为圆心的半径为r的球内的所有点取加权平均得到跟踪点，其中r为70‑150mm。

7.根据权利要求1所述的方法，其特征在于，所述根据所述测地线距离和所述边界点集合确定跟踪点包括：

根据所述手掌连通集中每个点到所述逆区域生长种子点的测地线距离设定每个点的权重，测地线距离越大，权重越高；

以所述手掌连通集的非边界点为中心，将到所述非边界点的测地线距离小于r的边界点加入备选非边界点集合，然后找出备选非边界点集合中权重最大的多个非边界点，其中r为70‑150mm；

对权重最大的多个非边界点中的每一非边界点，分别对以其为圆心的半径为r的球内的所有点取加权平均，得到多个手掌中心候选点；

对多个手掌中心候选点进行加权平均得到跟踪点。

8.根据权利要求1所述的方法，其特征在于，所述基于所述跟踪点跟踪手掌包括：

判断手掌跟踪是否跟踪丢失；及

在确定手掌跟踪丢失时删除当前跟踪对象。

9.根据权利要求8所述的方法，其特征在于，判断手掌跟踪是否跟踪丢失包括：

如果所述手掌连通集的点数少于预设连通集点数第二阈值，确定手掌跟踪丢失；或者

如果预估手掌心点与矫正后的预估手掌心点之间的距离大于预设掌心间距离阈值，确定手掌跟踪丢失；或者

如果区域生长在一距离范围内的边界点个数多于预设边界点阈值，确定手掌跟踪丢失；或者

根据跟踪点的位置，在所述深度图像上找出与跟踪点深度差别不大于深度阈值的第二连通集；根据跟踪点在所述3D点云的空间中的位置，得出在平面上仅包含手的第一圆的半径；然后将所述第一圆的半径除以预设半径比得到的值作为包含手和手之外部分的第二圆的半径；然后求出第一圆内像素个数与第一圆面积之比a1及两个圆之间圆环内像素个数与圆环面积之比a2，如果a2与a1的比值大于预设比值阈值，确定手掌跟踪丢失。

10.根据权利要求1所述的方法，其特征在于，所述测地线距离阈值为400‑600mm。

11.一种基于深度图像的手掌跟踪系统，所述系统包括：

预估手掌心点获取模块，用于将包含手势的多个深度图像中的第一深度图像转换为3D点云并获得预估手掌心点；

手掌连通集获取模块，用于以预估手掌心点作为初始点在测地线距离阈值范围内进行区域生长并获得手掌连通集；

边界点集合获取模块，用于获取手掌连通集的边界点集合；

测地线距离确定模块，用于确定手掌连通集中每个点到手掌连通集范围之外的逆区域生长种子点的测地线距离；

跟踪点确定模块，用于根据测地线距离和边界点集合确定跟踪点；及

手掌跟踪模块，用于基于跟踪点跟踪手掌。

12.根据权利要求11所述的系统，其特征在于，所述系统还包括预估手掌心点矫正模块，用于对以所述预估手掌心点为圆心的半径为r的球内的所有点取加权平均得到加权平均点，其中r为70‑150mm；及在所述3D点云的空间中找出一个距离加权平均点最近的点作为矫正后的预估手掌心点，其中所述手掌连通集获取模块还用于以所述矫正后的预估手掌心点作为初始点在测地线距离阈值范围内进行区域生长并获得手掌连通集。

13.根据权利要求12所述的系统，其特征在于，响应于所述手掌连通集的点数少于预设连通集点数第一阈值，所述手掌连通集获取模块还用于以矫正后的预估手掌心点的邻域作为新的初始点重新进行区域生长并获得新的手掌连通集，所述边界点集合获取模块还用于获取所述新的手掌连通集的边界点集合。

14.根据权利要求11所述的系统，其特征在于，所述手掌连通集获取模块包括逆区域生长种子点确定子模块，用于以区域生长最后停止生长的方向为指向手臂的方向，在指向手臂的方向上选取在测地线距离第二阈值范围内的多个点并求出所述多个点中的至少两个点的中值以得到所述逆区域生长种子点。