[发明专利]基于视频数据的手势控制方法及装置、计算设备

权利要求书

1.一种基于视频数据的手势控制方法，其包括：

每当获取到跟踪器当前输出的与所述视频数据相对应的跟踪结果后，根据所述跟踪结果确定当前跟踪图像帧中包含的手势跟踪区域；

从检测器已输出的与所述视频数据相对应的各次检测结果中获取输出时间最晚的检测结果，确定所述输出时间最晚的检测结果中包含的手势类型；

根据所述输出时间最晚的检测结果中包含的手势类型以及所述当前跟踪图像帧中包含的手势跟踪区域确定控制规则；

向预设的智能硬件发送与所述控制规则相对应的控制指令；

所述跟踪器每隔第一预设间隔从所述视频数据中提取一帧图像作为当前跟踪图像帧，并输出与所述当前跟踪图像帧相对应的跟踪结果；

所述检测器每隔第二预设间隔从所述视频数据中提取一帧图像作为当前检测图像帧，并输出与所述当前检测图像帧相对应的检测结果，其中，所述第二预设间隔大于所述第一预设间隔。

2.根据权利要求1所述的方法，其中，所述根据所述输出时间最晚的检测结果中包含的手势类型以及所述当前跟踪图像帧中包含的手势跟踪区域确定控制规则的步骤具体包括：

确定所述当前跟踪图像帧对应的前帧跟踪图像帧中包含的手势跟踪区域；

根据所述前帧跟踪图像帧中包含的手势跟踪区域以及所述当前跟踪图像帧中包含的手势跟踪区域确定手部运动轨迹；

根据所述输出时间最晚的检测结果中包含的手势类型以及所述手部运动轨迹，确定对应的控制规则。

3.根据权利要求2所述的方法，其中，所述根据所述输出时间最晚的检测结果中包含的手势类型以及所述手部运动轨迹，确定对应的控制规则的步骤具体包括：

查询预设的手势控制库，根据所述手势控制库确定与所述输出时间最晚的检测结果中包含的手势类型以及所述手部运动轨迹相对应的控制规则；

其中，所述手势控制库用于存储与各种手势类型和/或手部运动轨迹相对应的控制规则。

4.根据权利要求3任一所述的方法，其中，所述从检测器已输出的与所述视频数据相对应的各次检测结果中获取输出时间最晚的检测结果的步骤之前，进一步包括步骤：

判断所述当前跟踪图像帧中包含的手势跟踪区域是否为有效区域；

当判断结果为是时，执行所述从检测器已输出的与所述视频数据相对应的各次检测结果中获取输出时间最晚的检测结果的步骤及其后续步骤。

5.根据权利要求4所述的方法，其中，所述判断所述当前跟踪图像帧中包含的手势跟踪区域是否为有效区域的步骤具体包括：

通过预设的手部分类器判断所述当前跟踪的图像帧中包含的手势跟踪区域是否为手部区域；

若是，则确定所述当前跟踪图像帧中包含的手势跟踪区域为有效区域；若否，则确定所述当前跟踪图像帧中包含的手势跟踪区域为无效区域。

6.根据权利要求5所述的方法，其中，当所述当前跟踪图像帧中包含的手势跟踪区域为无效区域时，所述方法进一步包括：

获取所述检测器在所述跟踪结果之后输出的检测结果，确定所述在所述跟踪结果之后输出的检测结果中包含的手部检测区域；

将所述在所述跟踪结果之后输出的检测结果中包含的手部检测区域提供给所述跟踪器，以供所述跟踪器根据所述在所述跟踪结果之后输出的检测结果中包含的手部检测区域输出后续的跟踪结果。

7.根据权利要求5任一所述的方法，其中，当所述当前跟踪图像帧中包含的手势跟踪区域为有效区域时，所述方法进一步包括：

将所述有效区域提供给所述检测器，以供所述检测器根据所述有效区域输出后续的检测结果。

8.根据权利要求7所述的方法，其中，所述检测器根据所述有效区域输出后续的检测结果的步骤具体包括：

根据所述有效区域确定当前检测图像帧中的检测范围；

根据所述检测范围，通过神经网络算法预测与所述当前检测图像帧相对应的检测结果；

其中，所述检测结果中包含手势检测区域以及手势类型。