[发明专利]一种动态手势识别方法及系统

说明书

本发明涉及识别技术领域，公开了一种动态手势识别方法，包括：根据一预设采样帧数，获取一组具有所述采样帧数的图像的手部动作视频；根据一预设的深度学习模型进行手型识别，获取每一帧图像所对应的手型类别，并根据时间顺序对所有帧图像进行排列，当手型类别为所述某一状态的手型的连续帧图像的帧数大于一预设的帧数阈值，标记所述手势的手势名称。本发明还公开了一种动态手势识别的系统。通过本发明提供的方法及系统，可以能够通过消耗较少的计算资源进行手势识别。

技术领域

本发明涉及识别技术领域，特别涉及一种动态手势识别方法及系统。

背景技术

当下，随着人工智能技术的迅猛发展，对于多种人机交互或者增强现实的任务来说，手势逐渐成为设备输入的重要来源之一，所以准确的手势识别显得越来越重要，并且在计算机视觉领域中吸引了越来越多的注意力。

特征工程指的是把原始数据转变为模型的训练数据的过程，它的目的是就是获取更好的训练数据特征，使机器学习模型逼近这个上限。特征工程能使得模型的性能得到提升，有时甚至在简单的模型也能取得不错的效果。特征工程在机器学习中占有非常重要的作用，一般包括特征构建、特征提取和特征选择三部分。特征提取与特征选择都是为了从原始特征中找出最有效的特征。它们之间的区别就是特征提取强调通过特征转换的方式得到一组具有明显物理意义或统计意义的特征，而特征选择是从特征集中挑选一组具有物理或统计意义的特征子集。二者都能帮助减少特征的纬度、数据冗余。特征提取有时能发现更有意义的特征属性，特征选择的过程经常能表示出每个特征对于模型构建的重要性。

比如，专利申请号为201810002966.7动态手势获取方法，获取取景范围之内用户的人脸区域，在所述人脸区域之外的取景范围内生成手势识别区域，获取所述手势识别区域内用户手部的运动轨迹曲线，基于所述运动轨迹曲线确定所述用户的动态手势。目前在2D手势识别中，一种技术方案是采用了传统的特征工程。该技术方案基本上就是定义出算法的运行方法、描述符、算法等，并使用预先定义好的算法参数进行运算。该方案的缺点是算法的精度不一定能够满足产品的要求。同时这些特征工程，一般而言需要巨大的运算量，这些巨大的运算量会对嵌入式设备的资源要求比较高，增加了成本。

2D手势识别的另外一种技术方案是直接使用深度学习网络，通过回归得到相应的手型。该方案的优点是精确度很高，如果使用嵌入式神经网络的话，其运算速度也会很快。深度学习框架使用的模型很多是基于静态的手势识别，而不是动态的手势识别，因为静态手型的表现力较差，不能满足商业级应用的要求。

因此，本发明提供一种2D动态手势的识别技术方案，结合传统方法和深度学习网络，对动态2D手势进行识别，解决现有技术中的问题。

发明内容

本发明的目的在于提供一种动态手势识别方法及系统，能够快速并准确地进行动态手势识别。

为实现上述目的，本发明提供了一种动态手势识别方法，所述方法包括：根据一预设的采样帧数，获取一组具有所述采样帧数的图像的手部动作视频；根据一预设的mobileNetv2-ssd深度学习模型，对每一帧图像进行手型识别，获取每一帧图像所对应的手型类别，其中，所述手型类别包括第一状态的手型、中间状态的手型和第二状态的手型。根据时间顺序对所有帧图像进行排列，当手型类别为所述中间状态的手型的连续帧图像的帧数大于一预设的帧数阈值，并且所述手型类别为所述第一状态的手型的连续帧图像的帧数大于所述帧数阈值，以及所述手型类别为所述第二状态的手型的连续帧图像的帧数大于所述帧数阈值时，标记所述手势的手势名称。本发明结合深度学习网络和传统特征工程方法，对2D动态手势进行识别，能够快速并准确地进行手势识别。其运算速度快，并且精确度高。