[发明专利]手势识别方法、系统、介质及设备

说明书

本发明属于视觉识别技术领域，尤其涉及一种手势识别方法、系统、介质及设备。本发明旨在解决如何准确且高效地对训练手势识别模型的手势图像进行标注，以提高手势识别模型的训练效率与准确性的技术问题。为此目的，本发明的手势识别方法包括：采集不同场景下不同类别手势的视频，并从中抽取多帧图像，根据手势的图像特征与手势的类别生成图像标签，构建手势识别训练集；应用手势识别训练集对分类识别模型进行训练，以获取手势分类识别模型；采用手势分类识别模型对待检测图像进行手势识别。本发明通过自动获取手势图像特征，结合手势类别，构建手势识别训练集，对手势分类识别模型进行训练，训练过程更为准确高效。

技术领域

本发明属于视觉识别技术领域，尤其涉及一种手势识别方法、系统、介质及设备。

背景技术

手势识别技术已经普遍应用于各种智能终端中，通过手势能够对智能终端如手机进行控制完成相应的功能操作，可以实现智能终端更为灵活自然的操作过程，能够有效提升操作过程的简便性，并进一步提升用户体验。

传统的手势识别方法往往采用人工提取特征的方法进行手势检测，这个过程需要设计复杂的数据处理规则，并且此过程的泛化性、鲁棒性等方面的性能会比较差。例如使用直方图对肤色进行检测从而分割手部的方法，很容易将人脸等位置误检为手部。同时传统的手势识别方法也很难通过RGB(Red、Green、Blue)图片(三原色图片)对手部的各个关键点进行精准定位，也就难以实现细粒度控制。采用先进的基于深度学习深度神经网络进行手势识别的方法就能够将手势识别的性能有效提升。

但是，由于手势的种类是多种多样的，甚至可以定义无数种类型。在使用深度神经网络对手势识别模型进行训练时，常规的方法是每需要识别一种手势时，就需要采集并标注此种手势的图片，对手势识别模型进行训练，而这个标注过程是需要耗费大量的时间和人力成本的。

发明内容

为了解决现有技术中的上述问题，即为了解决如何准确且高效地对训练手势识别模型的手势图像进行标注，以提高手势识别模型的训练效率与准确性的技术问题，本发明提供了一种手势识别方法，包括：

获取在不同场景下不同类别手势的视频；

针对每类手势，从每类手势对应的每个场景下的视频中分别采集多帧图像，根据每帧所述图像中关于手势的图像特征与所述手势的类别生成每帧所述图像的图像标签，以及根据每帧所述图像以及相应的图像标签构建每类手势的手势识别训练集；

采用每类手势的手势识别训练集对分类识别模型进行训练，以获取手势分类识别模型；

采用所述手势分类识别模型对待检测图像进行手势识别。

在上述手势识别方法的一个可选技术方案中，在“根据每帧所述图像中关于手势的图像特征与所述手势的类别生成每帧所述图像的图像标签”的步骤之前，所述手势识别方法还包括：

将所述采集的多帧图像输入至手部关键点检测模型，分别获得每帧所述图像中每个手部的手部关键点的位置信息；

将所述手部关键点的位置信息作为所述关于手势的图像特征；

或者，在“根据每帧所述图像中关于手势的图像特征与所述手势的类别生成每帧所述图像的图像标签”的步骤之前，所述方法还包括：

采用手部形状检测模型分别对每帧所述图像中的每个手部进行手部边缘检测，以获取每个手部的形状特征；

将所述手部的形状特征作为所述关于手势的图像特征。

在上述手势识别方法的一个可选技术方案中，“从每类手势对应的每个场景下的视频中分别采集多帧图像”的步骤具体为：

按照预设的时间间隔对每个场景下的视频分别进行多次图像采集，获得每个场景下的视频对应的多帧图像。