[发明专利]手势识别方法、系统、介质及设备

权利要求书

1.一种手势识别方法，其特征在于，所述方法包括：

获取在不同场景下不同类别手势的视频；

针对每类手势，从每类手势对应的每个场景下的视频中分别采集多帧图像，根据每帧所述图像中关于手势的图像特征与所述手势的类别生成每帧所述图像的图像标签，以及根据每帧所述图像以及相应的图像标签构建每类手势的手势识别训练集；

采用每类手势的手势识别训练集对分类识别模型进行训练，以获取手势分类识别模型；

采用所述手势分类识别模型对待检测图像进行手势识别。

2.根据权利要求1所述的手势识别方法，其特征在于，在“根据每帧所述图像中关于手势的图像特征与所述手势的类别生成每帧所述图像的图像标签”的步骤之前，所述手势识别方法还包括：

将所述采集的多帧图像输入至手部关键点检测模型，分别获得每帧所述图像中每个手部的手部关键点的位置信息；

将所述手部关键点的位置信息作为所述关于手势的图像特征；

或者，

在“根据每帧所述图像中关于手势的图像特征与所述手势的类别生成每帧所述图像的图像标签”的步骤之前，所述方法还包括：

采用手部形状检测模型分别对每帧所述图像中的每个手部进行手部边缘检测，以获取每个手部的形状特征；

将所述手部的形状特征作为所述关于手势的图像特征。

3.根据权利要求1所述的手势识别方法，其特征在于，“从每类手势对应的每个场景下的视频中分别采集多帧图像”的步骤具体为：

按照预设的时间间隔对每个场景下的视频分别进行多次图像采集，获得每个场景下的视频对应的多帧图像。

4.根据权利要求2所述的手势识别方法，其特征在于，所述手势分类识别模型为基于YOLO模型构建的分类识别模型或者所述手势分类识别模型为基于SSD模型构建的分类识别模型或者所述手势分类识别模型为基于Faster-RCNN模型构建的分类识别模型；

并且/或者，

所述手部关键点检测模型为基于SRHandNet构建的检测模型或者所述手部关键点检测模型为基于openPose模型构建的检测模型。

5.一种手势识别系统，其特征在于，所述系统包括：

视频获取模块，其用于获取在不同场景下不同类别手势的视频；

训练集获取模块，其用于针对每类手势，从每类手势对应的每个场景下的视频中分别采集多帧图像，根据每帧所述图像中关于手势的图像特征与所述手势的类别生成每帧所述图像的图像标签，以及根据每帧所述图像以及相应的图像标签构建每类手势的手势识别训练集；

模型训练模块，其用于采用每类手势的手势识别训练集对分类识别模型进行训练，以获取手势分类识别模型；

手势识别模块，其用于采用所述手势分类识别模型对待检测图像进行手势识别。

6.根据权利要求5所述的手势识别系统，其特征在于，所述训练集获取模块包括第一图像特征获取子模块和/或第二图像特征获取子模块；

所述第一图像特征获取子模块包括：

关键点获取单元，其用于将所述采集的多帧图像输入至手部关键点检测模型，分别获得每帧所述图像中每个手部的手部关键点的位置信息；

图像特征获取单元，其用于将所述手部关键点的位置信息作为所述关于手势的图像特征；

所述第二图像特征获取子模块包括：

手部形状检测单元，其用于采用手部形状检测模型分别对每帧所述图像中的每个手部进行手部边缘检测，以获取每个手部的形状特征；

图像特征获取单元，其用于将所述手部的形状特征作为所述关于手势的图像特征。

7.根据权利要求5所述的手势识别系统，其特征在于，所述训练集获取模块包括图像采集子模块，所述图像采集子模块用于按照预设的时间间隔对每个场景下的视频分别进行多次图像采集，获得每个场景下的视频对应的多帧图像。