[发明专利]一种有效手势的识别方法、控制方法、装置和电子设备

权利要求书

1.一种有效手势的识别方法，其特征在于：包括下述步骤：

S11、获取摄像头采集的当前帧图像；

S12、按照预设的识别算法，对当前帧图像进行手势检测与识别，得到当前帧图像中手势的手势类别及识别结果的置信度，并根据该置信度的大小来判断是否接受该识别结果；

S13、对所述当前帧之后的一固定时间间隔内视频的所有图像帧依次进行手势检测和识别，得到图像中手势的手势类别及识别结果的置信度，并根据该置信度的大小来判断是否接受该识别结果；

S14、判断所述固定时间间隔内的所述图像帧中存在相同的手势类别的图像帧的占比是否大于预设的占比阈值，若是，则认为该手势为有效手势，若为否，则转入对下一帧图像进行识别，回到步骤S13。

2.如权利要求1所述的一种有效手势的识别方法，其特征在于：所述步骤S11中还对获取到的当前帧图像进行预处理：先对当前帧图像进行归一化处理，并根据上一帧图像手势检测和识别结果，判断上一帧图像是否检测到手势。

3.如权利要求2所述的一种有效手势的识别方法，其特征在于：所述步骤S12和所述步骤S13中的检测与识别具体为：

根据上一帧图像中的手势检测结果，选择第一神经网络模型或第二神经网络模型，第一神经网络模型为预训练好的卷积网络单次检测模型，用于直接在全图上预测手势的可能区域和类别，第二神经网络模型为预训练好的卷积网络单次检测模型，根据上一帧检测的手势区域对手势进行跟踪；

若是首侦图像或上一帧图像中未检测到手势，则将当前帧图像输入到第一神经网络模型进行手势检测和识别，并由所述第一神经网络模型输出当前帧图像中手势的可能区域的坐标、手势的可能类别和识别结果的置信度，若置信度大于等于预设的置信度阈值，则接受第一神经网络模型预测的检测和识别结果，若置信度小于预设的置信度阈值，则忽略；

若上一帧图像中检测到了手势，则将上一帧图像中手势的位置映射到到当前帧图像中，将当前帧图像上的映射区域按预设倍数向外进行扩展，将扩展后的映射区域输入到第二神经网络模型进行手势检测和识别，由所述第二神经网络模型输出当前图像中手势的可能区域的坐标、手势的可能类别和识别结果的置信度，若置信度大于预设的置信度阈值，则接受第二神经网络模型的预测结果，若置信度小于预设的置信度阈值，则忽略。

4.如权利要求3所述的一种有效手势的识别后的控制方法，其特征在于：所述第一神经网络模型的训练方法是：

获取第一类训练样本集及手势的标注信息；

对第一类训练样本集进行数据预处理：将第一类训练样本按照预设的宽高比进行随机大小的裁剪和镜像翻转；将手势的标注信息根据裁剪和翻转情况进行转换，将裁剪后的图片进行随机颜色增强；

使用预处理后的第一类样本集训练第一神经网络模型。

5.如权利要求3所述的一种有效手势的识别方法，其特征在于：所述第二神经网络模型的训练方法是：

获取第二类训练样本集及手势的标注信息；

对第二类训练样本集进行数据预处理：将第二类训练样本以手势框的位置加上随机偏移后的位置为中心，随机向外扩3到6倍进行裁剪和镜像翻转，将手势的标注信息根据裁剪和翻转情况进行转换，将裁剪后的图片进行随机颜色增强；

使用预处理后的第二类样本集训练第二神经网络模型。

6.一种有效手势的识别后的控制方法，其特征在于：包括下述步骤

S21、对当前帧之前的固定时间间隔内的所有检测帧的有效手势识别结果进行统计和分析，并判断该固定时间间隔内是否存在连续稳定的有效手势；

S22、判断该固定时间间隔内是否存在由一种连续稳定的有效手势类别变到另一种连续稳定的有效手势类别；

S23、当发现手势类别产生变化时，则执行与手势变化相对应的控制操作。