[发明专利]手势识别方法、装置及机器人

权利要求书

1.一种手势识别方法，其特征在于，包括：

获取图像帧；

提取所述图像帧的肤色区域；

采用训练后的人手检测模型从所述肤色区域检测手部区域，并在检测出手部区域后，生成所述手部区域的框，根据所述手部区域的框的大小确定第一手势识别结果，所述人手检测模型包括分类器；

根据预设的特征点检测回归模型预测所述手部区域的框内的特征点位置；

根据预测的所述特征点位置生成手部形状的遮罩图像；

将所述手部形状的遮罩图像与预设的参考手势图像比较，根据比较结果确定所述手部形状的遮罩图像对应的第二手势识别结果；

根据所述第一手势识别结果和所述第二手势识别结果确定所述图像帧中的最终手势识别结果。

2.如权利要求1所述的手势识别方法，其特征在于，所述提取所述图像帧的肤色区域，包括：

将所述图像帧分别转换为预设的第一颜色空间下的第一图像帧和预设的第二颜色空间下的第二图像帧；

从所述第一图像帧提取出所述第一肤色区域，以及，从所述第二图像帧提取出第二肤色区域；

根据所述第一肤色区域和所述第二肤色区域确定所述图像帧的肤色区域。

3.如权利要求1所述的手势识别方法，其特征在于，所述采用训练后的人手检测模型从所述肤色区域检测手部区域，并在检测出手部区域后，生成所述手部区域的框，根据所述手部区域的框的大小确定第一手势识别结果，包括：

采用训练后的人手检测模型从所述肤色区域检测手部区域，并在检测出手部区域后，生成所述手部区域的至少2个框，以及所述至少2个框对应的置信度；

确定置信度最高的框的长宽比，根据所述长宽比以及预设的长宽比与手势的映射关系确定所述长宽比对应的第一手势识别结果。

4.如权利要求3所述的手势识别方法，其特征在于，在所述确定置信度最高的框的长宽比，根据所述长宽比以及预设的长宽比与手势的映射关系确定所述长宽比对应的第一手势识别结果之前，包括：

跟踪置信度最高的框；

对应地，所述确定置信度最高的框的长宽比，根据所述长宽比以及预设的长宽比与手势的映射关系确定所述长宽比对应的第一手势识别结果，具体为：

若在预设时长内跟踪所述置信度最高的框成功，则确定置信度最高的框的长宽比，根据所述长宽比以及预设的长宽比与手势的映射关系确定所述长宽比对应的第一手势识别结果。

5.如权利要求4所述的手势识别方法，其特征在于，所述手势识别方法还包括：

若在预设时长内跟踪所述置信度最高的框失败，则识别处于跟踪失败和跟踪成功之间的图像帧的手势，根据识别的手势确定对应的抓取动作。

6.如权利要求1至5任一项所述的手势识别方法，其特征在于，所述根据所述第一手势识别结果和所述第二手势识别结果确定所述图像帧中的最终手势识别结果，包括：

若所述第一手势识别结果与所述第二手势识别结果相同，则将所述第一手势识别结果确定为所述图像帧中的最终手势识别结果；

若所述第一手势识别结果与所述第二手势识别结果不同，则返回获取图像帧的步骤。

7.如权利要求1至5任一项所述的手势识别方法，其特征在于，所述手势识别方法还包括：

若在所述图像帧中未检测到肤色区域，则发出提示。