[发明专利]手势识别方法、装置及机器人

说明书

本申请适用于手势识别技术领域，提供了手势识别方法、装置及机器人，包括：提取图像帧的肤色区域；采用训练后的人手检测模型从所述肤色区域检测手部区域，并在检测出手部区域后，生成所述手部区域的框，根据所述手部区域的框的大小确定第一手势识别结果；根据预设的特征点检测回归模型预测所述手部区域的框内的特征点位置；根据预测的所述特征点位置生成手部形状的遮罩图像；将所述手部形状的遮罩图像与预设的参考手势图像比较，根据比较结果确定所述手部形状的遮罩图像对应的第二手势识别结果；根据所述第一手势识别结果和所述第二手势识别结果确定所述图像帧中的最终手势识别结果。通过上述方法，能够得到更准确的手势识别结果。

技术领域

本申请属于手势识别技术领域，尤其涉及手势识别方法、装置、机器人及计算机可读存储介质。

背景技术

目前，人机交互主要通过手势实现，比如，机器人通过识别用户的手势实现与用户的交互。

当前的主流手势交互方法主要有两种：(1)基于深度图分割手部区域，估计手关节运动，进而识别手势。该方法由于需要获取深度信息，因此需要特定相机进行获取，该特定相机如双目摄像机或结构光或ToF(Time-of-Flight)相机等，但由于该类相机成本较高，因此会提高机器人的生产成本。(2)基于深度学习：通过采集各手势的数据训练手部检测深度模型和手势分类深度模型等。但由于深度模型一般要求较高的计算力，即需要特定计算芯片的支持，因此采用该方法也会提高机器人的生产成本。

故，需要提供一种新的方法以解决上述技术问题。

发明内容

本申请实施例提供了手势识别方法，可以解决现有方法难以在控制生产成本的基础上实现手势的准确识别的问题。

第一方面，本申请实施例提供了一种手势识别方法，包括：

获取图像帧；

提取所述图像帧的肤色区域；

采用训练后的人手检测模型从所述肤色区域检测手部区域，并在检测出手部区域后，生成所述手部区域的框，根据所述手部区域的框的大小确定第一手势识别结果，所述人手检测模型包括分类器；

根据预设的特征点检测回归模型预测所述手部区域的框内的特征点位置；

根据预测的所述特征点位置生成手部形状的遮罩图像；

将所述手部形状的遮罩图像与预设的参考手势图像比较，根据比较结果确定所述手部形状的遮罩图像对应的第二手势识别结果；

根据所述第一手势识别结果和所述第二手势识别结果确定所述图像帧中的最终手势识别结果。

第二方面，本申请实施例提供了一种手势识别装置，包括：

图像帧获取单元，用于获取图像帧；

肤色区域提取单元，用于提取所述图像帧的肤色区域；

手部区域检测单元，用于采用训练后的人手检测模型从所述肤色区域检测手部区域，并在检测出手部区域后，生成所述手部区域的框，根据所述手部区域的框的大小确定第一手势识别结果，所述人手检测模型包括分类器；

特征点位置预测单元，用于根据预设的特征点检测回归模型预测所述手部区域的框内的特征点位置；

遮罩图像生成单元，用于根据预测的所述特征点位置生成手部形状的遮罩图像；

第二手势识别结果确定单元，用于将所述手部形状的遮罩图像与预设的参考手势图像比较，根据比较结果确定所述手部形状的遮罩图像对应的第二手势识别结果；

最终手势识别结果确定单元，用于根据所述第一手势识别结果和所述第二手势识别结果确定所述图像帧中的最终手势识别结果。