[发明专利]基于深度神经网络的手势识别检测方法与装置

说明书

本申请公开了基于深度神经网络的手势识别检测方法和装置。所述方法包括：通过摄像元件获取包含手势的图像序列；运用深度神经网络模型对图像序列中的手势进行检测，判定预定义手势事件是否发生，所述预定义手势事件包括一个或多个预定义手势的出现，所述预定义手势对预定义大小的图像块进行手势分类。通过上述方法实现了快速准确地识别预定义手势事件。

技术领域

本公开一般涉及智能识别技术领域，具体涉及基于神经网络的手势识别检测技术领域，尤其涉及基于深度神经网络的手势识别检测方法与装置。

背景技术

嵌入式设备上的快速准确的手势识别检测系统，可极大方便用户与设备进行便捷的交互控制，在家具家电上创造出创新的用户体验。

在一些游戏机和智能家电的交互控制中，出现了采用利用深度摄像头如kinect或双目摄像头系统，获得人手的深度或立体信息从而进行手势识别检测的技术方案，但这类方案由于需要深度摄像头或多摄像头方案，硬件成本高且需要耗费相当大的计算资源。使用单目摄像头进行手势识别检测的技术方案中，通常基于肤色形状轮廓特征，采用SVM或决策树等分类方法检测跟踪手势，无法实现准确的手势识别检测。另外，在提取复杂的图像特征时，由于计算量大，导致无法实现在嵌入式设备上的快捷人机交互。

发明内容

鉴于现有技术中的上述缺陷或不足，期望提供一种快速准确地进行手势识别检测的方法与装置。

根据本发明的第一方面，提供一种基于深度神经网络的手势识别检测方法，所述方法包括：

通过摄像元件获取包含手势的图像序列；

运用深度神经网络模型对图像序列中的手势进行检测，判定预定义手势事件是否发生，所述预定义手势事件包括一个或多个预定义手势的出现，所述预定义手势对预定义大小的图像块进行手势分类。

优选地，运用深度神经网络模型对图像序列中的手势进行检测，包括以下步骤：

在单帧图像内运用卷积神经网络进行从粗到细的手势识别检测，获得预定义手势事件是否发生的初步判定结果；

对连续图像序列中的初步判定结果序列，运行递归神经网络分类模型，获得预定义手势事件是否发生的精确判定结果。

优选地，在单帧图像内运用卷积神经网络进行从粗到细的手势识别检测，包括：

对单帧图像的全图进行低分辨率的降采样，获得低分辨率的尺度空间的图像；

将单帧图像的全图输入到卷积神经网络模型，对每个位置的输入图像进行二分类，获得在所述较低分辨率的尺度空间的图像上预测手出现位置的手势位置概率图；

在手势位置概率图上通过聚类，找到手势概率出现的最高峰，估算该最高峰在手势概率图中的大致位置范围；

在估算的大致位置范围内，对单帧图像的全图进行多个分辨率的降采样，获得多个分辨率的尺度空间的图像，

运行基于卷积神经网络的多分类模型，在所述多个分辨率的尺度空间的图像中利用滑动窗搜索所述预定义手势，将搜索结果作为所述初步判定结果的依据。

优选地，所述聚类采用Mean-shift算法。

可选地，运行所述多分类模型包括，将图像块分为以下中的一个或多个：非手势、手掌、握拳、举大拇指、V字手势。

可选地，预定义手势事件，包括手掌同一位置悬停、手掌变握拳、手掌上下左右移动或顺逆时钟画圈中的一个或多个。

根据本发明的第二方面，提供一种基于深度神经网络模型的手势识别检测装置，包括：

摄像单元，该摄像单元用于获取包含人的手势的连续图像序列；以及