[发明专利]一种基于计算机视觉的手势识别方法及识别装置

说明书

本发明提供一种基于计算机视觉的手势识别方法及识别装置，能够提高手势定位、手势识别的准确率，解决了在自然条件下，手势识别过程不能充分的利用图像信息，且忽视时序特征的问题。所述方法包括：实时采集用户的手部视频；通过目标检测算法对采集的手部视频中的每帧图像进行目标检测，得到每帧图像中手部的位置和手势状态；根据检测得到的每帧图像中手部的位置和手势状态，提取每帧手势特征，保持手势特征在时间维度上的先后顺序，得到具有时序特征的特征矩阵；通过循环神经网络对得到的特征矩阵进行分析，识别出用户的手势。本发明涉及人机交互领域。

技术领域

本发明涉及人机交互领域，特别是指一种基于计算机视觉的手势识别方法及识别装置。

背景技术

在基于计算机视觉的手势识别领域中，有着非常多的难点，主要原因是手部的形状是多变的，而且手部动作具有时序性并非仅仅涉及到空间问题。在仅依赖图像数据的前提下，能够达到实时手势识别非常具有挑战性，所以实时手势识别向来是人机交互领域研究的热点问题。

自然条件下的手势识别主要涉及定位、识别和分类等多个过程。在以往的解决方案中很多研究者借助深度摄像机完成定位，或者通过运动帧差法结合肤色检测技术尝试找到手部位置，然而在深度摄像机普及率很低的情况下，第二种方法又因光照等因素导致稳定性和准确率都很差。同时手势识别阶段也非常依赖定位的准确性。手势是一个连续的过程，具有时序特征。由于技术发展的限制，之前的研究通常是将每一帧的特征做成一个集合，使用传统的机器学习手段如SVM(最大间隔分类器)进行分类，但这样会丢失了时序信息,导致手势识别准确率降低。

发明内容

本发明要解决的技术问题是提供一种基于计算机视觉的手势识别方法及识别装置，以解决现有技术所存在的手势定位、识别准确率低的问题。

为解决上述技术问题，本发明实施例提供一种基于计算机视觉的手势识别方法，包括：

实时采集用户的手部视频；

通过目标检测算法对采集的手部视频中的每帧图像进行目标检测，得到每帧图像中手部的位置和手势状态；

根据检测得到的每帧图像中手部的位置和手势状态，提取每帧手势特征，保持手势特征在时间维度上的先后顺序，得到具有时序特征的特征矩阵；

通过循环神经网络对得到的特征矩阵进行分析，识别出用户的手势。

进一步地，在通过目标检测算法对采集的手部视频中的每帧图像进行目标检测，得到每帧图像中手部的位置和手势之前，所述方法还包括：

获取用于手部目标检测的训练集；

构建用于手部目标检测的神经网络；

通过获取的训练集对构建的神经网络进行训练，得到手部目标检测模型，其中，所述手部目标检测模型，用于对采集的手部视频中的每帧图像进行目标检测。

进一步地，所述训练集中的每帧图像是经过数据清洗和数据标注的，标注的信息包括：手部在图像中位置信息和手势状态。

进一步地，通过目标检测算法检测得到的手部的位置包括：手部中心点的坐标、手部定位框的宽度和高度，以及指尖中心点的坐标、指尖定位框的宽度和高度。

进一步地，所述特征矩阵包括：单帧图像中的手势状态、手部框选面积、指尖距离和指尖运动梯度；

所述根据检测得到的每帧图像中手部的位置和手势状态，提取每帧手势特征，保持手势特征在时间维度上的先后顺序，得到具有时序特征的特征矩阵包括：