[发明专利]一种基于单目视觉的手势识别方法和装置

说明书

本发明提供了一种基于单目视觉的手势识别方法及装置，方法包括：通过沿导轨做往复运动的单目摄像装置采集不同位置的图像序列；将单目摄像装置移动时采集的不同位置的图像序列，应用运动三角测量原理，求解单目摄像装置的运动，计算像素的空间位置，生成深度图像视频序列；对深度图像视频序列中的每一帧深度图像进行手部分割处理，获得手部深度图像视频序列；根据预先建立的手势识别深度学习模型，对手部深度图像视频序列进行处理，获得每一帧的手势特征向量；根据每一帧的手势特征向量，进行静态手势识别和动态手势识别；通过单目摄像头移动方式生成的手部深度图像视频序列，应用手势识别深度学习模型提取手势特征，有效提高手势识别的准确率。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于单目视觉的手势识别方法和装置。

背景技术

手势识别在人机交互、游戏娱乐、车载应用等方面有着广泛的应用。手势识别装置以视觉、红外、雷达等方式感知手势环境，其中视觉感知方式的应用最为普遍。传统的视觉手势识别以单目或双目摄像头采集图像，然后进行手势特征提取和手势分类识别。

但是，由于手势本身具有的复杂多变性、手的高纬度和多自由度等特性，单目摄像头采集的手势图像不具备深度信息，后续的手势特征提取一般通过肤色进行手势分割，易受个体差异、光照、背景等影响，因此单目视觉手势识别准确率较低和普适性较差；而双目摄像头设备，例如微软公司的3D体感设备kinect，虽然可以获取图像的深度信息用于手势识别，但不足在于需要特殊的视频采集设备来获取手势图像和深度信息，且设备成本较高。

在视觉手势特征提取方面，传统的视觉特征提取手势的几何特征，包括手型、手部质心位置、矩特征、尺度不变特征等，用于满足旋转、平移和尺度不变性的需求，因此这类人工构造的特征需要大量的先验知识，且可构造的特征非常有限，从而限制了手势识别准确率。

发明内容

本发明的目的在于针对上述现有技术中的单目视觉手势识别准确率较低和普适性较差的问题，提出一种基于单目视觉的手势识别方法和装置，能够有效提高手势识别的准确率和普适性。

一种基于单目视觉的手势识别方法，包括：

通过沿导轨做往复运动的单目摄像装置采集不同位置的图像序列；

将单目摄像装置移动时采集的不同位置的图像序列，应用运动三角测量原理，求解单目摄像装置的运动，计算像素的空间位置，生成深度图像视频序列；

对所述深度图像视频序列中的每一帧深度图像进行手部分割处理，获得手部深度图像视频序列；

根据预先建立的手势识别深度学习模型，对所述手部深度图像视频序列进行处理，获得每一帧的手势特征向量；

根据所述每一帧的手势特征向量，进行静态手势识别和动态手势识别。

进一步地，所述单目摄像装置沿导轨做往复运动时，按照预设时间间隔或者预设距离间隔采集图像序列。

进一步地，所述手势识别深度学习模型为21关节点手部模型，或者多层卷积神经网络模型、或者深度残差网络模型、或者对抗神经网络模型、或者混合神经网络模型，或者26自由度手部模型。

进一步地，根据所述每一帧的手势特征向量，进行静态手势识别，包括：

对所述手势特征向量进行量化，获得单帧离散特征向量；

根据所述单帧离散特征向量对静态手势分类器进行训练，获得静态手势分类器参数；

采用经训练后的静态手势分类器，对所述单帧离散特征向量进行分类判别，输出手势识别结果。

进一步地，根据所述每一帧的手势特征向量，进行动态手势识别，包括：

将每个动态手势动作用T帧表示；