[发明专利]一种基于单目视觉的手势识别方法和装置

权利要求书

1.一种基于单目视觉的手势识别方法，其特征在于，包括：

通过沿导轨做往复运动的单目摄像装置采集不同位置的图像序列；

将单目摄像装置移动时采集的不同位置的图像序列，应用运动三角测量原理，求解单目摄像装置的运动，计算像素点对应的空间位置，生成深度图像视频序列；

其中，所述运动三角测量原理计算像素点对应的空间位置包括：根据向量方程求解两像素点P₀、P₁在对应空间位置P点的空间坐标；其中，P₀、P₁是单目摄像装置在两个不同位置对P点进行拍摄后生成的P点在两幅图像中的像素点；C₀、C₁是单目摄像装置在所述两个不同位置拍摄时光心的空间位置，且C₀、C₁、P三点共面；

对所述深度图像视频序列中的每一帧深度图像进行手部分割处理，获得手部深度图像视频序列；

根据预先建立的手势识别深度学习模型，对所述手部深度图像视频序列进行处理，获得每一帧的手势特征向量；

根据所述每一帧的手势特征向量，进行静态手势识别和动态手势识别。

2.根据权利要求1所述的基于单目视觉的手势识别方法，其特征在于，所述单目摄像装置沿导轨做往复运动时，按照预设时间间隔或者预设距离间隔采集图像序列。

3.根据权利要求1所述的基于单目视觉的手势识别方法，其特征在于，所述手势识别深度学习模型为21关节点手部模型，或者多层卷积神经网络模型、或者深度残差网络模型、或者对抗神经网络模型、或者混合神经网络模型，或者26自由度手部模型。

4.根据权利要求1所述的基于单目视觉的手势识别方法，其特征在于，根据所述每一帧的手势特征向量，进行静态手势识别，包括：

对所述手势特征向量进行量化，获得单帧离散特征向量；

根据所述单帧离散特征向量对静态手势分类器进行训练，获得静态手势分类器参数；

采用经训练后的静态手势分类器，对所述单帧离散特征向量进行分类判别，输出手势识别结果。

5.根据权利要求1所述的基于单目视觉的手势识别方法，其特征在于，根据所述每一帧的手势特征向量，进行动态手势识别，包括：

将每个动态手势动作用T帧表示；

对T帧手势特征向量进行量化，获得T帧离散特征向量；

根据所述T帧离散特征向量对动态手势分类器进行训练，获得动态手势分类器参数；

采用经训练后的动态手势分类器，对所述T帧离散特征向量进行分类判别，输出手势识别结果。

6.一种基于单目视觉的手势识别装置，其特征在于，包括单目摄像装置、导轨以及控制装置；

所述单目摄像装置沿导轨做往复运动；

所述单目摄像装置用于采集不同位置的图像序列；

所述控制装置用于将单目摄像装置移动时采集的不同位置的图像序列，应用运动三角测量原理，求解单目摄像装置的运动，计算像素点对应的空间位置，生成深度图像视频序列，对所述深度图像视频序列中的每一帧深度图像进行手部分割处理，获得手部深度图像视频序列，根据预先建立的手势识别深度学习模型，对所述手部深度图像视频序列进行处理，获得每一帧的手势特征向量，根据所述每一帧的手势特征向量，进行静态手势识别和动态手势识别；

其中，所述运动三角测量原理计算像素点对应的空间位置包括：根据向量方程求解两像素点P₀、P₁在对应空间位置P点的空间坐标；其中，P₀、P₁是单目摄像装置在两个不同位置对P点进行拍摄后生成的P点在两幅图像中的像素点；C₀、C₁是单目摄像装置在所述两个不同位置拍摄时光心的空间位置，且C₀、C₁、P三点共面。