[发明专利]基于视觉实现手势识别的系统和方法

摘要

基于视觉实现手势识别的系统，包括如下模块：手部检测模块、手部姿态估计模块和手部姿态估计模块；基于视觉实现手势识别的方法，包括下列操作步骤：(1)将对齐的RGB图片输入到手部检测模块中，得到手的边界框；(2)手部姿态估计模块截取深度图中对应的手的部分，得到手部关键关节点的3D坐标；(3)将所述手部关键关节点的3D坐标输入到手势识别模块，得到数字手势编码；(4)根据数字手势编码，对手势进行相似度度量，从而实现手势识别；本发明的系统和方法具有良好的准确率、实时性和鲁棒性。

主权项

1.基于视觉实现手势识别的系统，其特征在于：所述系统包括如下模块：/n手部检测模块：该模块的功能是从输入的对齐的RGB图片中获得手的边界框；该模块基于SSD网络修改而成，该模块由三部分组成：基础网络子模块、附加层子模块和预测层子模块；/n基础网络子模块的主要功能是完成特征提取，并生成较大分辨率特征图，并利用所述的特征图生成设定尺寸和设定宽高比的默认边界框；该子模块基于VGG16网络修改而成，具体为：该子模块使用了VGG16网络的全部卷积层，并将VGG16网络的两个全连接层替换为两个普通的卷积层；/n附加层子模块由一系列卷积层组成，两个为一组，该子模块的主要功能是用于生成较小分辨率特征图，并利用所述的特征图生成设定尺寸和设定宽高比的默认边界框；/n预测层子模块由卷积层组成，该子模块的主要功能是对所述的每个特征图进行两个卷积滤波处理，并分别预测所述特征图上默认边界框的位置偏移和默认边界框的类别置信度，即默认边界框中包含手部的概率；/n预测默认边界框位置偏移的卷积层由4×q个大小为3×3×p的卷积核组成，其中参数q为特征图每个点上生成的默认边界框个数，参数p为特征图的通道数；/n预测默认边界框类别置信度的卷积层由c×q个大小为3×3×p的卷积核组成，其中参数c为预测的类别总数；/n手部姿态估计模块：该模块的功能是：利用手部检测模块所获得的手的边界框，对与所述的对齐的RBG图片对应的深度图进行数据预处理，截取所述深度图中对应的手的部分，得到手部关键关节点的3D坐标；所述关键关节点的3D坐标是关节点在图像坐标系下的位置，可变换到相机坐标系下，当对相机进行标定后，相机坐标系即为世界坐标系；为了提高鲁棒性，当手部检测模块未检测到手时，手部姿态估计模块截取所述深度图一定深度阈值内的点作为手的部分；手部姿态估计模块直接使用Resnet18网络预测手的关键关节点在图像坐标系中的3D坐标，即(u,v,d)；/n手势识别模块：该模块的功能是基于手部姿态估计模块的输出结果，即手的关键关节点在图像坐标系中的3D坐标，识别单根手指状态与指间关系，输出数字手势编码；识别精度主要取决于手部姿态估计模块的精度，对手掌与摄像头的角度、手掌大小等均有较强的鲁棒性。/n