[发明专利]基于视觉实现手势识别的系统和方法

权利要求书

1.基于视觉实现手势识别的系统，其特征在于：所述系统包括如下模块：

手部检测模块：该模块的功能是从输入的对齐的RGB图片中获得手的边界框；该模块基于SSD网络修改而成，该模块由三部分组成：基础网络子模块、附加层子模块和预测层子模块；

基础网络子模块的主要功能是完成特征提取，并生成较大分辨率特征图，并利用所述的特征图生成设定尺寸和设定宽高比的默认边界框；该子模块基于VGG16网络修改而成，具体为：该子模块使用了VGG16网络的全部卷积层，并将VGG16网络的两个全连接层替换为两个普通的卷积层；

附加层子模块由一系列卷积层组成，两个为一组，该子模块的主要功能是用于生成较小分辨率特征图，并利用所述的特征图生成设定尺寸和设定宽高比的默认边界框；

预测层子模块由卷积层组成，该子模块的主要功能是对所述的每个特征图进行两个卷积滤波处理，并分别预测所述特征图上默认边界框的位置偏移和默认边界框的类别置信度，即默认边界框中包含手部的概率；

预测默认边界框位置偏移的卷积层由4×q个大小为3×3×p的卷积核组成，其中参数q为特征图每个点上生成的默认边界框个数，参数p为特征图的通道数；

预测默认边界框类别置信度的卷积层由c×q个大小为3×3×p的卷积核组成，其中参数c为预测的类别总数；

手部姿态估计模块：该模块的功能是：利用手部检测模块所获得的手的边界框，对与所述的对齐的RBG图片对应的深度图进行数据预处理，截取所述深度图中对应的手的部分，得到手部关键关节点的3D坐标；所述关键关节点的3D坐标是关节点在图像坐标系下的位置，可变换到相机坐标系下，当对相机进行标定后，相机坐标系即为世界坐标系；为了提高鲁棒性，当手部检测模块未检测到手时，手部姿态估计模块截取所述深度图一定深度阈值内的点作为手的部分；手部姿态估计模块直接使用Resnet18网络预测手的关键关节点在图像坐标系中的3D坐标，即(u，v，d)；

手势识别模块：该模块的功能是基于手部姿态估计模块的输出结果，即手的关键关节点在图像坐标系中的3D坐标，识别单根手指状态与指间关系，输出数字手势编码；根据数字手势编码，对手势进行相似度度量，从而实现手势识别；识别精度主要取决于手部姿态估计模块的精度，对手掌与摄像头的角度、手掌大小等均有较强的鲁棒性；

所述数字手势编码的内容是：

数字手势编码为由12个数字构成的数字向量，具体如下：(f₁，f₂，f₃，f₄，f₅，f₁₂，f₁₃，f₁₄，f₁₅，f₂₃，f₃₄，f₄₅)^T，其中元素f_i表示单根手指状态，下标i∈{1，2，3，4，5}，具体是：f₁代表大拇指单根手指状态，f₂代表食指单根手指状态，f₃代表中指单根手指状态，f₄代表无名指单根手指状态，f₅代表小手指单根手指状态；元素f_ij表示手指间的关系，下标i∈{1，2，3，4，5}，j∈{2，3，4，5}，具体是：f₁₂表示大拇指和食指的指间关系，f₁₃表示大拇指和中指的指间关系，f₁₄表示大拇指和无名指的指间关系，f₁₅表示大拇指和小手指的指间关系，f₂₃表示食指和中指的指间关系，f₃₄表示中指和无名指的指间关系，f₄₅表示无名指和小手指的指间关系；

具体取值如下：

f_i取值为1，表示手指状态为向上；f_i取值为2，表示手指状态为弯曲；f_i取值为3，表示手指状态为向前；f_i取值为4，表示手指状态为侧边；f_i取值为5，表示手指状态为半闭合；f_i取值为6，表示手指状态为闭合；f_i取值为0，表示未定义；

f_ij取值为1，表示指间关系为分离；f_ij取值为2，表示指间关系为组合；f_ij取值为3，表示指间关系为分叉；f_ij取值为4，表示指间关系为环路；f_ij取值为0，表示未定义。