[发明专利]一种基于感知设备的手语识别系统及其工作方法

权利要求书

1.一种基于感知设备的手语识别系统，其特征在于，包括：

手势动作采集模块，用于实时采集用户手的关节点数据，对采集到的数据进行手势动作分割和特征提取；

手势动作模型库，用于存储手势动作特征和手势动作分类模型；

计算模块，用于手势动作分类，通过手势动作模型库中的手势动作分类模型对上述采集到手的关节点数据的动作特征进行分类，从而得到手势动作分类结果；

手势动作分割的方法为：

设定手势数据分割滑动窗口的长度L为40个采样点，手势数据使用手指指尖关节点数据；

手指指尖关节点的X轴、Y轴、Z轴的数据分别记为：(X(i)₁，X(i)₂，…，X(i)_L-1，X(i)_L)，(Y(i)₁，(Y(i)₂，…，Y(i)_L-1，Y(i)_L)，(Z(i)₁，Z(i)₂…，Z(i)_L-1，Z(i)_L)，与之对应的三轴坐标数据的方差记为其中，i取值为0到9，分别对应右手的拇指、食指、中指、无名指、小指和左手的拇指、食指、中指、无名指、小指；

滑动窗口内出现某一手指的某一轴数据的方差超过一定阈值，则该窗口是手势动作的开始窗口，将滑动窗口的开始位置作为手势动作的开始位置；

检测到开始位置后，滑动窗口继续移动，若某一手指的某一轴数据的方差超过一定阈值，则该窗口仍然处于手势工作过程中；若任一手指的任一轴数据的方差均未超过一定阈值，则该窗口为手势动作的结束窗口，将滑动窗口的开始位置作为手势动作的结束位置；

确定手势动作的开始位置和结束位置后，将手势动作成功分割；

手势特征为：手指的弯曲角度特征，每个手指相邻关节的夹角，每个手指有3个弯曲角度；手指指尖关节点间距离特征，同一只手两两指尖关节点的距离，每只手有10个距离；手指的手指指向特征，手指的指向向量，是一个三维向量；动态手势的位移特征，两个帧数据沿X轴、Y轴、Z轴的距离差；旋转角度特征，两个帧数据对应的旋转角度；旋转方向特征，两个帧数据对应的旋转方向，由旋转平面的法向量表示，是一个三维向量。

2.根据权利要求1所述的基于感知设备的手语识别系统，其特征在于，所述系统还包括校准模块，用于校准用户双手是否处于有效检测范围内。

3.根据权利要求2所述的基于感知设备的手语识别系统，其特征在于，所述系统还包括显示模块，用于显示手势动作识别结果、感知设备状态、用户的双手高度和双手实时图像。

4.根据权利要求1所述的基于感知设备的手语识别系统，其特征在于，所述手势动作模型库中的手势动作特征具体为：手指的弯曲角度特征，手指指尖关节点间距离特征，手指的手指指向特征，动态手势的位移特征、旋转角度特征及旋转方向特征。