[发明专利]一种基于数据手套的动态手势识别方法及系统

权利要求书

1.一种基于数据手套的动态手势识别方法，其特征在于，包括步骤：

S1：获取受试者佩戴数据手套时不同手势动作的传感数据信息，调整上位机程序采样频率为30Hz，动态手势采集模式下采集不同手势动作1-2s，并进行记录和保存；

S2：对采集到的传感数据信息进行手势识别模型的训练，采用MS-1D-CNN神经网络进行训练，分为三个模态的数据进行特征提取与融合，以重采样方式改变样本统一长度为60后传入CNN；

S3：利用多段阈值检测流程分析手势起始结束位置点；

S4：将训练完成的手势识别模型应用于QT客户端程序中，实时对受试者的手势动作进行识别。

2.根据权利要求1所述的基于数据手套的动态手势识别方法，其特征在于，所述步骤S1中的数据手套通过其内部的无线通信模组与上位机进行连接和传输数据；

上位机数据采集通过串口采集多路传感数据信息，分别为受试者五指的弯曲角度数据，以及数据手套背部惯性测量单元的三轴加速度和三轴角速度数据；

在上位机程序中将批量数据生成数据集Data_Dynamic，并将数据集进行存储。

3.根据权利要求2所述的基于数据手套的动态手势识别方法，其特征在于，所述步骤S2包括：

S21：将步骤S1中得到的动态手势数据集按照四比一的比例划分训练集与测试集，生成相应的数据集文件；

S22：使用动态手势数据集，设计Multi-Stream1D-CNN神经网络模型，提取多模态数据的融合特征，调整训练的超参数，保存识别率模型；

S23：将处理后的动态手势数据样本的测试集输入到Multi-Stream1D-CNN神经网络中进行测试，得到测试集的准确率和预测的时间，对模型进行选择。

4.根据权利要求1所述的基于数据手套的动态手势识别方法，其特征在于，所述步骤S3中阈值检测流程包括：

S31：通过蓝牙上位机持续接收数据手套的传感数据，对于连续手势数据流，进行手势段分割；

S32：采用滑动窗口法捕获数据手套的惯性测量单元数据，判断一个窗口内的惯性测量单元加速度波动次数，若超过阈值，则判定动态手势动作起始；

S33：读取数据手套的惯性测量单元的数据，在滑动窗口中，判断该窗口的非波动点次数，若超过阈值，则判定动态手势动作结束。

5.一种基于数据手套的动态手势识别系统，其特征在于，包括：

数据采集模块：用于获取受试者佩戴数据手套时不同手势动作的传感数据信息，调整上位机程序采样频率为30Hz，动态手势采集模式下采集不同手势动作1-2s，并进行记录和保存；

训练模块：用于对采集到的传感数据信息进行手势识别模型的训练，采用1D-CNN神经网络进行训练，分为三个模态的数据进行特征提取与融合，以重采样方式改变样本统一长度为60后传入CNN；

分析模块：用于利用多段阈值检测流程分析手势起始结束位置点；

动作识别模块：用于将训练完成的两种手势识别模型应用于QT客户端程序中，实时对受试者的手势动作进行识别。

6.根据权利要求5所述的基于数据手套的动态手势识别系统，其特征在于，所述数据手套通过其内部的无线通信模组与上位机进行连接和传输数据；

上位机数据采集通过串口采集多路传感数据信息，分别为受试者五指的弯曲角度数据，以及数据手套背部惯性测量单元的三轴加速度和三轴角速度数据；

在上位机程序中将批量数据生成数据集Data_Dynamic，并将数据集进行存储。