[发明专利]手势数据采集手套及基于手势数据采集手套的手语手势识别方法

权利要求书

1.基于手势数据采集手套的手语手势识别方法，其特征在于，包括以下步骤：

1)使用者佩戴手势数据采集手套，并做出g种中文拼音对应的手势；g为正整数；

2)在使用者做手势过程中，陀螺仪(1)和弯曲传感器(2)分别将采集到的陀螺仪传感信号、手指关节弯曲信号发送至主控模块(3)；

主控模块(3)通过通信模块(4)将接收到的陀螺仪传感信号、手指关节弯曲信号发送至上位机；

3)上位机将接收到的陀螺仪传感信号、手指关节弯曲信号存储在传感信号数据集A中，并打上手势类别标签；手势类别集合记为G＝{y1,y2,...,yg}；yg表示第g种中文拼音对应的手势；

上位机对传感信号数据集A进行预处理；

4)对预处理后的传感信号数据集A进行时序分割，建立传感信号数据集X＝[X₁，X₂，…，X_W]；X_i表示使用者做第i个手势时传感器采集的传感信号数据子集；i＝1，2，…，W；

5)对传感信号数据集X进行特征提取，并建立手势训练数据集C；

6)利用手势训练数据集C建立手势识别分类器；所述手势识别分类器包括KNN子分类器、朴素贝叶斯子分类器和BP子分类器；

7)利用手势识别分类器实时识别使用者当前做出的手势；

利用手势识别分类器实时识别使用者当前做出的手势的主要步骤如下：

7.1)陀螺仪(1)、弯曲传感器(2)实时监测使用者当前做出的手势时产生的陀螺仪传感信号和弯曲传感信号，发送至主控模块(3)；

主控模块(3)通过通信模块(4)将接收到的陀螺仪传感信号、手指关节弯曲信号发送至上位机；

7.2)上位机对当前接收到的陀螺仪传感信号、手指关节弯曲信号进行预处理、时序分割和特征提取，并将提取到的特征数据集x＝{x1,x2,...,xk}发送至手势识别分类器；k为特征数据总数；

7.3)将特征数据集x输入到KNN子分类器，输出待测手势的预测分类结果Q₁，主要步骤为：

7.3.1)分别计算特征数据集x每个元素与手势训练数据集C中所有元素之间的欧式距离，并基于欧式距离对训练样本集元素进行升序排列，得到手势训练数据集C'；

7.3.2)提取出手势训练数据集C'前K个元素，并确定K个元素对应的手势类别；

7.3.3)以出现频率最高的手势类别作为KNN子分类器输出的待测手势的预测分类结果Q₁；

7.4)将特征数据集x输入到朴素贝叶斯子分类器，输出待测手势的预测分类结果Q₂，主要方法为：利用贝叶斯公式分别计算概率P(y1|x)、P(y2|x)、....、P(yg|x)；以最大概率对应的手势类别作为朴素贝叶斯子分类器输出的待测手势的预测分类结果Q₂；

7.5)将特征数据集x输入到BP子分类器，输出待测手势的预测分类结果Q₃；

7.6)所述手势识别分类器识别使用者当前手势类别，主要分为以下两种情况：

I)当预测分类结果Q₁、预测分类结果Q₂、预测分类结果Q₃至少有2个预测分类结果存在重复时，以重复的预测分类结果作为使用者当前手势类别Q；

II)当预测分类结果Q₁、预测分类结果Q₂、预测分类结果Q₃均不一致时，使用者当前手势类别Q＝Q₁u₁+Q₂u₂+Q₃u₃；其中，u₁、u₂、u₃分别表示KNN子分类器输出的预测分类结果Q₁的可信任度、朴素贝叶斯子分类器输出的预测分类结果Q₂的可信任度、BP子分类器输出的预测分类结果Q₃的可信任度；

可信任度u_q如下所示：

u_q＝(TP+TN)/(P+N)      (1)

式中，q＝1，2，3；TP表示正确地划分为正例的个数，即实际为正例且被分类器划分为正例的样本数；TN表示被正确地划分为负例的个数，即实际为负例且被分类器划分为负例的样本数；P+N为总样本数。