[发明专利]一种基于双流神经网络的手势识别方法

权利要求书

1.一种基于双流神经网络的手势识别方法，其特征在于：具体包括如下步骤：

步骤1，获取手势识别训练数据；

步骤2，对步骤1得到的训练数据进行预处理；

步骤3，确定由SAGCN网络和RBi-IndRNN构成的双流网络模型结构；

步骤4，设定步骤3构建的双流网络模型的训练参数；

步骤5，根据步骤4设定的网络参数，对步骤3构建的双流网络模型进行训练，并将训练好的模型输出；

步骤6，将待分类图片输入步骤5训练好的双流神经网络模型中，将SAGCN和RBi-IndRNN产生的属于不同手势分类的概率向量进行融合，并将融合后概率最大的手势类别记为最终被识别的手势标签。

2.根据权利要求1所述的一种基于双流神经网络的手势识别方法，其特征在于：所述步骤2的具体过程为：

步骤2.1，采用如下公式(1)、(2)计算步骤1获取的训练数据每一帧图像的手部关节平均坐标，生成图像重心

其中，表示所有手关节x坐标的平均值，x_i表示单个手关节的x坐标，n表示手关节的个数；

其中，表示所有手关节y坐标的平均值，y_i表示单个手关节的y坐标；

步骤2.2，以手关节重心G为参考点，将每个手指根节点的相邻节点分为两组，相比于根节点更靠近手关节重心G的相邻节点被定义为向心组，相比于根节点更远离手关节重心G位置的其他相邻节点被定义为离心组。

3.根据权利要求2所述的一种基于双流神经网络的手势识别方法，其特征在于：所述步骤3的具体过程为：

步骤3.1，SAGCN包含6层SAGCN单元，在每个SAGCN层中，设置注意力分量、GCN分量和TCN分量的核数量相同；经过6层SAGCN单元后，使用全局平均池对时空特征进行池化，最终通过全连接层和Softmax层进行手势分类；

步骤3.2，在RBi-IndRNN中包含六层RBi-IndRNN，在RBi-IndRNN中采用IndRNN算法进行手势分类。

4.根据权利要求3所述的一种基于双流神经网络的手势识别方法，其特征在于：所述步骤3.1的具体过程为：

步骤3.1.1，采用如下公式(3)对输入特征进行卷积计算并将特征映射到特征空间：

其中，K_v表示空间维度的核尺寸，A_k表示归一化的邻接矩阵，W_k表示1*1卷积运算的权重向量，σ表示采用的是非线性激活函数ReLU，f_in表示输入的特征，f_out表示经过卷积后输出的特征；

步骤3.1.2，采用如下公式(4)和(5)分别获取映射到特征空间的图像特征f_a和关节节点之间关系的注意力矩阵A_g：

f_a＝W_af_in (4)；

其中，W_a表示卷积运算的映射关系；

其中，是f_a的转置，表示矩阵乘法；

步骤3.1.3，采用如下公式(6)将关节节点之间关系的注意力矩阵A_g与邻接矩阵结合，同时处理局部特征和全局特征；

步骤3.1.4，对关节节点之间关系的注意力矩阵A_g与输入特征f_in同时进行GCN和TCN处理；

步骤3.1.5，分别采用BatchNorm和ReLU激活函数在空间和时间上对输入特征f_in进行处理，得到手势分类标签。