[发明专利]基于图卷积神经网络的手势识别的方法及装置

权利要求书

1.一种基于图卷积神经网络的手势识别的方法，其特征在于，包括：

利用姿态估计算法对手势数据集进行预处理，得到手势关节点时空图；其中，所述姿态估计算法是基于卷积神经网络和监督学习并以深度学习算法为框架开发的；

对所述手势关节点时空图进行归一化处理，得到待计算数据；

将所述待计算数据输入至时空图卷积神经网络-手势识别的模型中得到识别结果；其中，所述时空图卷积神经网络-手势识别的模型为利用图卷积神经网络构建得到。

2.根据权利要求1所述的方法，其特征在于，所述利用姿态估计算法对手势数据集进行预处理，得到手势关节点时空图，包括：

将所述手势数据集中的视频数据通过所述姿态估计算法进行计算，得到所述视频数据的视频帧序列；其中，所述视频帧序列包括每一帧的手指关节点的关系集合；

将所述每一帧手指关节点的关系集合中的每一个手指关节点连线，得到手指关节点的空间图；

将所述每一帧手指关节点的关系集合中的每一帧上相同的手指关节点连线，得到手指关节点的时间图；

将所述手指关节点的时间图和所述手指关节点的空间图结合在一起，构造所述手势关节点时空图。

3.根据权利要求2所述的方法，其特征在于，所述对所述手势关节点时空图进行归一化处理，得到待计算数据，包括：

将所述手势关节点时空图中的每一个手指关节点在的时间图和空间图下的值，进行归一化，得到所述每一个手指关节点的待计算数据。

4.根据权利要求1所述的方法，其特征在于，所述时空卷积神经网络-手势识别的模型的网络结构，包括：

六个时空卷积单元、三个池化层和一个支持向量机分类器；

任意两个时空卷积单元和一个池化层组成计算单元；所述计算单元中的两个所述时空卷积单元依次运行，从所述待计算数据提取得到高维的手指关节点信息；其中，后一个所述时空卷积单元处理前一个所述时空卷积单元的处理结果；所述池化层对所述高维的手指关节点信息，进行降采样操作得到待分类信息；

所述支持向量机分类器对所述待分类信息进行分类计算，得到所述待分类信息对应的手势类型的概率，在所述待分类信息对应的手势类型的概率中找到一个概率最大的手势类型，得到识别结果。

5.根据权利要求4所述方法，其特征在于，所述每个时空卷积单元都包括：注意力模型、图卷积模型和时间卷积模型；

其中，所述注意力模型用于约束所述图卷积模型的识别范围；所述图卷积模型用于在自身的识别范围内对所述待计算数据进行识别，得到所述手指关节点间的空间结构集合：所述时间卷积模型用于对所述图卷积模型得到的所述手指关节点间的空间结构集合进行计算，得到高维的手指关节点信息。

6.一种基于图卷积神经网络的手势识别的装置，其特征在于，包括；

预处理单元，用于利用姿态估计算法对手势数据集进行预处理，得到手势关节点时空图；其中，所述姿态估计算法是基于卷积神经网络和监督学习并以深度学习算法为框架开发的；

归一化处理单元，用于对所述手势关节点时空图进行归一化处理，得到待计算数据；

识别单元，用于将所述待计算数据输入至时空图卷积神经网络-手势识别的模型中得到识别结果；其中，所述时空图卷积神经网络-手势识别的模型为利用图卷积神经网络构建得到。

7.根据权利要求6所述的装置，其特征在于，所述预处理单元，包括：

姿态估计算法计算单元，用于将所述手势数据集中的视频数据通过所述姿态估计算法进行计算，得到所述视频数据的视频帧序列；其中，所述视频帧序列包括每一帧的手指关节点的关系集合；

第一连接单元，用于将所述每一帧手指关节点的关系集合中的每一个手指关节点连线，得到手指关节点的空间图；

第二连接单元，用于将所述每一帧手指关节点的关系集合中的每一帧上相同的手指关节点连线，得到手指关节点的时间图；

结合单元，用于将所述手指关节点的时间图和所述手指关节点的空间图结合在一起，构造所述手势关节点时空图。