[发明专利]基于图卷积神经网络的手势识别的方法及装置

说明书

本发明提供了一种基于图卷积神经网络的手势识别的方法及装置，该方法包括：通过利用姿态估计算法得到手势关节点时空图和对所述手势关节点时空图进行归一化处理，得到待计算数据，使得可以通过建立的时空图卷积神经网络‑手势识别的模型对所述待计算数据进行计算，最终得到识别结果。而时空图卷积神经网络‑手势识别的模型，通过六个时空卷积单元和三个池化层以及一个支持向量机分类机对所述计算得到的数据进行分类，从而实现了在提高了手势识别的准确性的同时，提高了手势识别的实时性。

技术领域

本发明涉及视频图像识别技术领域，特别涉及一种基于图卷积神经网络的手势识别的方法及装置。

背景技术

手势动作作为原始人类交流的方式，一直沿用至今。通过手势传达信息的重要性，并没有随着时间的推进与技术的发展，而被逐渐淘汰，相反手势动作在人机交互领域成为更加重要的交互方式。手势识别技术在当前是计算机应用和人工智能领域的研究热点，在机器人控制、哑语识别、无人驾驶和运动检测等领域，手势充分发挥了它方便快捷、含义丰富、通熟易懂的优势特点。

传统的手势识别技术主要有两大类，包括基于视觉传感器的手势识别(普通摄像头，深度摄像头等)和基于可穿戴式传感器(数据手套等)。但由于可穿戴式传感器的不便性与识别延迟性，所以当下最热门的研究方向是基于视觉传感器的手势识别。

在目前的视觉传感器的手势识别中，模板匹配，以及概率统计模型的局限性，导致对手势识别的准确性较低，实时性较差。

发明内容

有鉴于此，本发明实施例提供一种基于图卷积神经网络的手势识别的方法及装置，用于在保证手势识别的准确性的同时，提高手势识别的实时性。

为实现上述目的，本发明实施例提供如下技术方案：

一种基于图卷积神经网络的手势识别的方法，包括：

利用姿态估计算法对手势数据集进行预处理，得到手势关节点时空图；其中，所述姿态估计算法是基于卷积神经网络和监督学习并以深度学习算法为框架开发的；

对所述手势关节点时空图进行归一化处理，得到待计算数据；

将所述待计算数据输入至时空图卷积神经网络-手势识别的模型中得到识别结果；其中，所述时空图卷积神经网络-手势识别的模型为利用图卷积神经网络构建得到。

可选的，所述利用姿态估计算法对手势数据集进行预处理，得到手势关节点时空图，包括：

将所述手势数据集中的视频数据通过所述姿态估计算法进行计算，得到所述视频数据的视频帧序列；其中，所述视频帧序列包括每一帧的手指关节点的关系集合；

将所述每一帧手指关节点的关系集合中的每一个手指关节点连线，得到手指关节点的空间图；

将所述每一帧手指关节点的关系集合中的每一帧上相同的手指关节点连线，得到手指关节点的时间图；

将所述手指关节点的时间图和所述手指关节点的空间图结合在一起，构造所述手势关节点时空图。

可选的，所述对所述手势关节点时空图进行归一化处理，得到待计算数据，包括：

将所述手势关节点时空图中的每一个手指关节点在的时间图和空间图下的值，进行归一化，得到所述每一个手指关节点的待计算数据。

可选的，所述时空卷积神经网络-手势识别的模型的网络结构，包括：

六个时空卷积单元、三个池化层和一个支持向量机分类器；