[发明专利]识别动态手势的方法

说明书

本发明提供了一种识别动态手势的方法，能够提高动态手势识别的正确率和泛化能力。一种识别动态手势的方法，包括以下步骤：人工神经网络模型的构造：人工神经网络模型的训练；使用训练好的神经网络模型识别用户动态手势。用TensorFlow、PyTorch、MXNet或其它任何框架构造人工神经网络，人工神经网络模型包括长短时记忆网络、全连接网络和输出层，其中，长短时记忆网络包含若干长短时记忆层，全连接网络包含若干全连接层和Dropout层。

技术领域

本发明涉及一种识别动态手势的方法，适用场景包括：使用动态手势遥控电视，使用动态手势操作电脑等等，属于信息技术领域。

背景技术

动态手势是指由一系列手势组成的动作序列，这个序列具有时间上的连续性。电子设备可以通过摄像头等图像采集装置，将动态手势作为图像序列或视频进行采集。手势是人类在日常生活中常用的交流手段，将手势用于人机交流，可以大大提高人机交流的方便性，提升用户体验。

过去，动态手势识别方法大多基于经典的HMM模型，或者结合卷积网络和LSTM。

发明内容

本发明目的是提供了一种识别动态手势的方法，能够提高动态手势识别的正确率和泛化能力。

本发明为实现上述目的，通过以下技术方案实现：

一种识别动态手势的方法，包括以下步骤：

S1.人工神经网络模型的构造：

S2. 人工神经网络模型的训练；

S3. 使用训练好的神经网络模型识别用户动态手势。

上述识别动态手势的方法基础上，其特征在于：用TensorFlow、PyTorch、MXNet或其它任何框架构造人工神经网络，人工神经网络模型包括长短时记忆网络、全连接网络和输出层，其中，长短时记忆网络包含若干长短时记忆层，全连接网络包含若干全连接层和Dropout层。

上述识别动态手势的方法基础上，人工神经网络模型的训练过程：

1)动态手势数据集包含N个样本，每个样本都是一个时长为t秒、长度为f帧的包含动态手势的图像序列或视频；

2) 动态手势数据集存储在外存储器上;

3)样本首先经过手关键点识别框架的处理，变成关键点坐标;

4)经过特征工程模块的处理，变成形状为f*m*2的特征张量;

5) 特征张量再输入至神经网络模块，优化器根据特征张量优化神经网络的参数，达到训练的目的;

6)经过多次迭代，得到训练好的神经网络模型。

上述识别动态手势的方法基础上，使用训练好的神经网络模型识别用户动态手势的过程：

1）摄像头采集用户手势的图像序列；

2）计算设备每隔ti秒对采集的视频做一次分割，每次分割出t秒的子序列；

3）这若干个分割出的子序列被分别输入至后面的流程；

4）子序列首先经过手关键点识别框架的处理，变成关键点坐标；

5）关键点坐标输入至特征工程模块，变成特征张量；

6）训练好的模型对特征张量做若干变换，得到识别结果。

上述识别动态手势的方法基础上，人工神经网络模型包括依次是1层全连接层、1层Dropout层和紧接着的另一层全连接层；输出层采用Softmax层。

上述识别动态手势的方法基础上，特征工程模块对输入做下述处理：

a)将序列的每个元素里的所有关键点正投影至与图像采集装置的镜头主轴垂直的平面，元素的数据量由3*m减少至2*m；

b)将所有关键点做相同的旋转变换，使得手掌根部关键点至中指根部关键点的线段是竖直的；

c)将所有关键点做相同的平移变换，使手掌根部关键点成为坐标原点；