[发明专利]一种基于深度神经网络的动态手势识别方法及系统

权利要求书

1.一种基于深度神经网络的动态手势识别方法，包括以下步骤：

采集C种不同手势含义的动态手势视频片段的样本数据，经过数据扩充处理后生成训练样本数据集，其中样本数据为RGB-D格式，包含RGB图像和对应的深度信息，C为正整数；

设计基于深度神经网络的动态手势识别网络模型；

利用训练样本对所述动态手势识别网络模型进行训练；

利用训练好的基于深度神经网络的动态手势识别模型，对采集到的动态手势进行识别；

其特征在于：

所述动态手势识别网络模型由特征提取网络、前后帧关联网络以及分类识别网络构成，其中：所述特征提取网络对一个手势含义的视频输入样本的RGB-D格式的四通道数据进行特征提取，获得每一个手势含义的样本特征向量，每一层卷积层中，卷积核窗口大小设为3×3；所述前后帧关联网络用于对每一个手势含义的样本特征向量进行前后时间帧的关联映射，并将其合并为每一个手势含义的融合特征向量；所述分类识别网络用于对每一个手势含义的融合特征向量进行分类识别，输出样本对应的手势类别。

2.根据权利要求1所述的方法，其特征在于，采集C种不同手势含义的样本数据的方法如下：

利用3D深度相机采集C种不同含义的动态手势视频片段，并对每段动态手势视频片段等间隔采样n帧RGB图像和对应的深度信息图像形成样本x_i＝{x_i1,x_i2,...,x_ik,...,x_in}，其中x_ik为样本x_i中的第k帧数据，并且是一个大小为640×320×4的RGB-D格式的四通道数据；

将样本x_i组成样本集X＝{x₁,x₂,...,x_m,...,x_N}，并用Y＝{y₁,y₂,...,y_m,...,y_N}来记录样本集X中每一个样本x_m的手势类别标号，其中y_m是一个C维的One-Hot编码向量。

3.根据权利要求1所述的方法，其特征在于，对样本集进行数据扩充，与原始样本集一起组成扩充后的训练样本集，数据扩充的方法包括但不限于平移、翻转、加噪、形变。