[发明专利]基于多模态3D卷积神经网络的动态手势识别方法及系统

权利要求书

1.基于多模态3D卷积神经网络的动态手势识别方法，其特征是，包括：

对获取的实际视频数据进行分帧处理，分为若干帧图像；

从所述若干帧图像中提取若干关键帧图像；

对每个关键帧图像进行灰度化处理得到灰度图像，对每个关键帧图像的灰度图像进行Gabor变换得到gabor图像，对每个关键帧图像的灰度图像进行边缘提取得到边缘图像；

将每个关键帧图像所对应的灰度图像输入到预先训练好的第一3D卷积神经网络，输出第一分类结果；

将每个关键帧图像所对应的gabor图像输入到预先训练好的第二3D卷积神经网络，输出第二分类结果；

将每个关键帧图像所对应的边缘图像输入到预先训练好的第三3D卷积神经网络，输出第三分类结果；

第一、第二和第三3D卷积神经网络的输出端同时连接到一个输出层，所述输出层对第一、第二和第三分类结果进行融合，输出最终的分类结果。

2.如权利要求1所述的方法，其特征是，从所述若干帧图像中提取若干关键帧图像的具体方式为：

对视频进行分帧处理后，得到若干帧图像；

按照时间顺序，将所述若干帧图像划分为K个视频段，每个视频段中均包括N帧图像；

然后，对每个视频段均采用Horn-Schunck光流法提取视频的关键帧图像；最后得到关键帧图像序列。

3.如权利要求2所述的方法，其特征是，对每个视频段均采用Horn-Schunck光流法提取视频的关键帧图像的具体步骤为：

提取每个视频段中每一帧图像的手势运动信息量，根据每一帧图像中手势运动信息量从大到小进行排序，选择排序靠前的P帧图像作为关键帧图像；

所述手势运动信息量，是由图像中每一个像素点光流的水平分量和垂直分量累加而得到。

4.如权利要求1所述的方法，其特征是，对每个关键帧图像的灰度图像进行Gabor变换得到gabor图像的具体步骤为：

设置m个波长，设置n个角度，对不同的波长和不同的角度进行排列组合，假设得到m*n种组合形式，使用所有的m*n种组合对每个关键帧图像的灰度图像进行Gabor滤波，生成m*n个滤波后的图像，最后对m*n个滤波后的图像像素进行加和，求平均，生成gabor图像。

5.如权利要求1所述的方法，其特征是，对每个关键帧图像的灰度图像进行边缘提取得到边缘图像的具体步骤为：

使用canny边缘检测算法对每个关键帧图像的灰度图像进行边缘提取，生成边缘图像；

对每个关键帧图像的灰度图像进行边缘提取得到边缘图像的具体步骤为：

首先用3*3的高斯核对每个关键帧图像的灰度图像进行滤波消除噪声的影响，然后用3*3的canny算子对消除噪声影响的灰度图像做边缘提取生成最终边缘图像C。

6.如权利要求1所述的方法，其特征是，预先训练好的第一3D卷积神经网络的具体训练步骤为：

对获取的训练视频数据进行分帧处理，分为若干帧训练图像；

从所述若干帧训练图像中提取若干关键帧图像；

对每个关键帧图像进行灰度化处理得到灰度图像；

对灰度图像进行训练数据扩增；

将每个关键帧图像所对应的灰度图像输入到第一3D卷积神经网络，对第一3D卷积神经网络进行训练，得到训练好的第一3D卷积神经网络；

所述数据扩增，包括以下方式之一或任意种组合的方式：

时域裁剪、水平翻转、添加噪声或仿射变换；

所述时域裁剪，是指，假设提取关键帧的个数为Q帧，然后从Q帧中裁剪前q帧，中间q帧和末尾q帧；

所述水平翻转，是指，先将每一帧关键帧图像做镜像翻转，然后，将帧序逆转，即将原来的第一帧作为最后一帧，将原来的第二帧作为倒数第二帧，依次类推，将原来的最后一帧作为第一帧；

所述添加噪声，是指添加高斯白噪声；

所述仿射变换，是指将所有关键帧图像进行设定角度的旋转，并且进行水平平移和垂直平移。