[发明专利]基于3D卷积和SPP的多模态动态手势识别方法

说明书

本发明公开了基于3D卷积和SPP的多模态动态手势识别方法，包括如下步骤：数据预处理，从RGB视频序列中提取光流特征和灰度特征，分别得到光流序列样本和灰度序列样本，并将每个光流序列样本和灰度序列样本及深度序列样本规整为32帧，每个样本维度为32×112×112；数据增强，通过平移、翻转、加噪及仿射变换，扩增序列样本数据集；神经网络训练，将灰度序列样本、光流序列样本、深度序列样本分别输入相同的网络结构，分别训练三个网络进行手势判别；模型集成，将三个网络对序列样本的分类结果进行集成，得到最终的判别结果；采用本发明技术方案能够提高手势识别的准确度。

技术领域

本发明涉及图像识别技术领域，具体涉及基于3D卷积和SPP的多模态动态手势识别方法。

背景技术

手势是人机交互的重要方式之一，手势识别是利用计算机对人们做出的手势动作进行识别。手势识别包括静态手势识别和动态手势识别，静态手势识别着重于某一帧图像的手部形状，相对比较简单。动态手势识别不仅关注手部形状，更关注手势在时空维度上的轨迹和形状变化。由于动态手势本身具有多样性和差异性，使得动态手势的识别准确率仍较低，是人工智能领域中具有挑战性的一个研究方向。

随着深度学习的发展，利用深度卷积神经网络进行动态手势识别受到学者们的关注。然而，常见的2D卷积神经网络用于处理视频图像序列时，容易丢失目标在时间维度上的信息，无法有效提取目标在时空维度的变化信息，进而影响网络的识别精度。因此，视频时空维度的特征学习是实现人体动态手势识别的关键。

发明内容

为了解决上述技术问题，本发明实施例提供了一种基于3D卷积和SPP的多模态动态手势识别方法，包括：

数据预处理步骤，从RGB视频序列中提取光流特征和灰度特征，分别得到光流序列样本和灰度序列样本，并将每个光流序列样本和灰度序列样本及深度序列样本规整为32帧，每个样本维度为32×112×112；

数据增强步骤，通过平移、翻转、加噪及仿射变换，扩增序列样本数据集；

神经网络训练步骤，将灰度序列样本、光流序列样本、深度序列样本分别输入相同的网络结构，分别训练三个网络进行手势判别；

模型集成步骤，将三个网络对序列样本的分类结果进行集成，得到最终的判别结果。

作为优选方案，所述数据预处理步骤过程如下：

对SKIG数据集包含的1080个RGB视频序列，利用iDT算法提取光流特征，得到1080个光流序列样本；

对RGB视频序列的每帧图像进行灰度化，得到1080个灰度序列样本；

不同的手势序列样本具有不同的时长，采用重复帧或者最近邻域丢弃帧的方法将每个序列样本规整为固定的32帧，每帧维度为112×112，作为神经网络的输入。

作为优选方案，所述iDT算法如下：

iDT算法假设相邻两帧图像之间的关系用一个投影变换矩阵描述，后一帧图像由前一帧图像通过投影变换得到；

相邻两帧之间采用SURF特征和密集光流的方法，进行特征匹配，利用RANSAC算法估计投影变换矩阵。

作为优选方案，所述数据增强步骤过程如下：

对同一个手势对应的光流序列样本、灰度序列样本及深度序列样本进行相同方式的变换，变换方式包括：

平移操作如下，将每一个序列样本的每个通道上像素点(x,y)沿x轴平移Δx个单位，沿y轴平移Δy个单位，即(x′,y′)＝(x+Δx,y+Δy)。其中Δx是[-0.1×w,0.1×w]中的任意一个整数，Δy是[-0.1×h,0.1×h]中的任意一个整数，w为每帧图像相应的宽度，h为每帧图像相应的长度；