[发明专利]一种基于3D‑CNN和卷积LSTM的手势识别方法

摘要

本发明公开一种基于3D‑CNN和卷积LSTM的手势识别方法，首先，通过时间抖动策略对输入3D‑CNN的视频长度进行归一化；归一化后的视频作为输入，被馈送至3D‑CNN用来学习手势的短期时空特征；基于3D‑CNN提取的短期时空特征，通过两层卷积LSTM网络学习手势的长期时空特征，用以消除复杂背景对手势识别的影响；之后，所提取的长期时空特征经过空间金字塔池化层(SPP‑Layer)降低特征维度，同时提取得到的多尺度特征被馈送入网络的全连接层；最后，经过后期多模态融合的方法，平均融合不用网络的预测结果，从而得到最终的预测分数。本发明通过同时学习手势的时间和空间特征，进而通过不同的网络将短期时空特征和长期时空特征结合起来，并用批量归一化的方法训练网络，提高了手势识别的效率和精确度。

主权项

一种基于3D‑CNN和卷积LSTM的手势识别方法，其特征在于，包括如下步骤：S1、采集两个模态的不同手势的运动视频，并对视频的图像帧采用时间抖动策略进行预处理，归一化为相同的视频长度和图像帧大小；S2、将预处理后两个模态的手势视频作为输入，分别馈送入两个三维卷积神经网络3D‑CNN中，提取视频的短期时空特征；S3、将提取短期时空特征后的视频图像帧输入至两级卷积LSTM网络中，用来提取手势视频的长期时空特征；S4、对卷积LSTM的输出进行空间金字塔池化，生成多尺度的特征表示，并对多尺度特征进行级联，生成特征向量，送入全连接层；S5、将两个全连接层的输出采用后期多模态融合的方法，平均融合不同网络的预测结果，得到最终预测分数。